Cara Memasang Apache Kafka di CentOS 7

• Prasyarat:
• Langkah 1: Kemas kini sistem CentOS 7
• Langkah 2: Pasang OpenJDK Runtime
• Langkah 3: Muat turun Apache Kafka
• Langkah 4: Mulakan dan uji Apache Kafka

Apache Kafka adalah sistem pemesejan berskala tinggi dan throughput tinggi yang mampu menangani sejumlah besar data dengan cekap.

Anda boleh menggunakan Kafka pada satu pelayan atau membina kluster Kafka yang diedarkan untuk prestasi yang lebih baik. Sebagai permulaan, artikel ini menerangkan cara memasang Apache Kafka pada satu contoh pelayan Vultr CentOS 7.

Prasyarat:

Sebelum meneruskan, anda harus:

• Terapkan instance pelayan Vultr CentOS 7. Bergantung pada keperluan anda, anda mungkin perlu menambah memori yang ada.
• Gunakan pengguna sudo untuk log masuk dari terminal SSH anda.

Langkah 1: Kemas kini sistem CentOS 7

Gunakan arahan di bawah untuk mengemas kini sistem anda ke status stabil terkini:

sudo yum update -y && sudo reboot

Setelah but semula selesai, gunakan pengguna sudo yang sama untuk log masuk semula.

Langkah 2: Pasang OpenJDK Runtime

Anda perlu menyediakan mesin virtual Java pada sistem anda sebelum anda dapat menjalankan Apache Kafka dengan betul. Di sini, anda boleh memasang OpenJDK Runtime Environment 1.8.0 menggunakan YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Sahkan pemasangan anda dengan:

java -version

Keluarannya harus menyerupai:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Anda juga perlu menyediakan pemboleh ubah persekitaran "JAVA_HOME" dan "JRE_HOME":

sudo vi /etc/profile

Tambahkan baris berikut ke kandungan asal fail:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Simpan dan tutup:

:wq

Muat semula profil untuk melaksanakan perubahan anda:

source /etc/profile

Langkah 3: Muat turun Apache Kafka

Muat turun versi stabil terkini Apache Kafka dari laman web rasmi. Pada masa penulisan, ia 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Buka zip dari arkib ke lokasi pilihan, seperti /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Langkah 4: Mulakan dan uji Apache Kafka

Pada ketika ini, Apache Kafka tersedia di sistem anda. Mari memberikannya pemacu ujian.

4.1: Masuk ke direktori Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Mulakan pelayan Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Ubah konfigurasi pelayan Kafka anda

 vi bin/kafka-server-start.sh

Sesuaikan penggunaan memori mengikut parameter sistem khusus anda. Sebagai contoh, jika anda menggunakan contoh pelayan Vultr dengan memori 768MB di persekitaran ujian, anda perlu mencari baris berikut:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Gantikan dengan:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Simpan berhenti:

:wq

4.4: Mulakan pelayan Kafka

bin/kafka-server-start.sh config/server.properties

Sekiranya semuanya berjaya, anda akan melihat beberapa mesej mengenai status pelayan Kafka, dan yang terakhir akan dibaca:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Ini bermaksud bahawa anda telah memulakan pelayan Kafka.

4.5: Buat topik "ujian" dalam sambungan SSH baru

Buka sambungan SSH baru, gunakan arahan berikut untuk membuat topik "ujian":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Anda boleh melihat topik anda dengan arahan berikut:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Dalam kes kami, Hasilnya akan berbunyi:

test

4.6: Menghasilkan mesej menggunakan topik "ujian"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Dengan menggunakan perintah di atas, anda dapat memasukkan sebilangan mesej yang anda inginkan, seperti:

Welcome aboard!
Bonjour!

Sekiranya anda menerima ralat yang serupa dengan "WARN Error while fetching metadata with correlation id"semasa memasukkan mesej, anda perlu mengemas kini server.propertiesfail dengan maklumat berikut:

port = 9092
advertised.host.name = localhost 

4.7: Paparkan mesej

Buka sambungan SSH ketiga, dan kemudian jalankan arahan berikut:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Mesej yang anda hasilkan lebih awal akan dipaparkan dalam sambungan SSH ketiga. Sudah tentu, jika anda memasukkan lebih banyak mesej dari sambungan SSH kedua sekarang, anda akan segera melihatnya pada sambungan SSH ketiga.

Akhirnya, anda boleh menekan Ctrl + C pada setiap sambungan SSH untuk menghentikan skrip ini.

Itu sahaja. Anda boleh mengetahui lebih lanjut mengenai Apache Kafka di laman web rasmi. Berseronok!