CentOS 7 Üzerinde Apache Kafka Kurulumu

• Ön şartlar:
• Adım 1: CentOS 7 sistemini güncelleyin
• Adım 2: OpenJDK Çalışma Zamanını Yükleyin
• Adım 3: Apache Kafka'yı İndirin
• Adım 4: Apache Kafka'yı başlatın ve test edin

Apache Kafka, büyük miktarda veriyi verimli bir şekilde işleyebilen ölçeklenebilir ve yüksek verimli bir mesajlaşma sistemidir.

Kafka'yı bir sunucuya dağıtabilir veya daha iyi performans için dağıtılmış bir Kafka kümesi oluşturabilirsiniz. Başlangıç ​​olarak, bu makalede Apache Kafka'nın tek bir Vultr CentOS 7 sunucu örneğine nasıl yükleneceği açıklanmaktadır.

Ön şartlar:

Devam etmeden önce şunları yapmalısınız:

• Bir Vultr CentOS 7 sunucu örneği dağıtın. Gereksinimlerinize bağlı olarak, kullanılabilir belleği artırmanız gerekebilir.
• SSH terminalinizden giriş yapmak için bir sudo kullanıcısı kullanın.

Adım 1: CentOS 7 sistemini güncelleyin

Sisteminizi en son kararlı duruma güncellemek için aşağıdaki komutu kullanın:

sudo yum update -y && sudo reboot

Yeniden başlatma işlemi bittikten sonra, tekrar oturum açmak için aynı sudo kullanıcısını kullanın.

Adım 2: OpenJDK Çalışma Zamanını Yükleyin

Apache Kafka'yı düzgün bir şekilde çalıştırabilmek için sisteminize bir Java sanal makinesi kurmanız gerekir. Burada, YUM'u kullanarak OpenJDK Runtime Environment 1.8.0'ı yükleyebilirsiniz:

sudo yum install java-1.8.0-openjdk.x86_64

Kurulumunuzu aşağıdakilerle doğrulayın:

java -version

Çıktı benzemelidir:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Ayrıca "JAVA_HOME" ve "JRE_HOME" ortam değişkenlerini ayarlamanız gerekir:

sudo vi /etc/profile

Dosyanın orijinal içeriğine aşağıdaki satırları ekleyin:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Kaydet ve çık:

:wq

Değişikliklerinizi yürürlüğe koymak için profili yeniden yükleyin:

source /etc/profile

Adım 3: Apache Kafka'yı İndirin

Resmi web sitesinden Apache Kafka'nın en son kararlı sürümünü indirin. Yazarken, öyle 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Arşivi aşağıdaki gibi tercih edilen bir konuma açın /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Adım 4: Apache Kafka'yı başlatın ve test edin

Bu noktada Apache Kafka sisteminizde mevcut. Bir test sürüşü yapalım.

4.1: Kafka dizinine girin

cd /opt/kafka_2.11-0.9.0.1

4.2: Zookeeper sunucusunu başlatma

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Kafka sunucunuzun yapılandırmasını değiştirin

 vi bin/kafka-server-start.sh

Bellek kullanımını özel sistem parametrelerinize göre ayarlayın. Örneğin, test ortamında 768 MB belleğe sahip bir Vultr sunucu örneği kullanıyorsanız, aşağıdaki satırı bulmanız gerekir:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Şununla değiştir:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Çıkmayı kaydedin:

:wq

4.4: Kafka sunucusunu başlatın

bin/kafka-server-start.sh config/server.properties

Her şey başarılı olduysa, Kafka sunucusunun durumu hakkında birkaç mesaj göreceksiniz ve sonuncusu okuyacak:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Bu, Kafka sunucusunu başlattığınız anlamına gelir.

4.5: Yeni bir SSH bağlantısında "test" konusu oluşturma

Yeni bir SSH bağlantısı açın, "test" konusu oluşturmak için aşağıdaki komutları kullanın:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Konularınızı aşağıdaki komutla görüntüleyebilirsiniz:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Bizim durumumuzda, çıktı okuyacak:

test

4.6: "Test" konusunu kullanarak mesajlar üretin

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Yukarıdaki komutu kullanarak istediğiniz sayıda mesaj girebilirsiniz, örneğin:

Welcome aboard!
Bonjour!

"WARN Error while fetching metadata with correlation id"Mesaj girerkenkine benzer bir hata alırsanız , server.propertiesdosyayı aşağıdaki bilgilerle güncellemeniz gerekir :

port = 9092
advertised.host.name = localhost 

4.7: Ekran mesajları

Üçüncü bir SSH bağlantısı açın ve ardından aşağıdaki komutları çalıştırın:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Sürpriz! Daha önce ürettiğiniz mesajlar üçüncü SSH bağlantısında görüntülenecektir. Tabii ki, şimdi ikinci SSH bağlantısından daha fazla mesaj girerseniz, bunları üçüncü SSH bağlantısında hemen göreceksiniz.

Son olarak, bu komut dosyalarını durdurmak için her SSH bağlantısında Ctrl + C tuşlarına basabilirsiniz.

Bu kadar. Resmi web sitesinde Apache Kafka hakkında daha fazla bilgi edinebilirsiniz. İyi eğlenceler!