Jak zainstalować Apache Kafka na CentOS 7

• Wymagania wstępne:
• Krok 1: Zaktualizuj system CentOS 7
• Krok 2: Zainstaluj środowisko wykonawcze OpenJDK
• Krok 3: Pobierz Apache Kafka
• Krok 4: Uruchom i przetestuj Apache Kafka

Apache Kafka to skalowalny i wysokoprzepustowy system przesyłania wiadomości, który jest w stanie skutecznie obsługiwać ogromną ilość danych.

Możesz wdrożyć Kafka na jednym serwerze lub zbudować rozproszony klaster Kafka w celu zwiększenia wydajności. Na początek w tym artykule wyjaśniono, jak zainstalować Apache Kafka na jednej instancji serwera Vultr CentOS 7.

Wymagania wstępne:

Przed przejściem należy:

• Wdróż instancję serwera Vultr CentOS 7. W zależności od potrzeb może być konieczne zwiększenie dostępnej pamięci.
• Użyj użytkownika sudo, aby zalogować się z terminala SSH.

Krok 1: Zaktualizuj system CentOS 7

Użyj poniższego polecenia, aby zaktualizować system do najnowszej stabilnej wersji:

sudo yum update -y && sudo reboot

Po zakończeniu ponownego uruchomienia użyj tego samego użytkownika sudo, aby zalogować się ponownie.

Krok 2: Zainstaluj środowisko wykonawcze OpenJDK

Aby poprawnie uruchomić Apache Kafka, musisz skonfigurować maszynę wirtualną Java w systemie. Tutaj możesz zainstalować OpenJDK Runtime Environment 1.8.0 za pomocą YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Sprawdź poprawność instalacji za pomocą:

java -version

Dane wyjściowe powinny przypominać:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Musisz także skonfigurować zmienne środowiskowe „JAVA_HOME” i „JRE_HOME”:

sudo vi /etc/profile

Dodaj następujące wiersze do oryginalnej zawartości pliku:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Zapisz i wyjdź:

:wq

Załaduj ponownie profil, aby wprowadzić zmiany:

source /etc/profile

Krok 3: Pobierz Apache Kafka

Pobierz najnowszą stabilną wersję Apache Kafka z oficjalnej strony internetowej. W momencie pisania to jest 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Rozpakuj archiwum do preferowanej lokalizacji, takiej jak /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Krok 4: Uruchom i przetestuj Apache Kafka

W tym momencie Apache Kafka jest dostępny w twoim systemie. Dajmy mu jazdę próbną.

4.1: Wejdź do katalogu Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Uruchom serwer Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Zmodyfikuj konfigurację swojego serwera Kafka

 vi bin/kafka-server-start.sh

Dostosuj użycie pamięci do określonych parametrów systemu. Na przykład, jeśli używasz instancji serwera Vultr z 768 MB pamięci w środowisku testowym, musisz zlokalizować następujący wiersz:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Zamień na:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Zapisz wyjście:

:wq

4.4: Uruchom serwer Kafka

bin/kafka-server-start.sh config/server.properties

Jeśli wszystko się powiedzie, zobaczysz kilka komunikatów o statusie serwera Kafka, a ostatni będzie czytać:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Oznacza to, że uruchomiłeś serwer Kafka.

4.5: Utwórz temat „test” w nowym połączeniu SSH

Otwórz nowe połączenie SSH, użyj następujących poleceń, aby utworzyć temat „test”:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Możesz przeglądać swoje tematy za pomocą następującego polecenia:

bin/kafka-topics.sh --list --zookeeper localhost:2181

W naszym przypadku wyjście wyświetli:

test

4.6: Twórz wiadomości za pomocą tematu „test”

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Korzystając z powyższego polecenia, możesz wprowadzić dowolną liczbę wiadomości, na przykład:

Welcome aboard!
Bonjour!

Jeśli pojawi się błąd podobny do "WARN Error while fetching metadata with correlation id"wpisywania wiadomości, musisz zaktualizować server.propertiesplik o następujące informacje:

port = 9092
advertised.host.name = localhost 

4.7: Wyświetlanie komunikatów

Otwórz trzecie połączenie SSH, a następnie uruchom następujące polecenia:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Wiadomości utworzone wcześniej zostaną wyświetlone w trzecim połączeniu SSH. Oczywiście, jeśli teraz wprowadzisz więcej wiadomości z drugiego połączenia SSH, natychmiast zobaczysz je przy trzecim połączeniu SSH.

Na koniec możesz nacisnąć Ctrl + C na każdym połączeniu SSH, aby zatrzymać te skrypty.

Otóż ​​to. Możesz dowiedzieć się więcej o Apache Kafka na oficjalnej stronie internetowej. Baw się dobrze!