So installieren Sie Apache Kafka unter CentOS 7

• Voraussetzungen:
• Schritt 1: Aktualisieren Sie das CentOS 7-System
• Schritt 2: Installieren Sie OpenJDK Runtime
• Schritt 3: Laden Sie Apache Kafka herunter
• Schritt 4: Starten und testen Sie Apache Kafka

Apache Kafka ist ein skalierbares Messaging-System mit hohem Durchsatz, das in der Lage ist, eine große Datenmenge effizient zu verarbeiten.

Sie können Kafka entweder auf einem Server bereitstellen oder einen verteilten Kafka-Cluster erstellen, um eine höhere Leistung zu erzielen. In diesem Artikel wird zunächst erläutert, wie Sie Apache Kafka auf einer einzelnen Vultr CentOS 7-Serverinstanz installieren.

Voraussetzungen:

Bevor Sie fortfahren, sollten Sie:

• Stellen Sie eine Vultr CentOS 7-Serverinstanz bereit. Abhängig von Ihren Anforderungen müssen Sie möglicherweise den verfügbaren Speicher erhöhen.
• Verwenden Sie einen Sudo-Benutzer, um sich von Ihrem SSH-Terminal aus anzumelden.

Schritt 1: Aktualisieren Sie das CentOS 7-System

Verwenden Sie den folgenden Befehl, um Ihr System auf den neuesten stabilen Status zu aktualisieren:

sudo yum update -y && sudo reboot

Verwenden Sie nach Abschluss des Neustarts denselben Sudo-Benutzer, um sich erneut anzumelden.

Schritt 2: Installieren Sie OpenJDK Runtime

Sie müssen eine virtuelle Java-Maschine auf Ihrem System einrichten, bevor Sie Apache Kafka ordnungsgemäß ausführen können. Hier können Sie OpenJDK Runtime Environment 1.8.0 mit YUM installieren:

sudo yum install java-1.8.0-openjdk.x86_64

Überprüfen Sie Ihre Installation mit:

java -version

Die Ausgabe sollte wie folgt aussehen:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Sie müssen auch die Umgebungsvariablen "JAVA_HOME" und "JRE_HOME" einrichten:

sudo vi /etc/profile

Fügen Sie dem ursprünglichen Inhalt der Datei die folgenden Zeilen hinzu:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Speichern und Beenden:

:wq

Laden Sie das Profil neu, um Ihre Änderungen zu übernehmen:

source /etc/profile

Schritt 3: Laden Sie Apache Kafka herunter

Laden Sie die neueste stabile Version von Apache Kafka von der offiziellen Website herunter. Zum Zeitpunkt des Schreibens ist es 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Entpacken Sie das Archiv in einer bevorzugten Lage, wie zum Beispiel /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Schritt 4: Starten und testen Sie Apache Kafka

Zu diesem Zeitpunkt ist Apache Kafka auf Ihrem System verfügbar. Machen wir eine Probefahrt.

4.1: Gehen Sie in das Kafka-Verzeichnis

cd /opt/kafka_2.11-0.9.0.1

4.2: Starten Sie den Zookeeper-Server

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Ändern Sie die Konfiguration Ihres Kafka-Servers

 vi bin/kafka-server-start.sh

Passen Sie die Speichernutzung an Ihre spezifischen Systemparameter an. Wenn Sie beispielsweise eine Vultr-Serverinstanz mit 768 MB Speicher in der Testumgebung verwenden, müssen Sie die folgende Zeile suchen:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Ersetzen Sie es durch:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Speichern Sie eine Beendigung:

:wq

4.4: Starten Sie den Kafka-Server

bin/kafka-server-start.sh config/server.properties

Wenn alles erfolgreich gelaufen ist, werden mehrere Meldungen zum Status des Kafka-Servers angezeigt. Die letzte Meldung lautet:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Dies bedeutet, dass Sie den Kafka-Server gestartet haben.

4.5: Erstellen Sie ein Thema "Test" in einer neuen SSH-Verbindung

Öffnen Sie eine neue SSH-Verbindung und erstellen Sie mit den folgenden Befehlen ein Thema "Test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Sie können Ihre Themen mit dem folgenden Befehl anzeigen:

bin/kafka-topics.sh --list --zookeeper localhost:2181

In unserem Fall lautet die Ausgabe:

test

4.6: Nachrichten mit dem Thema "Test" erstellen

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Mit dem obigen Befehl können Sie beliebig viele Nachrichten eingeben, z. B.:

Welcome aboard!
Bonjour!

Wenn Sie eine ähnliche Fehlermeldung wie "WARN Error while fetching metadata with correlation id"beim Eingeben einer Nachricht erhalten, müssen Sie die server.propertiesDatei mit den folgenden Informationen aktualisieren :

port = 9092
advertised.host.name = localhost 

4.7: Meldungen anzeigen

Öffnen Sie eine dritte SSH-Verbindung und führen Sie die folgenden Befehle aus:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Die zuvor erstellten Nachrichten werden in der dritten SSH-Verbindung angezeigt. Wenn Sie jetzt mehr Nachrichten von der zweiten SSH-Verbindung eingeben, werden diese natürlich sofort bei der dritten SSH-Verbindung angezeigt.

Schließlich können Sie bei jeder SSH-Verbindung Strg + C drücken, um diese Skripte zu stoppen.

Das ist es. Sie können mehr über Apache Kafka auf der offiziellen Website erfahren. Habe Spaß!