Hoe Apache Kafka op CentOS 7 te installeren

• Vereisten:
• Stap 1: Update het CentOS 7-systeem
• Stap 2: Installeer OpenJDK Runtime
• Stap 3: Download Apache Kafka
• Stap 4: Start en test Apache Kafka

Apache Kafka is een schaalbaar berichtensysteem met hoge doorvoer dat in staat is om efficiënt een enorme hoeveelheid gegevens te verwerken.

U kunt Kafka op één server implementeren of een gedistribueerd Kafka-cluster bouwen voor betere prestaties. Om te beginnen legt dit artikel uit hoe Apache Kafka op één enkele Vultr CentOS 7-serverinstantie kan worden geïnstalleerd.

Vereisten:

Voordat u verder gaat, moet u:

• Implementeer een Vultr CentOS 7-serverinstantie. Afhankelijk van uw behoeften moet u mogelijk het beschikbare geheugen uitbreiden.
• Gebruik een sudo-gebruiker om in te loggen vanaf uw SSH-terminal.

Stap 1: Update het CentOS 7-systeem

Gebruik de onderstaande opdracht om uw systeem bij te werken naar de laatste stabiele status:

sudo yum update -y && sudo reboot

Nadat het opnieuw opstarten is voltooid, gebruikt u dezelfde sudo-gebruiker om opnieuw in te loggen.

Stap 2: Installeer OpenJDK Runtime

U moet een virtuele Java-machine op uw systeem instellen voordat u Apache Kafka correct kunt uitvoeren. Hier kunt u OpenJDK Runtime Environment 1.8.0 installeren met YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Valideer uw installatie met:

java -version

De uitvoer moet lijken op:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

U moet ook de omgevingsvariabelen "JAVA_HOME" en "JRE_HOME" instellen:

sudo vi /etc/profile

Voeg de volgende regels toe aan de oorspronkelijke inhoud van het bestand:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Opslaan en afsluiten:

:wq

Laad het profiel opnieuw om uw wijzigingen door te voeren:

source /etc/profile

Stap 3: Download Apache Kafka

Download de nieuwste stabiele versie van Apache Kafka van de officiële website. Op het moment van schrijven is dat zo 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Pak het archief uit op een gewenste locatie, zoals /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Stap 4: Start en test Apache Kafka

Op dit moment is Apache Kafka beschikbaar op uw systeem. Laten we een proefrit maken.

4.1: Ga naar de Kafka-directory

cd /opt/kafka_2.11-0.9.0.1

4.2: Start de Zookeeper-server

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Wijzig de configuratie van uw Kafka-server

 vi bin/kafka-server-start.sh

Pas het geheugengebruik aan volgens uw specifieke systeemparameters. Als u bijvoorbeeld een Vultr-serverinstantie met 768 MB geheugen in de testomgeving gebruikt, moet u de volgende regel lokaliseren:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Vervang het door:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Bewaar een stop:

:wq

4.4: Start de Kafka-server

bin/kafka-server-start.sh config/server.properties

Als alles is gelukt, ziet u verschillende berichten over de status van de Kafka-server en de laatste leest:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Dit betekent dat u de Kafka-server hebt gestart.

4.5: Maak een onderwerp "test" in een nieuwe SSH-verbinding

Open een nieuwe SSH-verbinding, gebruik de volgende opdrachten om een ​​onderwerp "test" te maken:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Je kunt je onderwerpen bekijken met de volgende opdracht:

bin/kafka-topics.sh --list --zookeeper localhost:2181

In ons geval luidt de uitvoer:

test

4.6: Maak berichten met het onderwerp "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Met behulp van de bovenstaande opdracht kunt u een onbeperkt aantal berichten invoeren, zoals:

Welcome aboard!
Bonjour!

Als u een foutmelding krijgt die lijkt op het "WARN Error while fetching metadata with correlation id"invoeren van een bericht, moet u het server.propertiesbestand bijwerken met de volgende informatie:

port = 9092
advertised.host.name = localhost 

4.7: Berichten weergeven

Open een derde SSH-verbinding en voer de volgende opdrachten uit:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! De berichten die u eerder hebt geproduceerd, worden weergegeven in de derde SSH-verbinding. Als je nu meer berichten van de tweede SSH-verbinding invoert, zie je ze natuurlijk meteen op de derde SSH-verbinding.

Ten slotte kunt u op elke SSH-verbinding op Ctrl + C drukken om deze scripts te stoppen.

Dat is het. U kunt meer leren over Apache Kafka op de officiële website. Veel plezier!