Comment installer Apache Kafka sur CentOS 7

• Conditions préalables:
• Étape 1: mettre à jour le système CentOS 7
• Étape 2: installer OpenJDK Runtime
• Étape 3: Téléchargez Apache Kafka
• Étape 4: Démarrer et tester Apache Kafka

Apache Kafka est un système de messagerie évolutif et à haut débit qui est capable de gérer efficacement une énorme quantité de données.

Vous pouvez déployer Kafka sur un serveur ou créer un cluster Kafka distribué pour de meilleures performances. Pour commencer, cet article explique comment installer Apache Kafka sur une seule instance de serveur Vultr CentOS 7.

Conditions préalables:

Avant de continuer, vous devez:

• Déployez une instance de serveur Vultr CentOS 7. Selon vos besoins, vous devrez peut-être augmenter la mémoire disponible.
• Utilisez un utilisateur sudo pour vous connecter à partir de votre terminal SSH.

Étape 1: mettre à jour le système CentOS 7

Utilisez la commande ci-dessous pour mettre à jour votre système vers le dernier état stable:

sudo yum update -y && sudo reboot

Une fois le redémarrage terminé, utilisez le même utilisateur sudo pour vous reconnecter.

Étape 2: installer OpenJDK Runtime

Vous devez configurer une machine virtuelle Java sur votre système avant de pouvoir exécuter Apache Kafka correctement. Ici, vous pouvez installer OpenJDK Runtime Environment 1.8.0 à l'aide de YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Validez votre installation avec:

java -version

La sortie doit ressembler à:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Vous devez également configurer les variables d'environnement "JAVA_HOME" et "JRE_HOME":

sudo vi /etc/profile

Ajoutez les lignes suivantes au contenu d'origine du fichier:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Sauvegarder et quitter:

:wq

Rechargez le profil pour appliquer vos modifications:

source /etc/profile

Étape 3: Téléchargez Apache Kafka

Téléchargez la dernière version stable d'Apache Kafka sur le site officiel. Au moment de la rédaction, c'est 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Décompressez l'archive à un emplacement préféré, tel que /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Étape 4: Démarrer et tester Apache Kafka

À ce stade, Apache Kafka est disponible sur votre système. Essayons-le.

4.1: Entrez dans le répertoire Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Démarrez le serveur Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Modifier la configuration de votre serveur Kafka

 vi bin/kafka-server-start.sh

Ajustez l'utilisation de la mémoire en fonction de vos paramètres système spécifiques. Par exemple, si vous utilisez une instance de serveur Vultr avec 768 Mo de mémoire dans l'environnement de test, vous devez localiser la ligne suivante:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Remplacez-le par:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Enregistrer un arrêt:

:wq

4.4: Démarrez le serveur Kafka

bin/kafka-server-start.sh config/server.properties

Si tout s'est bien passé, vous verrez plusieurs messages sur l'état du serveur Kafka, et le dernier lira:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Cela signifie que vous avez démarré le serveur Kafka.

4.5: Créer un sujet "test" dans une nouvelle connexion SSH

Ouvrez une nouvelle connexion SSH, utilisez les commandes suivantes pour créer une rubrique "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Vous pouvez afficher vos rubriques avec la commande suivante:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Dans notre cas, la sortie se lira:

test

4.6: Produire des messages en utilisant la rubrique "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

En utilisant la commande ci-dessus, vous pouvez saisir autant de messages que vous le souhaitez, tels que:

Welcome aboard!
Bonjour!

Si vous recevez une erreur similaire à "WARN Error while fetching metadata with correlation id"lors de la saisie d'un message, vous devrez mettre à jour le server.propertiesfichier avec les informations suivantes:

port = 9092
advertised.host.name = localhost 

4.7: Afficher les messages

Ouvrez une troisième connexion SSH, puis exécutez les commandes suivantes:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Les messages que vous avez produits précédemment s'afficheront dans la troisième connexion SSH. Bien sûr, si vous entrez maintenant plus de messages à partir de la deuxième connexion SSH, vous les verrez immédiatement sur la troisième connexion SSH.

Enfin, vous pouvez appuyer sur Ctrl + C sur chaque connexion SSH pour arrêter ces scripts.

C'est ça. Vous pouvez en savoir plus sur Apache Kafka sur le site officiel. S'amuser!