Apache Kafka est un système de messagerie évolutif et à haut débit qui est capable de gérer efficacement une énorme quantité de données.
Vous pouvez déployer Kafka sur un serveur ou créer un cluster Kafka distribué pour de meilleures performances. Pour commencer, cet article explique comment installer Apache Kafka sur une seule instance de serveur Vultr CentOS 7.
Avant de continuer, vous devez:
Utilisez la commande ci-dessous pour mettre à jour votre système vers le dernier état stable:
sudo yum update -y && sudo reboot
Une fois le redémarrage terminé, utilisez le même utilisateur sudo pour vous reconnecter.
Vous devez configurer une machine virtuelle Java sur votre système avant de pouvoir exécuter Apache Kafka correctement. Ici, vous pouvez installer OpenJDK Runtime Environment 1.8.0 à l'aide de YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Validez votre installation avec:
java -version
La sortie doit ressembler à:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Vous devez également configurer les variables d'environnement "JAVA_HOME" et "JRE_HOME":
sudo vi /etc/profile
Ajoutez les lignes suivantes au contenu d'origine du fichier:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Sauvegarder et quitter:
:wq
Rechargez le profil pour appliquer vos modifications:
source /etc/profile
Téléchargez la dernière version stable d'Apache Kafka sur le site officiel. Au moment de la rédaction, c'est 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Décompressez l'archive à un emplacement préféré, tel que /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
À ce stade, Apache Kafka est disponible sur votre système. Essayons-le.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Ajustez l'utilisation de la mémoire en fonction de vos paramètres système spécifiques. Par exemple, si vous utilisez une instance de serveur Vultr avec 768 Mo de mémoire dans l'environnement de test, vous devez localiser la ligne suivante:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Remplacez-le par:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Enregistrer un arrêt:
:wq
bin/kafka-server-start.sh config/server.properties
Si tout s'est bien passé, vous verrez plusieurs messages sur l'état du serveur Kafka, et le dernier lira:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Cela signifie que vous avez démarré le serveur Kafka.
Ouvrez une nouvelle connexion SSH, utilisez les commandes suivantes pour créer une rubrique "test":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Vous pouvez afficher vos rubriques avec la commande suivante:
bin/kafka-topics.sh --list --zookeeper localhost:2181
Dans notre cas, la sortie se lira:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
En utilisant la commande ci-dessus, vous pouvez saisir autant de messages que vous le souhaitez, tels que:
Welcome aboard!
Bonjour!
Si vous recevez une erreur similaire à "WARN Error while fetching metadata with correlation id"lors de la saisie d'un message, vous devrez mettre à jour le server.propertiesfichier avec les informations suivantes:
port = 9092
advertised.host.name = localhost
Ouvrez une troisième connexion SSH, puis exécutez les commandes suivantes:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! Les messages que vous avez produits précédemment s'afficheront dans la troisième connexion SSH. Bien sûr, si vous entrez maintenant plus de messages à partir de la deuxième connexion SSH, vous les verrez immédiatement sur la troisième connexion SSH.
Enfin, vous pouvez appuyer sur Ctrl + C sur chaque connexion SSH pour arrêter ces scripts.
C'est ça. Vous pouvez en savoir plus sur Apache Kafka sur le site officiel. S'amuser!
Vous utilisez un système différent? MODX Revolution est un système de gestion de contenu (CMS) de niveau entreprise rapide, flexible, évolutif, gratuit et open source écrit i
Vultr vous offre une connectivité réseau privée impressionnante pour les serveurs fonctionnant au même endroit. Mais parfois, vous voulez deux serveurs dans des pays différents
Vous utilisez un système différent? Introduction CyberPanel est lun des premiers panneaux de contrôle du marché à la fois open source et utilisant OpenLiteSpeed. Quest-ce que
Vous utilisez un système différent? ESpeak peut générer des fichiers audio de synthèse vocale (TTS). Ceux-ci peuvent être utiles pour de nombreuses raisons, telles que la création de votre propre Turin
Vous utilisez un système différent? Thelia est un outil open source pour la création de sites Web de commerce électronique et la gestion de contenu en ligne, écrit en PHP. Code source Thelia i
BBR (Bottleneck Bandwidth and RTT) est un nouvel algorithme de contrôle de congestion qui est contribué à la pile TCP du noyau Linux par Google. Avec BBR en place,
YOURLS (Your Own URL Shortener) est une application open source de raccourcissement dURL et danalyse de données. Dans cet article, nous couvrirons le processus dinstallation
Vous utilisez un système différent? RTMP est idéal pour diffuser du contenu en direct. Lorsque RTMP est associé à FFmpeg, les flux peuvent être convertis en différentes qualités. Vultr i
LimeSurvey est un outil de sondage en ligne gratuit et open source qui est largement utilisé pour publier des sondages en ligne et recueillir des commentaires sur les sondages. Dans cet article, je vais
Introduction Java est une plate-forme logicielle populaire qui vous permet de développer et dexécuter des applications et des applets Java dans divers environnements matériels. Il y a
Vous utilisez un système différent? Le forum Vanilla est une application de forum open source écrite en PHP. Il est entièrement personnalisable, facile à utiliser et prend en charge externa
Vous utilisez un système différent? Netdata est une étoile montante dans le domaine de la surveillance des métriques système en temps réel. Par rapport à dautres outils du même type, Netdata:
Dans ce didacticiel, découvrez comment configurer un serveur multijoueur Just Cause 2. Prérequis Veuillez vous assurer que le système est entièrement mis à jour avant de commencer
Vous utilisez un système différent? Dans ce tutoriel, je vais vous expliquer comment configurer un serveur Starbound sur CentOS 7. Prérequis Vous devez posséder ce jeu sur vous
ZNC est un videur IRC gratuit et open-source qui reste connecté en permanence à un réseau afin que les clients puissent recevoir des messages envoyés lorsquils sont hors ligne. Thi
Django est un framework Python populaire pour lécriture dapplications Web. Avec Django, vous pouvez créer des applications plus rapidement, sans réinventer la roue. Si tu veux
ionCube Loader est une extension PHP qui permet à un serveur Web dexécuter des fichiers PHP qui ont été encodés à laide dionCube Encoder et qui est requis pour exécuter e
Vous utilisez un système différent? Reader Self 3.5 est un lecteur RSS auto-hébergé simple et flexible, gratuit et open source et une alternative à Google Reader. Reader Sel
Introduction Dans ce tutoriel, installez bien PufferPanel sur notre Vultr VPS. PufferPanel est un panneau de contrôle open source et gratuit pour vous gérer
Vous utilisez un système différent? Introduction BoltWire est un système de gestion de contenu gratuit et léger écrit en PHP. Comparé à la plupart des autres gestionnaires de contenu
Les attaques de ransomware sont en augmentation, mais l'IA peut-elle aider à lutter contre le dernier virus informatique ? L'IA est-elle la réponse ? Lisez ici, sachez que l'IA est un boone ou un fléau
ReactOS, un système d'exploitation open source et gratuit est ici avec la dernière version. Cela peut-il suffire aux besoins des utilisateurs de Windows modernes et faire tomber Microsoft ? Découvrons-en plus sur cet ancien style, mais une expérience de système d'exploitation plus récente.
Whatsapp a finalement lancé l'application de bureau pour les utilisateurs Mac et Windows. Vous pouvez désormais accéder facilement à Whatsapp depuis Windows ou Mac. Disponible pour Windows 8+ et Mac OS 10.9+
Lisez ceci pour savoir comment l'intelligence artificielle devient populaire parmi les petites entreprises et comment elle augmente les probabilités de les faire grandir et de donner à leurs concurrents un avantage.
Récemment, Apple a publié macOS Catalina 10.15.4, une mise à jour supplémentaire pour résoudre les problèmes, mais il semble que la mise à jour cause davantage de problèmes, ce qui entraîne le bridage des machines mac. Lisez cet article pour en savoir plus
13 outils commerciaux d'extraction de données de Big Data
Notre ordinateur stocke toutes les données d'une manière organisée connue sous le nom de système de fichiers de journalisation. C'est une méthode efficace qui permet à l'ordinateur de rechercher et d'afficher des fichiers dès que vous appuyez sur la recherche.https://wethegeek.com/?p=94116&preview=true
Alors que la science évolue à un rythme rapide, prenant le pas sur une grande partie de nos efforts, les risques de nous soumettre à une Singularité inexplicable augmentent également. Lisez, ce que la singularité pourrait signifier pour nous.
Un aperçu de 26 techniques d'analyse des mégadonnées : partie 1
L'IA dans le domaine de la santé a fait de grands progrès au cours des dernières décennies. Ainsi, l'avenir de l'IA dans les soins de santé continue de croître de jour en jour.
