Apache Kafka ist ein skalierbares Messaging-System mit hohem Durchsatz, das in der Lage ist, eine große Datenmenge effizient zu verarbeiten.
Sie können Kafka entweder auf einem Server bereitstellen oder einen verteilten Kafka-Cluster erstellen, um eine höhere Leistung zu erzielen. In diesem Artikel wird zunächst erläutert, wie Sie Apache Kafka auf einer einzelnen Vultr CentOS 7-Serverinstanz installieren.
Bevor Sie fortfahren, sollten Sie:
Verwenden Sie den folgenden Befehl, um Ihr System auf den neuesten stabilen Status zu aktualisieren:
sudo yum update -y && sudo reboot
Verwenden Sie nach Abschluss des Neustarts denselben Sudo-Benutzer, um sich erneut anzumelden.
Sie müssen eine virtuelle Java-Maschine auf Ihrem System einrichten, bevor Sie Apache Kafka ordnungsgemäß ausführen können. Hier können Sie OpenJDK Runtime Environment 1.8.0 mit YUM installieren:
sudo yum install java-1.8.0-openjdk.x86_64
Überprüfen Sie Ihre Installation mit:
java -version
Die Ausgabe sollte wie folgt aussehen:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Sie müssen auch die Umgebungsvariablen "JAVA_HOME" und "JRE_HOME" einrichten:
sudo vi /etc/profile
Fügen Sie dem ursprünglichen Inhalt der Datei die folgenden Zeilen hinzu:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Speichern und Beenden:
:wq
Laden Sie das Profil neu, um Ihre Änderungen zu übernehmen:
source /etc/profile
Laden Sie die neueste stabile Version von Apache Kafka von der offiziellen Website herunter. Zum Zeitpunkt des Schreibens ist es 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Entpacken Sie das Archiv in einer bevorzugten Lage, wie zum Beispiel /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Zu diesem Zeitpunkt ist Apache Kafka auf Ihrem System verfügbar. Machen wir eine Probefahrt.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Passen Sie die Speichernutzung an Ihre spezifischen Systemparameter an. Wenn Sie beispielsweise eine Vultr-Serverinstanz mit 768 MB Speicher in der Testumgebung verwenden, müssen Sie die folgende Zeile suchen:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Ersetzen Sie es durch:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Speichern Sie eine Beendigung:
:wq
bin/kafka-server-start.sh config/server.properties
Wenn alles erfolgreich gelaufen ist, werden mehrere Meldungen zum Status des Kafka-Servers angezeigt. Die letzte Meldung lautet:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Dies bedeutet, dass Sie den Kafka-Server gestartet haben.
Öffnen Sie eine neue SSH-Verbindung und erstellen Sie mit den folgenden Befehlen ein Thema "Test":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Sie können Ihre Themen mit dem folgenden Befehl anzeigen:
bin/kafka-topics.sh --list --zookeeper localhost:2181
In unserem Fall lautet die Ausgabe:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Mit dem obigen Befehl können Sie beliebig viele Nachrichten eingeben, z. B.:
Welcome aboard!
Bonjour!
Wenn Sie eine ähnliche Fehlermeldung wie "WARN Error while fetching metadata with correlation id"beim Eingeben einer Nachricht erhalten, müssen Sie die server.propertiesDatei mit den folgenden Informationen aktualisieren :
port = 9092
advertised.host.name = localhost
Öffnen Sie eine dritte SSH-Verbindung und führen Sie die folgenden Befehle aus:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! Die zuvor erstellten Nachrichten werden in der dritten SSH-Verbindung angezeigt. Wenn Sie jetzt mehr Nachrichten von der zweiten SSH-Verbindung eingeben, werden diese natürlich sofort bei der dritten SSH-Verbindung angezeigt.
Schließlich können Sie bei jeder SSH-Verbindung Strg + C drücken, um diese Skripte zu stoppen.
Das ist es. Sie können mehr über Apache Kafka auf der offiziellen Website erfahren. Habe Spaß!
Verwenden Sie ein anderes System? MODX Revolution ist ein schnelles, flexibles, skalierbares, kostenloses und Open-Source-Content-Management-System (CMS) für Unternehmen, das i
Vultr bietet Ihnen eine hervorragende Konnektivität für private Netzwerke für Server, die am selben Standort ausgeführt werden. Aber manchmal möchten Sie zwei Server in verschiedenen Ländern
Verwenden Sie ein anderes System? Einführung CyberPanel ist eines der ersten Control Panels auf dem Markt, das sowohl Open Source als auch OpenLiteSpeed verwendet. Was ist das?
Verwenden Sie ein anderes System? ESpeak kann TTS-Audiodateien (Text-to-Speech) generieren. Diese können aus vielen Gründen nützlich sein, z. B. um Ihr eigenes Turin zu erstellen
Verwenden Sie ein anderes System? Thelia ist ein Open-Source-Tool zum Erstellen von E-Business-Websites und zum Verwalten von Online-Inhalten, die in PHP geschrieben wurden. Thelia Quellcode i
Cockpit ist ein kostenloses Open Source-Programm für die Linux-Serververwaltung. Es ist sehr leicht und hat eine schöne, einfach zu bedienende Weboberfläche. Es erlaubt System
Gollum ist die Git-basierte Wiki-Software, die als Backend des GitHub-Wikis verwendet wird. Durch die Bereitstellung von Gollum können Sie ein GitHub-ähnliches Wiki-System auf Ihnen hosten
BBR (Bottleneck Bandwidth and RTT) ist ein neuer Algorithmus zur Überlastungskontrolle, der von Google zum Linux-Kernel-TCP-Stack hinzugefügt wird. Mit BBR an Ort und Stelle,
YOURLS (Your Own URL Shortener) ist eine Open-Source-Anwendung zur URL-Verkürzung und Datenanalyse. In diesem Artikel werden wir den Installationsprozess behandeln
Verwenden Sie ein anderes System? RTMP eignet sich hervorragend für die Bereitstellung von Live-Inhalten. Wenn RTMP mit FFmpeg gekoppelt ist, können Streams in verschiedene Qualitäten konvertiert werden. Vultr i
LimeSurvey ist ein kostenloses und Open-Source-Online-Umfragetool, das häufig zum Veröffentlichen von Online-Umfragen und zum Sammeln von Umfrage-Feedback verwendet wird. In diesem Artikel werde ich
Einführung Java ist eine beliebte Softwareplattform, mit der Sie Java-Anwendungen und -Applets in verschiedenen Hardwareumgebungen entwickeln und ausführen können. Es gibt
Verwenden Sie ein anderes System? Netdata ist ein aufstrebender Stern im Bereich der Echtzeitüberwachung von Systemmetriken. Im Vergleich zu anderen Tools der gleichen Art bietet Netdata:
In diesem Tutorial erfahren Sie, wie Sie einen Just Cause 2-Multiplayer-Server einrichten. Voraussetzungen Bitte stellen Sie sicher, dass das System vollständig aktualisiert ist, bevor Sie beginnen
Verwenden Sie ein anderes System? In diesem Tutorial werde ich erklären, wie ein Starbound-Server unter CentOS 7 eingerichtet wird. Voraussetzungen Sie müssen dieses Spiel besitzen
ZNC ist ein kostenloser Open-Source-IRC-Bouncer, der permanent mit einem Netzwerk verbunden bleibt, sodass Clients Nachrichten empfangen können, die gesendet werden, während sie offline sind. Thi
Django ist ein beliebtes Python-Framework zum Schreiben von Webanwendungen. Mit Django können Sie Anwendungen schneller erstellen, ohne das Rad neu zu erfinden. Wenn du willst
ionCube Loader ist eine PHP-Erweiterung, mit der ein Webserver PHP-Dateien ausführen kann, die mit ionCube Encoder codiert wurden und für deren Ausführung erforderlich sind
Einführung Installieren Sie in diesem Tutorial PufferPanel auf unserem Vultr VPS. PufferPanel ist ein Open Source-Bedienfeld, das Sie kostenlos verwalten können
Verwenden Sie ein anderes System? Einführung BoltWire ist ein kostenloses und leichtes Content-Management-System, das in PHP geschrieben wurde. Im Vergleich zu den meisten anderen Content Managern
Ransomware-Angriffe nehmen zu, aber kann KI helfen, den neuesten Computervirus zu bekämpfen? Ist KI die Antwort? Lesen Sie hier, ob KI boone oder bane ist
ReactOS, ein quelloffenes und kostenloses Betriebssystem, ist hier mit der neuesten Version. Kann es den Anforderungen moderner Windows-Benutzer genügen und Microsoft zu Fall bringen? Lassen Sie uns mehr über dieses alte, aber neuere Betriebssystem erfahren.
Whatsapp hat endlich die Desktop-App für Mac- und Windows-Benutzer auf den Markt gebracht. Jetzt können Sie ganz einfach von Windows oder Mac auf WhatsApp zugreifen. Verfügbar für Windows 8+ und Mac OS 10.9+
Lesen Sie dies, um zu erfahren, wie Künstliche Intelligenz bei kleinen Unternehmen beliebt wird und wie sie die Wahrscheinlichkeit erhöht, sie wachsen zu lassen und ihren Konkurrenten einen Vorsprung zu verschaffen.
Vor kurzem hat Apple macOS Catalina 10.15.4 als Ergänzungsupdate veröffentlicht, um Probleme zu beheben, aber es scheint, dass das Update mehr Probleme verursacht, die zum Bricking von Mac-Computern führen. Lesen Sie diesen Artikel, um mehr zu erfahren
13 Tools zur kommerziellen Datenextraktion von Big Data
Unser Computer speichert alle Daten in einer organisierten Weise, die als Journaling-Dateisystem bekannt ist. Es ist eine effiziente Methode, die es dem Computer ermöglicht, Dateien zu suchen und anzuzeigen, sobald Sie auf die Suche klicken.https://wethegeek.com/?p=94116&preview=true
Da sich die Wissenschaft schnell weiterentwickelt und einen Großteil unserer Bemühungen übernimmt, steigt auch das Risiko, uns einer unerklärlichen Singularität auszusetzen. Lesen Sie, was Singularität für uns bedeuten könnte.
Ein Einblick in 26 Big-Data-Analysetechniken: Teil 1
KI im Gesundheitswesen hat in den letzten Jahrzehnten große Fortschritte gemacht. Somit wächst die Zukunft der KI im Gesundheitswesen immer noch von Tag zu Tag.
