Apache Kafka is een schaalbaar berichtensysteem met hoge doorvoer dat in staat is om efficiënt een enorme hoeveelheid gegevens te verwerken.
U kunt Kafka op één server implementeren of een gedistribueerd Kafka-cluster bouwen voor betere prestaties. Om te beginnen legt dit artikel uit hoe Apache Kafka op één enkele Vultr CentOS 7-serverinstantie kan worden geïnstalleerd.
Voordat u verder gaat, moet u:
Gebruik de onderstaande opdracht om uw systeem bij te werken naar de laatste stabiele status:
sudo yum update -y && sudo reboot
Nadat het opnieuw opstarten is voltooid, gebruikt u dezelfde sudo-gebruiker om opnieuw in te loggen.
U moet een virtuele Java-machine op uw systeem instellen voordat u Apache Kafka correct kunt uitvoeren. Hier kunt u OpenJDK Runtime Environment 1.8.0 installeren met YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Valideer uw installatie met:
java -version
De uitvoer moet lijken op:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
U moet ook de omgevingsvariabelen "JAVA_HOME" en "JRE_HOME" instellen:
sudo vi /etc/profile
Voeg de volgende regels toe aan de oorspronkelijke inhoud van het bestand:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Opslaan en afsluiten:
:wq
Laad het profiel opnieuw om uw wijzigingen door te voeren:
source /etc/profile
Download de nieuwste stabiele versie van Apache Kafka van de officiële website. Op het moment van schrijven is dat zo 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Pak het archief uit op een gewenste locatie, zoals /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Op dit moment is Apache Kafka beschikbaar op uw systeem. Laten we een proefrit maken.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Pas het geheugengebruik aan volgens uw specifieke systeemparameters. Als u bijvoorbeeld een Vultr-serverinstantie met 768 MB geheugen in de testomgeving gebruikt, moet u de volgende regel lokaliseren:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Vervang het door:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Bewaar een stop:
:wq
bin/kafka-server-start.sh config/server.properties
Als alles is gelukt, ziet u verschillende berichten over de status van de Kafka-server en de laatste leest:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Dit betekent dat u de Kafka-server hebt gestart.
Open een nieuwe SSH-verbinding, gebruik de volgende opdrachten om een onderwerp "test" te maken:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Je kunt je onderwerpen bekijken met de volgende opdracht:
bin/kafka-topics.sh --list --zookeeper localhost:2181
In ons geval luidt de uitvoer:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Met behulp van de bovenstaande opdracht kunt u een onbeperkt aantal berichten invoeren, zoals:
Welcome aboard!
Bonjour!
Als u een foutmelding krijgt die lijkt op het "WARN Error while fetching metadata with correlation id"invoeren van een bericht, moet u het server.propertiesbestand bijwerken met de volgende informatie:
port = 9092
advertised.host.name = localhost
Open een derde SSH-verbinding en voer de volgende opdrachten uit:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! De berichten die u eerder hebt geproduceerd, worden weergegeven in de derde SSH-verbinding. Als je nu meer berichten van de tweede SSH-verbinding invoert, zie je ze natuurlijk meteen op de derde SSH-verbinding.
Ten slotte kunt u op elke SSH-verbinding op Ctrl + C drukken om deze scripts te stoppen.
Dat is het. U kunt meer leren over Apache Kafka op de officiële website. Veel plezier!
Gebruikt u een ander systeem? Introductie CyberPanel is een van de eerste bedieningspanelen op de markt die zowel open source is als OpenLiteSpeed gebruikt. Wat thi
Introductie Sensu is een gratis en open source monitoringoplossing die kan worden gebruikt om server, applicatie en verschillende systeemservices te monitoren. Sensu i
Het gebruik van een sudo-gebruiker om toegang te krijgen tot een server en opdrachten uit te voeren op rootniveau is een veel voorkomende praktijk onder Linux en Unix-systeembeheerder. Het gebruik van een sud
Gebruikt u een ander systeem? RTMP is geweldig voor het weergeven van live inhoud. Wanneer RTMP is gekoppeld aan FFmpeg, kunnen streams worden omgezet in verschillende kwaliteiten. Vultr ik
TaskBoard is een gratis en open source webbeheer voor tijdbeheer. Geïnspireerd door Kanban, kan TaskBoard u helpen bij het bijhouden van dingen die moeten worden gedaan in een
Gebruikt u een ander systeem? Gradle is een gratis en open source toolset voor het automatiseren van builds, gebaseerd op de concepten van Apache Ant en Apache Maven. Gradle biedt
Gebruikt u een ander systeem? In deze handleiding zullen we zien hoe u een FTP-server (ProFTPd) configureert om bestanden over te zetten tussen uw pc en uw server.
Gebruikt u een ander systeem? Netdata is een rijzende ster op het gebied van realtime monitoring van systeemstatistieken. Vergeleken met andere tools van dezelfde soort, Netdata:
Gebruikt u een ander systeem? Apache Cassandra is een gratis en open source NoSQL-databasebeheersysteem dat is ontworpen om schaalbaarheid te bieden
In deze tutorial leer je goed hoe je een Just Cause 2 multiplayer-server opzet. Vereisten Zorg ervoor dat het systeem volledig is bijgewerkt voordat we beginnen
Gebruikt u een ander systeem? In deze tutorial leg ik uit hoe je een Starbound-server instelt op CentOS 7. Vereisten Je moet dit spel op je hebben
ZNC is een gratis en open-source IRC-uitsmijter die permanent verbonden blijft met een netwerk, zodat klanten berichten kunnen ontvangen die worden verzonden terwijl ze offline zijn. Thi
Django is een populair Python-framework voor het schrijven van webapplicaties. Met Django kun je sneller applicaties bouwen, zonder het wiel opnieuw uit te vinden. Als je wilt
MantisBT, of Mantis Bug Tracker, is een open source issue tracker geschreven in PHP. MantisBT is uitgebalanceerd tussen gebruiksgemak en functionaliteit, mits
Gebruikt u een ander systeem? Elgg is een open source engine voor sociaal netwerken waarmee sociale omgevingen kunnen worden gecreëerd, zoals sociale campusnetwerken
Froxlor is een open source, gratis, lichtgewicht en toch krachtig serverbeheerpaneel dat geweldig is voor het opzetten en beheren van webhostingservices. Thi
Gebruikt u een ander systeem? Alfresco Community Edition is een open source-versie van de Alfresco Content Services. Het is geschreven in Java en gebruikt PostgreSQL t
Vtiger CRM is een populaire applicatie voor klantrelatiebeheer die bedrijven kan helpen hun verkoop te laten groeien, klantenservice te bieden en de winst te vergroten. ik
Wat je nodig hebt Een Vultr VPS met minimaal 1 GB RAM. SSH-toegang (met root- / beheerdersrechten). Stap 1: BungeeCord installeren Eerste dingen eerst
MaraDNS is een lichtgewicht maar robuust open source DNS-serverprogramma. Vergeleken met andere applicaties van dezelfde soort, zoals ISC BIND, PowerDNS en djbdns
Ransomware-aanvallen nemen toe, maar kan AI helpen het nieuwste computervirus het hoofd te bieden? Is AI het antwoord? Lees hier weten is AI boezem of vloek
ReactOS, een open source en gratis besturingssysteem is hier met de nieuwste versie. Kan het voldoen aan de behoeften van moderne Windows-gebruikers en Microsoft uitschakelen? Laten we meer te weten komen over deze oude stijl, maar een nieuwere OS-ervaring.
WhatsApp heeft eindelijk de Desktop-app voor Mac- en Windows-gebruikers gelanceerd. Nu heb je eenvoudig toegang tot WhatsApp vanuit Windows of Mac. Beschikbaar voor Windows 8+ en Mac OS 10.9+
Lees dit om te weten hoe kunstmatige intelligentie populair wordt onder de kleinschalige bedrijven en hoe het de kansen vergroot om ze te laten groeien en hun concurrenten voorsprong te geven.
Onlangs heeft Apple macOS Catalina 10.15.4 uitgebracht, een aanvullende update om problemen op te lossen, maar het lijkt erop dat de update meer problemen veroorzaakt die ertoe leiden dat mac-machines worden gemetseld. Lees dit artikel voor meer informatie
13 Commerciële data-extractietools voor big data
Onze computer slaat alle gegevens op een georganiseerde manier op, het zogenaamde Journaling-bestandssysteem. Het is een efficiënte methode waarmee de computer bestanden kan zoeken en weergeven zodra u op zoeken drukt.https://wethegeek.com/?p=94116&preview=true
Naarmate de wetenschap zich snel ontwikkelt en veel van onze inspanningen overneemt, nemen ook de risico's toe om onszelf te onderwerpen aan een onverklaarbare singulariteit. Lees, wat singulariteit voor ons kan betekenen.
Een inzicht in 26 Big Data-analysetechnieken: deel 1
AI in de zorg heeft de afgelopen decennia grote sprongen gemaakt. De toekomst van AI in de gezondheidszorg groeit dus nog steeds met de dag.
