Apache Kafka è un sistema di messaggistica scalabile e ad alta produttività che è in grado di gestire in modo efficiente un'enorme quantità di dati.
È possibile distribuire Kafka su un server o creare un cluster Kafka distribuito per prestazioni migliori. Come inizio, questo articolo spiega come installare Apache Kafka su una singola istanza del server Vultr CentOS 7.
Prima di proseguire, dovresti:
Utilizzare il comando seguente per aggiornare il sistema all'ultimo stato stabile:
sudo yum update -y && sudo reboot
Al termine del riavvio, utilizzare lo stesso utente sudo per accedere nuovamente.
È necessario configurare una macchina virtuale Java sul proprio sistema prima di poter eseguire correttamente Apache Kafka. Qui, è possibile installare OpenJDK Runtime Environment 1.8.0 utilizzando YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Convalida l'installazione con:
java -version
L'output dovrebbe assomigliare a:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
È inoltre necessario impostare le variabili di ambiente "JAVA_HOME" e "JRE_HOME":
sudo vi /etc/profile
Aggiungi le seguenti righe al contenuto originale del file:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Salva ed esci:
:wq
Ricarica il profilo per rendere effettive le modifiche:
source /etc/profile
Scarica l'ultima versione stabile di Apache Kafka dal sito ufficiale. Al momento della scrittura, lo è 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Decomprimi l'archivio in una posizione preferita, ad esempio /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
A questo punto, Apache Kafka è disponibile sul tuo sistema. Facciamo un giro di prova.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Regola l'utilizzo della memoria in base ai tuoi parametri di sistema specifici. Ad esempio, se si utilizza un'istanza del server Vultr con 768 MB di memoria nell'ambiente di test, è necessario individuare la seguente riga:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Sostituiscilo con:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Salva una chiusura:
:wq
bin/kafka-server-start.sh config/server.properties
Se tutto è andato a buon fine, vedrai diversi messaggi sullo stato del server Kafka e l'ultimo leggerà:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Ciò significa che hai avviato il server Kafka.
Apri una nuova connessione SSH, usa i seguenti comandi per creare un argomento "test":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Puoi visualizzare i tuoi argomenti con il seguente comando:
bin/kafka-topics.sh --list --zookeeper localhost:2181
Nel nostro caso, l'output leggerà:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Usando il comando sopra, puoi inserire qualsiasi numero di messaggi come desideri, come ad esempio:
Welcome aboard!
Bonjour!
Se ricevi un errore simile a "WARN Error while fetching metadata with correlation id"quando inserisci un messaggio, dovrai aggiornare il server.propertiesfile con le seguenti informazioni:
port = 9092
advertised.host.name = localhost
Aprire una terza connessione SSH, quindi eseguire i comandi seguenti:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! I messaggi prodotti in precedenza verranno visualizzati nella terza connessione SSH. Ovviamente, se inserisci più messaggi dalla seconda connessione SSH ora, li vedrai immediatamente sulla terza connessione SSH.
Infine, puoi premere Ctrl + C su ogni connessione SSH per interrompere questi script.
Questo è tutto. Puoi saperne di più su Apache Kafka sul sito ufficiale. Divertiti!
Usi un sistema diverso? Introduzione CyberPanel è uno dei primi pannelli di controllo sul mercato che è sia open source che utilizza OpenLiteSpeed. Che cosa
Introduzione Sensu è una soluzione di monitoraggio gratuita e open source che può essere utilizzata per monitorare server, applicazioni e vari servizi di sistema. Sensu i
Usi un sistema diverso? Apache OpenMeetings è unapplicazione per conferenze Web open source. È scritto in Java e supporta più server di database. io
Luso di un utente sudo per accedere a un server ed eseguire comandi a livello di root è una pratica molto comune tra Linux e Unix Systems Administrator. Luso di un sud
Usando un sistema diverso? RabbitMQ è un broker di messaggi open source ampiamente utilizzato scritto nel linguaggio di programmazione Erlang. Come middleware orientato ai messaggi
Usi un sistema diverso? RTMP è ottimo per pubblicare contenuti live. Quando RTMP è associato a FFmpeg, i flussi possono essere convertiti in varie qualità. Vultr i
TaskBoard è unapp Web di gestione del tempo gratuita e open source. Ispirato da Kanban, TaskBoard può aiutarti a tenere traccia delle cose che devono essere fatte in a
Usi un sistema diverso? Gradle è un set di strumenti di automazione di build gratuito e open source basato sui concetti di Apache Ant e Apache Maven. Gradle fornisce
Usi un sistema diverso? In questa guida, vedremo come configurare un server FTP (ProFTPd) per trasferire file tra il tuo PC e il tuo server.
Usando un sistema diverso? Netdata è una stella nascente nel campo del monitoraggio delle metriche di sistema in tempo reale. Rispetto ad altri strumenti dello stesso tipo, Netdata:
Usi un sistema diverso? Apache Cassandra è un sistema di gestione di database NoSQL gratuito e open source progettato per fornire scalabilità, alta
In questo tutorial imparerai bene come configurare un server multiplayer Just Cause 2. Prerequisiti Assicurarsi che il sistema sia completamente aggiornato prima di iniziare
Usando un sistema diverso? In questo tutorial, spiegherò come impostare un server Starbound su CentOS 7. Prerequisiti Devi possedere questo gioco su di te
ZNC è un buttafuori IRC gratuito e open source che rimane permanentemente connesso a una rete in modo che i client possano ricevere messaggi inviati mentre sono offline. Thi
Django è un popolare framework Python per la scrittura di applicazioni Web. Con Django, puoi creare applicazioni più velocemente, senza reinventare la ruota. Se vuoi
Dopo aver modificato la porta SSH, configurato il port knocking e apportato altre modifiche per la sicurezza SSH, cè forse un altro modo per proteggerti
Introduzione MyCLI è un client da riga di comando per MySQL e MariaDB che ti consente di completare automaticamente e ti aiuta con la sintassi dei tuoi comandi SQL. MyCL
Usi un sistema diverso? Directus 6.4 CMS è un sistema di gestione dei contenuti senza testa (CMS) potente e flessibile, gratuito e open source che fornisce agli sviluppatori
Cosa ti serve Un VPS Vultr con almeno 1 GB di RAM. Accesso SSH (con privilegi di root / amministrativi). Passaggio 1: installare prima BungeeCord
MaraDNS è un programma server DNS open source leggero ma robusto. Rispetto ad altre applicazioni dello stesso tipo, come ISC BIND, PowerDNS e djbdns
Gli attacchi ransomware sono in aumento, ma l'intelligenza artificiale può aiutare ad affrontare l'ultimo virus informatico? L'intelligenza artificiale è la risposta? Leggi qui sai è AI boone o bane
ReactOS, un sistema operativo open source e gratuito è qui con l'ultima versione. Può essere sufficiente alle esigenze degli utenti Windows moderni e abbattere Microsoft? Scopriamo di più su questo vecchio stile, ma un'esperienza del sistema operativo più recente.
Whatsapp ha finalmente lanciato l'app desktop per utenti Mac e Windows. Ora puoi accedere facilmente a Whatsapp da Windows o Mac. Disponibile per Windows 8+ e Mac OS 10.9+
Leggi questo per sapere come l'intelligenza artificiale sta diventando popolare tra le aziende di piccole dimensioni e come sta aumentando le probabilità di farle crescere e dare un vantaggio ai loro concorrenti.
Recentemente Apple ha rilasciato macOS Catalina 10.15.4 un aggiornamento supplementare per risolvere i problemi, ma sembra che l'aggiornamento stia causando più problemi che portano al bricking delle macchine mac. Leggi questo articolo per saperne di più
13 strumenti commerciali per l'estrazione dei dati dai Big Data
Il nostro computer memorizza tutti i dati in un modo organizzato noto come file system di journaling. È un metodo efficiente che consente al computer di cercare e visualizzare i file non appena si preme search.https://wethegeek.com/?p=94116&preview=true
Man mano che la scienza si evolve a un ritmo rapido, assumendo gran parte dei nostri sforzi, aumentano anche i rischi di sottoporci a una singolarità inspiegabile. Leggi, cosa potrebbe significare per noi la singolarità.
Uno sguardo a 26 tecniche di analisi dei Big Data: Parte 1
L'intelligenza artificiale nell'assistenza sanitaria ha compiuto grandi passi avanti negli ultimi decenni. Pertanto, il futuro dell'IA in sanità continua a crescere giorno dopo giorno.
