Apache Kafka este un sistem de mesagerie scalabil și de mare capacitate, capabil să manipuleze eficient o cantitate uriașă de date.
Puteți să implementați Kafka pe un server sau să construiți un cluster Kafka distribuit pentru o performanță mai mare. Ca un început, acest articol explică cum se instalează Apache Kafka pe o singură instanță a serverului Vultr CentOS 7.
Înainte de a merge mai departe, ar trebui să:
Utilizați comanda de mai jos pentru a actualiza sistemul dvs. la cel mai recent statut stabil:
sudo yum update -y && sudo reboot
După terminarea repornirii, utilizați același utilizator sudo pentru a vă autentifica din nou.
Trebuie să configurați o mașină virtuală Java pe sistemul dvs. înainte de a putea rula Apache Kafka corect. Aici, puteți instala OpenJDK Runtime Environment 1.8.0 folosind YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Validați instalarea cu:
java -version
Produsul ar trebui să semene cu:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
De asemenea, trebuie să configurați variabilele de mediu „JAVA_HOME” și „JRE_HOME”:
sudo vi /etc/profile
Adăugați următoarele linii la conținutul original al fișierului:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Salvează și închide:
:wq
Reîncărcați profilul pentru a face efectele modificărilor:
source /etc/profile
Descărcați cea mai recentă versiune stabilă de Apache Kafka de pe site-ul oficial. În momentul scrierii, este 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Decuplați arhiva într-o locație preferată, cum ar fi /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
În acest moment, Apache Kafka este disponibil pe sistemul tău. Să-i dăm un test drive.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Reglați utilizarea memoriei în funcție de parametrii dvs. specifici de sistem. De exemplu, dacă utilizați o instanță a serverului Vultr cu memorie 768 MB în mediul de testare, trebuie să localizați următoarea linie:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Înlocuiți-l cu:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Salvați o renunțare:
:wq
bin/kafka-server-start.sh config/server.properties
Dacă totul a decurs cu succes, veți vedea mai multe mesaje despre starea serverului Kafka, iar ultimul va citi:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Aceasta înseamnă că ați pornit serverul Kafka.
Deschideți o nouă conexiune SSH, utilizați următoarele comenzi pentru a crea un subiect "test":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Vă puteți vizualiza subiectele cu următoarea comandă:
bin/kafka-topics.sh --list --zookeeper localhost:2181
În cazul nostru, rezultatul va citi:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Folosind comanda de mai sus, puteți introduce orice număr de mesaje după cum doriți, cum ar fi:
Welcome aboard!
Bonjour!
Dacă primiți o eroare similară cu "WARN Error while fetching metadata with correlation id"introducerea unui mesaj, va trebui să actualizați server.propertiesfișierul cu următoarele informații:
port = 9092
advertised.host.name = localhost
Deschideți o a treia conexiune SSH, apoi executați următoarele comenzi:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! Mesajele pe care le-ați produs anterior vor fi afișate în a treia conexiune SSH. Desigur, dacă introduceți mai multe mesaje din a doua conexiune SSH acum, le veți vedea imediat pe a treia conexiune SSH.
În cele din urmă, puteți apăsa Ctrl + C pe fiecare conexiune SSH pentru a opri aceste scripturi.
Asta e. Puteți afla mai multe despre Apache Kafka pe site-ul oficial. A se distra!
Introducere RethinkDB este o bază de date NoSQL care stochează date sub formă de documente JSON. Are un limbaj de interogare super intuitiv și are funcții disponibile în mod obișnuit
În anumite ocazii, este posibil ca un administrator de sistem să aibă nevoie să creeze un cont de utilizator și să restricționeze accesul acestora la gestionarea propriilor fișiere prin sFTP, dar nu b
Folosind un sistem diferit? NGINX poate fi utilizat ca server HTTP / HTTPS, server proxy invers, server proxy de poștă, echilibrator de sarcină, terminator TLS sau cachin
Folosind un sistem diferit? Chamilo este un sistem gratuit și deschis de management al învățării (LMS), care este utilizat pe scară largă pentru educația online și colaborarea în echipă
Odoo, cunoscută anterior drept OpenERP, este o cunoscută platformă de afaceri ERP open source. Întreprinderile de orice dimensiune pot beneficia de Odoo, datorită licenței sale abundente
Folosind un sistem diferit? Couch CMS este un sistem de gestionare a conținutului (CMS) simplu și flexibil, gratuit și deschis, care permite proiectanților web să deseneze
Folosind un sistem diferit? SonarQube este un instrument open source pentru dezvoltarea sistemului de calitate. Este scris în Java și acceptă mai multe baze de date. Oferă
NextCloud, așa cum sugerează și numele său, este o alternativă promițătoare a unei alte soluții de hosting de fișiere open source OwnCloud. În acest articol, vă voi arăta
Folosind un sistem diferit? Netdata este o stea în creștere în domeniul monitorizării în timp real a metricilor sistemului. Comparativ cu alte instrumente de același fel, Netdata:
Folosind un sistem diferit? În acest tutorial, voi explica cum să configurați un server Starbound pe CentOS 7. Condiții preliminare Trebuie să dețineți acest joc pe dvs.
Bine ați venit la un alt tutorial Vultr. Aici, veți învăța cum să instalați și să rulați un server SAMP. Acest ghid a fost scris pentru CentOS 6. Condiții preliminare pe care le veți obține
Folosind un sistem diferit? Elgg este un motor de rețea socială open source care permite crearea de medii sociale, cum ar fi rețelele sociale din campus
RStudio Server este ediția web a RStudio care este o serie de instrumente concepute pentru a facilita munca de codare folosind limbajul de programare R. În ti
Bolt este un CMS open source scris în PHP. Codul sursă Bolts este găzduit pe GitHub. Acest ghid vă va arăta cum instalați Bolt CMS pe un nou CentOS 7 Vult
Bugzilla este un sistem gratuit și open source de urmărire a erorilor, care este utilizat pe scară largă de diverși furnizori pentru a-și îmbunătăți continuu softwar-ul
Prezentare generală Acest articol este menit să vă ajute să obțineți un cluster Kubernetes și să funcționeze cu kubeadm în cel mai scurt timp. Acest ghid va implementa două servere, pe
Folosind un sistem diferit? Introducere Sails.js este un cadru MVC pentru Node.js, similar cu Ruby on Rails. Face pentru dezvoltarea aplicațiilor moderne ver
Funcțiile Vultrs Adu-ți spațiul IP permite o libertate fără precedent în alocarea propriilor resurse IP serverelor din norul Vultr. Noi generall
Acest tutorial va acoperi procesul de instalare a unui server de joc Half Life 2 pe CentOS 6 System. Pasul 1: Instalarea condițiilor preliminare Pentru a configura ou
Introducere Sistemele Linux sunt livrate cu instrumente de monitorizare în mod implicit, cum ar fi top, df și du care ajută la monitorizarea proceselor și a spațiului pe disc. De multe ori însă, acestea sunt
O perspectivă asupra a 26 de tehnici de analiză a datelor mari: partea 1
Mulți dintre voi cunoașteți Switch care va fi lansat în martie 2017 și noile sale funcții. Pentru cei care nu știu, am pregătit o listă de funcții care fac din „Switch” un „gadget obligatoriu”.
Aștepți ca giganții tehnologiei să-și îndeplinească promisiunile? vezi ce a ramas nelivrat.
Citiți blogul pentru a cunoaște diferitele straturi din Arhitectura Big Data și funcționalitățile acestora în cel mai simplu mod.
Citiți asta pentru a afla cum devine populară inteligența artificială în rândul companiilor la scară mică și cum crește probabilitățile de a le face să crească și de a le oferi concurenților avantaje.
CAPTCHA a devenit destul de dificil de rezolvat pentru utilizatori în ultimii ani. Va fi capabil să rămână eficient în detectarea spam-ului și a botului în viitor?
Pe măsură ce Știința Evoluează într-un ritm rapid, preluând multe dintre eforturile noastre, crește și riscurile de a ne supune unei Singularități inexplicabile. Citiți, ce ar putea însemna singularitatea pentru noi.
Ce este telemedicina, îngrijirea medicală la distanță și impactul acesteia asupra generației viitoare? Este un loc bun sau nu în situația de pandemie? Citiți blogul pentru a găsi o vedere!
Poate ați auzit că hackerii câștigă mulți bani, dar v-ați întrebat vreodată cum câștigă acești bani? sa discutam.
Recent, Apple a lansat macOS Catalina 10.15.4 o actualizare suplimentară pentru a remedia problemele, dar se pare că actualizarea provoacă mai multe probleme care duc la blocarea mașinilor Mac. Citiți acest articol pentru a afla mai multe
