Jak zainstalować Apache Kafka na CentOS 7

Apache Kafka to skalowalny i wysokoprzepustowy system przesyłania wiadomości, który jest w stanie skutecznie obsługiwać ogromną ilość danych.

Możesz wdrożyć Kafka na jednym serwerze lub zbudować rozproszony klaster Kafka w celu zwiększenia wydajności. Na początek w tym artykule wyjaśniono, jak zainstalować Apache Kafka na jednej instancji serwera Vultr CentOS 7.

Wymagania wstępne:

Przed przejściem należy:

  • Wdróż instancję serwera Vultr CentOS 7. W zależności od potrzeb może być konieczne zwiększenie dostępnej pamięci.
  • Użyj użytkownika sudo, aby zalogować się z terminala SSH.

Krok 1: Zaktualizuj system CentOS 7

Użyj poniższego polecenia, aby zaktualizować system do najnowszej stabilnej wersji:

sudo yum update -y && sudo reboot

Po zakończeniu ponownego uruchomienia użyj tego samego użytkownika sudo, aby zalogować się ponownie.

Krok 2: Zainstaluj środowisko wykonawcze OpenJDK

Aby poprawnie uruchomić Apache Kafka, musisz skonfigurować maszynę wirtualną Java w systemie. Tutaj możesz zainstalować OpenJDK Runtime Environment 1.8.0 za pomocą YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Sprawdź poprawność instalacji za pomocą:

java -version

Dane wyjściowe powinny przypominać:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Musisz także skonfigurować zmienne środowiskowe „JAVA_HOME” i „JRE_HOME”:

sudo vi /etc/profile

Dodaj następujące wiersze do oryginalnej zawartości pliku:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Zapisz i wyjdź:

:wq

Załaduj ponownie profil, aby wprowadzić zmiany:

source /etc/profile

Krok 3: Pobierz Apache Kafka

Pobierz najnowszą stabilną wersję Apache Kafka z oficjalnej strony internetowej. W momencie pisania to jest 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Rozpakuj archiwum do preferowanej lokalizacji, takiej jak /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Krok 4: Uruchom i przetestuj Apache Kafka

W tym momencie Apache Kafka jest dostępny w twoim systemie. Dajmy mu jazdę próbną.

4.1: Wejdź do katalogu Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Uruchom serwer Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Zmodyfikuj konfigurację swojego serwera Kafka

 vi bin/kafka-server-start.sh

Dostosuj użycie pamięci do określonych parametrów systemu. Na przykład, jeśli używasz instancji serwera Vultr z 768 MB pamięci w środowisku testowym, musisz zlokalizować następujący wiersz:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Zamień na:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Zapisz wyjście:

:wq

4.4: Uruchom serwer Kafka

bin/kafka-server-start.sh config/server.properties

Jeśli wszystko się powiedzie, zobaczysz kilka komunikatów o statusie serwera Kafka, a ostatni będzie czytać:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Oznacza to, że uruchomiłeś serwer Kafka.

4.5: Utwórz temat „test” w nowym połączeniu SSH

Otwórz nowe połączenie SSH, użyj następujących poleceń, aby utworzyć temat „test”:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Możesz przeglądać swoje tematy za pomocą następującego polecenia:

bin/kafka-topics.sh --list --zookeeper localhost:2181

W naszym przypadku wyjście wyświetli:

test

4.6: Twórz wiadomości za pomocą tematu „test”

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Korzystając z powyższego polecenia, możesz wprowadzić dowolną liczbę wiadomości, na przykład:

Welcome aboard!
Bonjour!

Jeśli pojawi się błąd podobny do "WARN Error while fetching metadata with correlation id"wpisywania wiadomości, musisz zaktualizować server.propertiesplik o następujące informacje:

port = 9092
advertised.host.name = localhost 

4.7: Wyświetlanie komunikatów

Otwórz trzecie połączenie SSH, a następnie uruchom następujące polecenia:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Wiadomości utworzone wcześniej zostaną wyświetlone w trzecim połączeniu SSH. Oczywiście, jeśli teraz wprowadzisz więcej wiadomości z drugiego połączenia SSH, natychmiast zobaczysz je przy trzecim połączeniu SSH.

Na koniec możesz nacisnąć Ctrl + C na każdym połączeniu SSH, aby zatrzymać te skrypty.

Otóż ​​to. Możesz dowiedzieć się więcej o Apache Kafka na oficjalnej stronie internetowej. Baw się dobrze!



Leave a Comment

Jak zainstalować Anchor CMS na CentOS 7 LAMP VPS

Jak zainstalować Anchor CMS na CentOS 7 LAMP VPS

Używasz innego systemu? Anchor CMS to bardzo prosty i niezwykle lekki, darmowy i otwarty system zarządzania treścią (CMS) Blog Engine, który

Jak zaktualizować CentOS 7, Ubuntu 16.04 i Debian 8

Jak zaktualizować CentOS 7, Ubuntu 16.04 i Debian 8

Podczas konfigurowania nowego serwera Linux zaleca się aktualizację jądra systemu i innych pakietów do najnowszej stabilnej wersji. W tym artykule

Skonfiguruj klaster RethinkDB w CentOS 7

Skonfiguruj klaster RethinkDB w CentOS 7

Wprowadzenie RethinkDB to baza danych NoSQL, która przechowuje dane jako dokumenty JSON. Ma bardzo intuicyjny język zapytań i funkcje powszechnie dostępne

Skonfiguruj Magento na CentOS 6

Skonfiguruj Magento na CentOS 6

Niezależnie od tego, czy chcesz umieścić zapasy sklepów online, czy po prostu prosty sklep z akcesoriami technicznymi, Magento jest doskonałym rozwiązaniem dla eCommerce online. Ten artykuł

Jak zainstalować i skonfigurować OrientDB Community Edition na CentOS 7

Jak zainstalować i skonfigurować OrientDB Community Edition na CentOS 7

OrientDB to wielomodowy model open source NoSQL DBMS nowej generacji. Dzięki obsłudze wielu modeli danych, OrientDB może zapewnić większą funkcjonalność i elastyczność

Jak zainstalować Neos CMS na CentOS 7

Jak zainstalować Neos CMS na CentOS 7

Neos to innowacyjny system zarządzania treścią typu open source, który doskonale nadaje się do tworzenia i edytowania treści online. Z myślą o autorach i redaktorach, Neo

Jak zainstalować Vtiger CRM Open Source Edition na CentOS 7

Jak zainstalować Vtiger CRM Open Source Edition na CentOS 7

Vtiger CRM to popularna aplikacja do zarządzania relacjami z klientami, która może pomóc przedsiębiorstwom zwiększyć sprzedaż, zapewnić obsługę klienta i zwiększyć zyski. ja

Jak zainstalować MaraDNS na CentOS 6

Jak zainstalować MaraDNS na CentOS 6

MaraDNS to lekki, ale solidny program serwera DNS typu open source. W porównaniu z innymi aplikacjami tego samego rodzaju, takimi jak ISC BIND, PowerDNS i djbdns

Instalowanie Netdata na CentOS 7

Instalowanie Netdata na CentOS 7

Używasz innego systemu? Netdata jest wschodzącą gwiazdą w dziedzinie monitorowania wskaźników systemowych w czasie rzeczywistym. W porównaniu z innymi narzędziami tego samego rodzaju, Netdata:

Jak zainstalować Starbound Server na CentOS 7

Jak zainstalować Starbound Server na CentOS 7

Używasz innego systemu? W tym samouczku wyjaśnię, jak skonfigurować serwer Starbound na CentOS 7. Wymagania wstępne Musisz mieć tę grę na sobie

Clustering RabbitMQ na CentOS 7

Clustering RabbitMQ na CentOS 7

RabbitMQ to broker komunikatów typu open source, który obsługuje AMQP, STOMP i inne technologie komunikacyjne. Jest szeroko stosowany w aplikacjach dla przedsiębiorstw

Skonfiguruj SA-MP San Andreas Multiplayer Server na CentOS 6

Skonfiguruj SA-MP San Andreas Multiplayer Server na CentOS 6

Witamy w innym samouczku Vultr. Tutaj dowiesz się, jak zainstalować i uruchomić serwer SAMP. Ten przewodnik został napisany dla CentOS 6. Wymagania wstępne Będziesz potrzebował

Zainstaluj Elgg na CentOS 7

Zainstaluj Elgg na CentOS 7

Używasz innego systemu? Elgg to silnik sieci społecznościowych typu open source, który umożliwia tworzenie środowisk społecznościowych, takich jak kampusowe sieci społecznościowe

Jak zainstalować serwer RStudio na CentOS 7

Jak zainstalować serwer RStudio na CentOS 7

RStudio Server to internetowa wersja RStudio, która jest serią narzędzi zaprojektowanych w celu ułatwienia kodowania przy użyciu języka programowania R. W thi

Instalowanie Bolt CMS na CentOS 7

Instalowanie Bolt CMS na CentOS 7

Bolt to open source CMS napisany w PHP. Kod źródłowy Bolts jest hostowany na GitHub. Ten przewodnik pokaże Ci, jak zainstalować Bolt CMS na nowym CentOS 7 Vult

Jak zainstalować Elasticsearch na instancji serwera Vultr CentOS 7

Jak zainstalować Elasticsearch na instancji serwera Vultr CentOS 7

Elasticsearch to popularny wyszukiwarka pełnotekstowa i silnik analityczny typu open source. Dzięki swojej wszechstronności, skalowalności i łatwości użytkowania, Elasticsearch jest szeroko rozpowszechniony

Wdróż Kubernetes za pomocą Kubeadm na CentOS 7

Wdróż Kubernetes za pomocą Kubeadm na CentOS 7

Omówienie Ten artykuł ma na celu pomóc ci w szybkim uruchomieniu klastra Kubernetes z kubeadm. W tym przewodniku zostaną wdrożone dwa serwery

Sails.js należy skonfigurować do programowania w CentOS 7

Sails.js należy skonfigurować do programowania w CentOS 7

Używasz innego systemu? Wprowadzenie Sails.js to framework MVC dla Node.js, podobny do Ruby on Rails. Umożliwia tworzenie nowoczesnych aplikacji wer

Jak zainstalować PufferPanel (bezpłatny panel sterowania Minecraft) na CentOS 7

Jak zainstalować PufferPanel (bezpłatny panel sterowania Minecraft) na CentOS 7

Wprowadzenie W tym samouczku zainstaluj PufferPanel na naszym Vultr VPS. PufferPanel to otwarty, darmowy panel kontrolny do zarządzania tobą

Lepsze narzędzia monitorowania dla Ubuntu i CentOS

Lepsze narzędzia monitorowania dla Ubuntu i CentOS

Wprowadzenie Systemy Linux są domyślnie dostarczane z narzędziami do monitorowania, takimi jak top, df i du, które pomagają monitorować procesy i miejsce na dysku. Często jednak są

Funkcjonalności warstw architektury referencyjnej Big Data

Funkcjonalności warstw architektury referencyjnej Big Data

Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.

Rewolucyjne wynalazki Google, które ułatwią Twoje życie.

Rewolucyjne wynalazki Google, które ułatwią Twoje życie.

Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.

13 komercyjnych narzędzi do ekstrakcji danych z Big Data

13 komercyjnych narzędzi do ekstrakcji danych z Big Data

13 komercyjnych narzędzi do ekstrakcji danych z Big Data

Pozostań w kontakcie dzięki aplikacji WhatsApp na komputer 24*7

Pozostań w kontakcie dzięki aplikacji WhatsApp na komputer 24*7

Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+

5 przykładów, które dowodzą, że energetyka jądrowa nie zawsze jest zła

5 przykładów, które dowodzą, że energetyka jądrowa nie zawsze jest zła

Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.

Friday Essential: Co się stało z samochodami sterowanymi przez sztuczną inteligencję?

Friday Essential: Co się stało z samochodami sterowanymi przez sztuczną inteligencję?

Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…

Czy AI może walczyć z rosnącą liczbą ataków ransomware?

Czy AI może walczyć z rosnącą liczbą ataków ransomware?

Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą

5 przydatnych narzędzi sztucznej inteligencji, które uproszczą Twoje życie

5 przydatnych narzędzi sztucznej inteligencji, które uproszczą Twoje życie

Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.

Wgląd w 26 technik analizy Big Data: część 2

Wgląd w 26 technik analizy Big Data: część 2

Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.

Ataki DDOS: krótki przegląd

Ataki DDOS: krótki przegląd

Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.