CentOS 7 Üzerinde Apache Kafka Kurulumu

Apache Kafka, büyük miktarda veriyi verimli bir şekilde işleyebilen ölçeklenebilir ve yüksek verimli bir mesajlaşma sistemidir.

Kafka'yı bir sunucuya dağıtabilir veya daha iyi performans için dağıtılmış bir Kafka kümesi oluşturabilirsiniz. Başlangıç ​​olarak, bu makalede Apache Kafka'nın tek bir Vultr CentOS 7 sunucu örneğine nasıl yükleneceği açıklanmaktadır.

Ön şartlar:

Devam etmeden önce şunları yapmalısınız:

  • Bir Vultr CentOS 7 sunucu örneği dağıtın. Gereksinimlerinize bağlı olarak, kullanılabilir belleği artırmanız gerekebilir.
  • SSH terminalinizden giriş yapmak için bir sudo kullanıcısı kullanın.

Adım 1: CentOS 7 sistemini güncelleyin

Sisteminizi en son kararlı duruma güncellemek için aşağıdaki komutu kullanın:

sudo yum update -y && sudo reboot

Yeniden başlatma işlemi bittikten sonra, tekrar oturum açmak için aynı sudo kullanıcısını kullanın.

Adım 2: OpenJDK Çalışma Zamanını Yükleyin

Apache Kafka'yı düzgün bir şekilde çalıştırabilmek için sisteminize bir Java sanal makinesi kurmanız gerekir. Burada, YUM'u kullanarak OpenJDK Runtime Environment 1.8.0'ı yükleyebilirsiniz:

sudo yum install java-1.8.0-openjdk.x86_64

Kurulumunuzu aşağıdakilerle doğrulayın:

java -version

Çıktı benzemelidir:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Ayrıca "JAVA_HOME" ve "JRE_HOME" ortam değişkenlerini ayarlamanız gerekir:

sudo vi /etc/profile

Dosyanın orijinal içeriğine aşağıdaki satırları ekleyin:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Kaydet ve çık:

:wq

Değişikliklerinizi yürürlüğe koymak için profili yeniden yükleyin:

source /etc/profile

Adım 3: Apache Kafka'yı İndirin

Resmi web sitesinden Apache Kafka'nın en son kararlı sürümünü indirin. Yazarken, öyle 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Arşivi aşağıdaki gibi tercih edilen bir konuma açın /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Adım 4: Apache Kafka'yı başlatın ve test edin

Bu noktada Apache Kafka sisteminizde mevcut. Bir test sürüşü yapalım.

4.1: Kafka dizinine girin

cd /opt/kafka_2.11-0.9.0.1

4.2: Zookeeper sunucusunu başlatma

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Kafka sunucunuzun yapılandırmasını değiştirin

 vi bin/kafka-server-start.sh

Bellek kullanımını özel sistem parametrelerinize göre ayarlayın. Örneğin, test ortamında 768 MB belleğe sahip bir Vultr sunucu örneği kullanıyorsanız, aşağıdaki satırı bulmanız gerekir:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Şununla değiştir:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Çıkmayı kaydedin:

:wq

4.4: Kafka sunucusunu başlatın

bin/kafka-server-start.sh config/server.properties

Her şey başarılı olduysa, Kafka sunucusunun durumu hakkında birkaç mesaj göreceksiniz ve sonuncusu okuyacak:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Bu, Kafka sunucusunu başlattığınız anlamına gelir.

4.5: Yeni bir SSH bağlantısında "test" konusu oluşturma

Yeni bir SSH bağlantısı açın, "test" konusu oluşturmak için aşağıdaki komutları kullanın:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Konularınızı aşağıdaki komutla görüntüleyebilirsiniz:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Bizim durumumuzda, çıktı okuyacak:

test

4.6: "Test" konusunu kullanarak mesajlar üretin

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Yukarıdaki komutu kullanarak istediğiniz sayıda mesaj girebilirsiniz, örneğin:

Welcome aboard!
Bonjour!

"WARN Error while fetching metadata with correlation id"Mesaj girerkenkine benzer bir hata alırsanız , server.propertiesdosyayı aşağıdaki bilgilerle güncellemeniz gerekir :

port = 9092
advertised.host.name = localhost 

4.7: Ekran mesajları

Üçüncü bir SSH bağlantısı açın ve ardından aşağıdaki komutları çalıştırın:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Sürpriz! Daha önce ürettiğiniz mesajlar üçüncü SSH bağlantısında görüntülenecektir. Tabii ki, şimdi ikinci SSH bağlantısından daha fazla mesaj girerseniz, bunları üçüncü SSH bağlantısında hemen göreceksiniz.

Son olarak, bu komut dosyalarını durdurmak için her SSH bağlantısında Ctrl + C tuşlarına basabilirsiniz.

Bu kadar. Resmi web sitesinde Apache Kafka hakkında daha fazla bilgi edinebilirsiniz. İyi eğlenceler!



Leave a Comment

CentOS 7de Tavşan Kümesini Kümeleme

CentOS 7de Tavşan Kümesini Kümeleme

RabbitMQ, AMQP, STOMP ve diğer iletişim teknolojilerini destekleyen açık kaynaklı bir mesaj aracısıdır. Kurumsal uygulamalarda yaygın olarak kullanılan bir

Pagekit CMSyi CentOS 7ye Yükleme

Pagekit CMSyi CentOS 7ye Yükleme

Farklı Bir Sistem mi Kullanıyorsunuz? Pagekit PHP ile yazılmış açık kaynaklı bir CMSdir. Pagekit kaynak kodu GitHubda herkese açık olarak barındırılıyor. Bu kılavuz size

SSL / TLS ile vsFTPd Nasıl Güvenli Hale Getirilir

SSL / TLS ile vsFTPd Nasıl Güvenli Hale Getirilir

Çok Güvenli FTP arka plan programı, ya da sadece vsFTPd, özelleştirme yeteneği olan hafif bir yazılım parçasıdır. Bu derste bir müttefikimiz olacak

CentOS 7de Yalnızca SFTP Kullanıcı Hesaplarını Kurma

CentOS 7de Yalnızca SFTP Kullanıcı Hesaplarını Kurma

Belirli durumlarda, Sistem Yöneticisinin bir kullanıcı hesabı oluşturması ve yalnızca kendi dosyalarını sFTP yoluyla yönetmek için erişimini kısıtlaması gerekebilir, ancak b

CentOS 6da ModSecurity ile NGINX kurulumu

CentOS 6da ModSecurity ile NGINX kurulumu

Bu makalede, ModSecurity tarafından korunan bir LEMP yığını oluşturmayı açıklayacağım. ModSecurity faydalı bir açık kaynaklı web uygulaması güvenlik duvarıdır.

CentOS 6 Üzerinde Apache, MySQL ve PHP Kurulumu

CentOS 6 Üzerinde Apache, MySQL ve PHP Kurulumu

Giriş LAMP, Linux, Apache, MySQL ve PHPnin kısaltmasıdır. Bu yazılım yığını, kurulum için en popüler açık kaynaklı çözümdür.

CentOS 7 Üzerinde Chamilo 1.11.8 Kurulumu

CentOS 7 Üzerinde Chamilo 1.11.8 Kurulumu

Farklı Bir Sistem mi Kullanıyorsunuz? Chamilo, çevrimiçi eğitim ve takım işbirliği için yaygın olarak kullanılan ücretsiz ve açık kaynaklı bir öğrenme yönetim sistemidir (LMS).

CentOS 7ye Odoo 9 Topluluğunu Yükleme

CentOS 7ye Odoo 9 Topluluğunu Yükleme

Eskiden OpenERP olarak bilinen Odoo, iyi bilinen bir açık kaynaklı ERP iş platformudur. Her büyüklükteki işletme, bol miktarda lis sayesinde Odoodan yararlanabilir

Icinga2yi CentOS 6 veya CentOS 7de Ana / İstemci Modelini Kullanacak Şekilde Değiştirme

Icinga2yi CentOS 6 veya CentOS 7de Ana / İstemci Modelini Kullanacak Şekilde Değiştirme

Icinga2 güçlü bir izleme sistemidir ve bir ana istemci modelinde kullanıldığında, NRPE tabanlı izleme kontrollerine olan ihtiyacın yerini alabilir. Master-Clien

CentOS 7 LAMP VPSye Couch CMS 2.0 Kurulumu

CentOS 7 LAMP VPSye Couch CMS 2.0 Kurulumu

Farklı Bir Sistem mi Kullanıyorsunuz? Couch CMS, web tasarımcılarının tasarlamalarını sağlayan basit ve esnek, ücretsiz ve açık kaynaklı bir İçerik Yönetim Sistemidir (CMS)

NetOSu CentOS 7ye Yükleme

NetOSu CentOS 7ye Yükleme

Farklı Bir Sistem mi Kullanıyorsunuz? Netdata, gerçek zamanlı sistem ölçümleri izleme alanında yükselen bir yıldızdır. Aynı türdeki diğer araçlarla karşılaştırıldığında, Netdata:

CentPN 7 Üzerinde ERPNext Açık Kaynak ERP Kurulumu

CentPN 7 Üzerinde ERPNext Açık Kaynak ERP Kurulumu

Farklı Bir Sistem mi Kullanıyorsunuz? ERP veya Kurumsal Kaynak Planlaması, temel iş süreçlerini yönetmek için kullanılan bir kurumsal uygulama paketidir. ERPNext ücretsizdir

CentOS 6da SA-MP San Andreas Çok Oyunculu Sunucu Kurma

CentOS 6da SA-MP San Andreas Çok Oyunculu Sunucu Kurma

Başka bir Vultr eğitimine hoş geldiniz. Burada, bir SAMP sunucusunun nasıl kurulacağını ve çalıştırılacağını öğreneceksiniz. Bu kılavuz CentOS 6 için yazılmıştır. Önkoşullar

KubOSM ile Kubernetesi CentOS 7de dağıtın

KubOSM ile Kubernetesi CentOS 7de dağıtın

Genel Bakış Bu makale, bir Kubernetes kümesini hemen kurup kubeadm ile çalıştırmanıza yardımcı olmak içindir. Bu kılavuz iki sunucuyu

CentOS 7de Geliştirme için Sails.jsyi kurun

CentOS 7de Geliştirme için Sails.jsyi kurun

Farklı Bir Sistem mi Kullanıyorsunuz? Giriş Sails.js, Ruby on Railse benzer şekilde Node.js için bir MVC çerçevesidir. Modern uygulamalar geliştirmek için yapar

CentOS 6da Half Life 2 Sunucusu Kurma

CentOS 6da Half Life 2 Sunucusu Kurma

Bu eğitimde, CentOS 6 Sistemine Half Life 2 oyun sunucusu kurma süreci ele alınacaktır. 1. Adım: Önkoşulları kurma

PrestaShopu CentOS 7ye Yükleme

PrestaShopu CentOS 7ye Yükleme

PrestaShop popüler bir açık kaynaklı e-ticaret çözümüdür. Kendi çevrimiçi mağazanızı ücretsiz oluşturmak için kullanabilirsiniz. Bu eğitimde, size

CentOS 7 LAMBA VPSye MODX Devrimi Nasıl Yüklenir

CentOS 7 LAMBA VPSye MODX Devrimi Nasıl Yüklenir

Farklı Bir Sistem mi Kullanıyorsunuz? MODX Revolution hızlı, esnek, ölçeklenebilir, ücretsiz ve açık kaynaklı, kurumsal düzeyde bir İçerik Yönetim Sistemi (CMS)

Ubuntu ve CentOS İçin Daha İyi İzleme Araçları

Ubuntu ve CentOS İçin Daha İyi İzleme Araçları

Giriş Linux sistemleri, süreçleri ve disk alanını izlemeye yardımcı olan varsayılan olarak top, df ve du gibi izleme araçlarıyla birlikte gelir. Çoğu zaman, onlar ar

CentOS 7de Kolab Groupware Kurulumu

CentOS 7de Kolab Groupware Kurulumu

Farklı Bir Sistem mi Kullanıyorsunuz? Kolab Groupware, ücretsiz ve açık kaynaklı bir web tabanlı grup yazılımı uygulamasıdır. Özellikleri e-posta iletişiminden, olaylardan oluşur

26 Büyük Veri Analitik Tekniğine Bir Bakış: 1. Bölüm

26 Büyük Veri Analitik Tekniğine Bir Bakış: 1. Bölüm

26 Büyük Veri Analitik Tekniğine Bir Bakış: 1. Bölüm

Nintendo Switch Hakkında Son Derece Çılgın 6 Şey

Nintendo Switch Hakkında Son Derece Çılgın 6 Şey

Birçoğunuz Switch'in Mart 2017'de çıkacağını ve yeni özelliklerini biliyorsunuz. Bilmeyenler için, 'Switch'i 'olmazsa olmaz bir gadget' yapan özelliklerin bir listesini hazırladık.

Hala Teslim Edilmeyen Teknoloji Sözleri

Hala Teslim Edilmeyen Teknoloji Sözleri

Teknoloji devlerinin sözlerini yerine getirmesini mi bekliyorsunuz? teslim edilmeyenleri kontrol edin.

Büyük Veri Referans Mimarisi Katmanlarının İşlevleri

Büyük Veri Referans Mimarisi Katmanlarının İşlevleri

Büyük Veri Mimarisindeki farklı katmanları ve işlevlerini en basit şekilde öğrenmek için blogu okuyun.

Yapay Zeka Süreç Otomasyonunu Nasıl Bir Sonraki Seviyeye Taşıyabilir?

Yapay Zeka Süreç Otomasyonunu Nasıl Bir Sonraki Seviyeye Taşıyabilir?

Yapay Zekanın küçük ölçekli şirketler arasında nasıl popüler hale geldiğini ve onları büyütme ve rakiplerine üstünlük sağlama olasılıklarını nasıl artırdığını öğrenmek için bunu okuyun.

CAPTCHA: İnsan-AI Ayrımı İçin Ne Kadar Geçerli Bir Teknik Kalabilir?

CAPTCHA: İnsan-AI Ayrımı İçin Ne Kadar Geçerli Bir Teknik Kalabilir?

CAPTCHA, son birkaç yılda kullanıcıların çözmesi oldukça zorlaştı. Gelecekte spam ve bot tespitinde etkili kalabilecek mi?

Teknolojik Tekillik: İnsan Uygarlığının Uzak Bir Geleceği mi?

Teknolojik Tekillik: İnsan Uygarlığının Uzak Bir Geleceği mi?

Bilim hızla gelişip birçok çabamızı üstlendikçe, kendimizi açıklanamaz bir Tekilliğe maruz bırakmanın riskleri de artıyor. Okuyun, tekillik bizim için ne anlama gelebilir.

Teletıp ve Uzaktan Sağlık Hizmeti: Gelecek Burada

Teletıp ve Uzaktan Sağlık Hizmeti: Gelecek Burada

Teletıp, uzaktan sağlık hizmetleri ve gelecek nesiller üzerindeki etkisi nedir? Pandemi durumunda iyi bir yer mi değil mi? Bir görünüm bulmak için blogu okuyun!

Hackerların Nasıl Para Kazandığını Hiç Merak Ettiniz mi?

Hackerların Nasıl Para Kazandığını Hiç Merak Ettiniz mi?

Bilgisayar korsanlarının çok para kazandığını duymuş olabilirsiniz, ancak bu kadar parayı nasıl kazandıklarını hiç merak ettiniz mi? Hadi tartışalım.

macOS Catalina 10.15.4 Ek Güncellemesi Çözmekten Daha Fazla Soruna Neden Oluyor

macOS Catalina 10.15.4 Ek Güncellemesi Çözmekten Daha Fazla Soruna Neden Oluyor

Son zamanlarda Apple, sorunları gidermek için macOS Catalina 10.15.4'ü ek bir güncelleme yayınladı, ancak güncelleme, mac makinelerinde tuğla oluşmasına neden olan daha fazla soruna neden oluyor gibi görünüyor. Daha fazla bilgi edinmek için bu makaleyi okuyun