كيفية تثبيت Apache Kafka على CentOS 7

• الشروط:
• الخطوة 1: تحديث نظام CentOS 7
• الخطوة 2: قم بتثبيت OpenJDK Runtime
• الخطوة 3: تنزيل Apache Kafka
• الخطوة 4: ابدأ واختبر Apache Kafka

Apache Kafka هو نظام مراسلة قابل للتطوير وعالي الإنتاجية قادر على معالجة كمية ضخمة من البيانات بكفاءة.

يمكنك إما نشر Kafka على خادم واحد أو بناء مجموعة Kafka موزعة لتحقيق أداء أفضل. كبداية ، تشرح هذه المقالة كيفية تثبيت Apache Kafka على مثيل خادم Vultr CentOS 7 واحد.

الشروط:

قبل الانتقال ، يجب عليك:

• نشر مثيل خادم Vultr CentOS 7. بناءً على احتياجاتك ، قد تحتاج إلى زيادة الذاكرة المتوفرة.
• استخدم مستخدم sudo لتسجيل الدخول من طرف SSH الخاص بك.

الخطوة 1: تحديث نظام CentOS 7

استخدم الأمر أدناه لتحديث نظامك إلى أحدث حالة مستقرة:

sudo yum update -y && sudo reboot

بعد انتهاء إعادة التشغيل ، استخدم نفس مستخدم sudo لتسجيل الدخول مرة أخرى.

الخطوة 2: قم بتثبيت OpenJDK Runtime

تحتاج إلى إعداد جهاز جافا افتراضي على نظامك قبل أن تتمكن من تشغيل Apache Kafka بشكل صحيح. هنا ، يمكنك تثبيت OpenJDK Runtime Environment 1.8.0 باستخدام YUM:

sudo yum install java-1.8.0-openjdk.x86_64

تحقق من صحة التثبيت باستخدام:

java -version

يجب أن يشبه الإخراج:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

تحتاج أيضًا إلى إعداد متغيري البيئة "JAVA_HOME" و "JRE_HOME":

sudo vi /etc/profile

إلحاق الأسطر التالية بالمحتوى الأصلي للملف:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

احفظ واخرج:

:wq

أعد تحميل الملف الشخصي لتطبيق التغييرات الخاصة بك:

source /etc/profile

الخطوة 3: تنزيل Apache Kafka

قم بتنزيل أحدث إصدار ثابت من Apache Kafka من الموقع الرسمي. في وقت كتابة هذا التقرير 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

قم بفك ضغط الأرشيف إلى موقع مفضل ، مثل /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

الخطوة 4: ابدأ واختبر Apache Kafka

في هذه المرحلة ، يتوفر Apache Kafka على نظامك. لنقم بتجربة القيادة.

4.1: ادخل إلى دليل Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: قم بتشغيل خادم Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: تعديل تكوين خادم Kafka الخاص بك

 vi bin/kafka-server-start.sh

اضبط استخدام الذاكرة وفقًا لمعلمات النظام المحددة. على سبيل المثال ، إذا كنت تستخدم نسخة خادم Vultr مع ذاكرة 768 ميجا بايت في بيئة الاختبار ، فستحتاج إلى تحديد موقع السطر التالي:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

استبدلها بـ:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

حفظ الإقلاع:

:wq

4.4: بدء تشغيل خادم Kafka

bin/kafka-server-start.sh config/server.properties

في حالة نجاح كل شيء ، سترى عدة رسائل حول حالة خادم Kafka ، وستقرأ الرسالة الأخيرة:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

هذا يعني أنك قد بدأت خادم Kafka.

4.5: إنشاء موضوع "اختبار" في اتصال SSH جديد

افتح اتصال SSH جديدًا ، استخدم الأوامر التالية لإنشاء موضوع "اختبار":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

يمكنك عرض مواضيعك باستخدام الأمر التالي:

bin/kafka-topics.sh --list --zookeeper localhost:2181

في حالتنا ، سيصبح الناتج كما يلي:

test

4.6: إنتاج رسائل باستخدام موضوع "اختبار"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

باستخدام الأمر أعلاه ، يمكنك إدخال أي عدد من الرسائل كما تريد ، مثل:

Welcome aboard!
Bonjour!

إذا تلقيت خطأ مشابهًا "WARN Error while fetching metadata with correlation id"أثناء إدخال رسالة ، فستحتاج إلى تحديث server.propertiesالملف بالمعلومات التالية:

port = 9092
advertised.host.name = localhost 

4.7: عرض الرسائل

افتح اتصال SSH ثالثًا ، ثم قم بتشغيل الأوامر التالية:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

تا دا! سيتم عرض الرسائل التي أنتجتها سابقًا في اتصال SSH الثالث. بالطبع ، إذا قمت بإدخال المزيد من الرسائل من اتصال SSH الثاني الآن ، فسوف تراها على الفور على اتصال SSH الثالث.

أخيرًا ، يمكنك الضغط على Ctrl + C في كل اتصال SSH لإيقاف هذه البرامج النصية.

هذا هو. يمكنك معرفة المزيد عن Apache Kafka على الموقع الرسمي. إستمتع!