نحوه نصب Apache Kafka در CentOS 7

• پیش نیازها:
• مرحله 1: سیستم CentOS 7 را به روز کنید
• مرحله 2: OpenJDK Runtime را نصب کنید
• مرحله 3: آپاچی کافکا را بارگیری کنید
• مرحله 4: آپاچی کافکا را شروع و تست کنید

Apache Kafka یک سیستم پیام رسانی مقیاس پذیر و پرقدرت است که قادر به دستیابی به کارآمد با حجم عظیمی از داده ها است.

برای عملکرد بیشتر می توانید Kafka را روی یک سرور مستقر کنید یا یک خوشه توزیع شده کافکا را بسازید. به عنوان یک مبتدی ، این مقاله نحوه نصب Apache Kafka را در یک نمونه سرور Vultr CentOS 7 تنها توضیح می دهد.

پیش نیازها:

قبل از حرکت ، باید:

• نمونه سرور Vultr CentOS 7 را مستقر کنید. بسته به نیاز شما ، ممکن است نیاز به افزایش حافظه موجود داشته باشید.
• برای ورود از ترمینال SSH از یک کاربر sudo استفاده کنید.

مرحله 1: سیستم CentOS 7 را به روز کنید

از دستور زیر برای به روزرسانی سیستم خود به آخرین وضعیت پایدار استفاده کنید:

sudo yum update -y && sudo reboot

پس از اتمام راه اندازی مجدد ، از همان کاربر sudo استفاده کنید تا دوباره وارد سیستم شوید.

مرحله 2: OpenJDK Runtime را نصب کنید

قبل از اجرای صحیح Apache Kafka باید یک سیستم مجازی جاوا را روی سیستم خود تنظیم کنید. در اینجا می توانید OpenJDK Runtime Environment 1.8.0 را با استفاده از YUM نصب کنید:

sudo yum install java-1.8.0-openjdk.x86_64

نصب خود را با:

java -version

خروجی باید شبیه باشد:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

همچنین باید متغیرهای محیط "JAVA_HOME" و "JRE_HOME" را تنظیم کنید:

sudo vi /etc/profile

خطوط زیر را به محتوای اصلی پرونده اضافه کنید:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

ذخیره نموده و خارج شوید:

:wq

بارگیری نمایه برای اعمال تغییرات:

source /etc/profile

مرحله 3: آپاچی کافکا را بارگیری کنید

آخرین نسخه پایدار آپاچی کافکا را از وب سایت رسمی بارگیری کنید. در زمان نوشتن ، آن است 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

بایگانی را از یک مکان دلخواه مانند موارد /optزیر جدا کنید:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

مرحله 4: آپاچی کافکا را شروع و تست کنید

در این مرحله Apache Kafka روی سیستم شما موجود است. بیایید آن را به یک درایو تست.

4.1: وارد فهرست کافکا شوید

cd /opt/kafka_2.11-0.9.0.1

4.2: سرور Zookeeper را شروع کنید

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: پیکربندی سرور کافکا را اصلاح کنید

 vi bin/kafka-server-start.sh

میزان حافظه را مطابق با پارامترهای خاص سیستم خود تنظیم کنید. به عنوان مثال ، اگر از نمونه سرور Vultr با حافظه 768MB در محیط آزمایش استفاده می کنید ، باید خط زیر را پیدا کنید:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

آن را جایگزین کنید با:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

ذخیره انصراف:

:wq

4.4: سرور کافکا را شروع کنید

bin/kafka-server-start.sh config/server.properties

اگر همه چیز با موفقیت پیش رفت ، چندین پیام در مورد وضعیت سرور کافکا را مشاهده خواهید کرد ، و آخرین آن را خواهید خواند:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

این بدان معنی است که شما سرور کافکا را راه اندازی کرده اید.

4.5: یک موضوع "تست" را در اتصال جدید SSH ایجاد کنید

اتصال SSH جدید را باز کنید ، از دستورات زیر برای ایجاد مبحث "تست" استفاده کنید:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

می توانید موضوعات خود را با دستور زیر مشاهده کنید:

bin/kafka-topics.sh --list --zookeeper localhost:2181

در مورد ما ، خروجی می خواند:

test

4.6: تولید پیام با استفاده از موضوع "تست"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

با استفاده از دستور فوق ، می توانید هر تعداد پیام را به دلخواه خود وارد کنید ، مانند:

Welcome aboard!
Bonjour!

اگر خطایی مشابه "WARN Error while fetching metadata with correlation id"هنگام وارد کردن پیام دریافت کردید ، باید server.propertiesفایل را با اطلاعات زیر به روز کنید:

port = 9092
advertised.host.name = localhost 

4.7: نمایش پیام ها

اتصال SSH سوم را باز کرده و دستورات زیر را اجرا کنید:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

تا-دا! پیام هایی که قبلاً تولید کرده اید در سومین اتصال SSH نمایش داده می شود. البته اگر اکنون پیام دوم بیشتری را از اتصال SSH دوم وارد کنید ، بلافاصله آنها را در سومین اتصال SSH مشاهده خواهید کرد.

در آخر ، برای متوقف کردن این اسکریپت ها می توانید Ctrl + C را روی هر اتصال SSH فشار دهید.

خودشه. می توانید اطلاعات بیشتری در مورد آپاچی کافکا در وب سایت رسمی کسب کنید. خوش بگذره!