วิธีการติดตั้ง Apache Kafka บน CentOS 7

• วิชาบังคับก่อน:
• ขั้นตอนที่ 1: อัพเดทระบบ CentOS 7
• ขั้นตอนที่ 2: ติดตั้ง OpenJDK Runtime
• ขั้นตอนที่ 3: ดาวน์โหลด Apache Kafka
• ขั้นตอนที่ 4: เริ่มและทดสอบ Apache Kafka

Apache Kafka เป็นระบบส่งข้อความที่ปรับขนาดได้และความเร็วสูงซึ่งสามารถจัดการข้อมูลจำนวนมากได้อย่างมีประสิทธิภาพ

คุณสามารถปรับใช้ Kafka บนเซิร์ฟเวอร์เดียวหรือสร้างคลัสเตอร์ Kafka แบบกระจายเพื่อประสิทธิภาพที่ดียิ่งขึ้น ในฐานะผู้เริ่มต้นบทความนี้จะอธิบายวิธีการติดตั้ง Apache Kafka บนอินสแตนซ์เซิร์ฟเวอร์ Vultr CentOS 7 เดียว

วิชาบังคับก่อน:

ก่อนที่จะไปคุณควร:

• ปรับใช้อินสแตนซ์เซิร์ฟเวอร์ Vultr CentOS 7 คุณอาจต้องเพิ่มหน่วยความจำที่มีทั้งนี้ขึ้นอยู่กับความต้องการของคุณ
• ใช้ผู้ใช้ sudo เพื่อเข้าสู่ระบบจากเทอร์มินัล SSH ของคุณ

ขั้นตอนที่ 1: อัพเดทระบบ CentOS 7

ใช้คำสั่งด้านล่างเพื่ออัปเดตระบบของคุณเป็นสถานะล่าสุด:

sudo yum update -y && sudo reboot

หลังจากรีบูตเสร็จสิ้นให้ใช้ผู้ใช้ sudo คนเดียวกันเพื่อเข้าสู่ระบบอีกครั้ง

ขั้นตอนที่ 2: ติดตั้ง OpenJDK Runtime

คุณต้องตั้งค่าเครื่องเสมือน Java บนระบบของคุณก่อนจึงจะสามารถเรียกใช้ Apache Kafka ได้อย่างถูกต้อง ที่นี่คุณสามารถติดตั้ง OpenJDK Runtime Environment 1.8.0 โดยใช้ YUM:

sudo yum install java-1.8.0-openjdk.x86_64

ตรวจสอบการติดตั้งของคุณด้วย:

java -version

ผลลัพธ์ควรมีลักษณะดังนี้:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

คุณต้องตั้งค่าตัวแปรสภาพแวดล้อม "JAVA_HOME" และ "JRE_HOME":

sudo vi /etc/profile

ต่อท้ายบรรทัดต่อไปนี้กับเนื้อหาต้นฉบับของไฟล์:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

บันทึกและออก:

:wq

โหลดโปรไฟล์ซ้ำเพื่อให้การเปลี่ยนแปลงมีผล:

source /etc/profile

ขั้นตอนที่ 3: ดาวน์โหลด Apache Kafka

ดาวน์โหลด Apache Kafka เวอร์ชั่นเสถียรล่าสุดได้จากเว็บไซต์ทางการ 0.9.0.1ในขณะที่เขียนก็

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

แตกไฟล์ที่เก็บถาวรไปยังตำแหน่งที่ต้องการเช่น/opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

ขั้นตอนที่ 4: เริ่มและทดสอบ Apache Kafka

ณ จุดนี้ Apache Kafka มีอยู่ในระบบของคุณ มาทดสอบขับกันเถอะ

4.1: เข้าไปในไดเรกทอรี Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: เริ่มเซิร์ฟเวอร์ Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: แก้ไขการกำหนดค่าเซิร์ฟเวอร์ Kafka ของคุณ

 vi bin/kafka-server-start.sh

ปรับการใช้หน่วยความจำตามพารามิเตอร์ระบบเฉพาะของคุณ ตัวอย่างเช่นหากคุณใช้เซิร์ฟเวอร์ Vultr กับหน่วยความจำ 768MB ในสภาพแวดล้อมการทดสอบคุณจะต้องค้นหาบรรทัดต่อไปนี้:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

แทนที่ด้วย:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

บันทึกการเลิก:

:wq

4.4: เริ่มเซิร์ฟเวอร์ Kafka

bin/kafka-server-start.sh config/server.properties

หากทุกอย่างประสบความสำเร็จคุณจะเห็นข้อความหลายข้อความเกี่ยวกับสถานะของเซิร์ฟเวอร์ Kafka และข้อความล่าสุดจะอ่าน:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

ซึ่งหมายความว่าคุณได้เริ่มต้นเซิร์ฟเวอร์ Kafka แล้ว

4.5: สร้างหัวข้อ "ทดสอบ" ในการเชื่อมต่อ SSH ใหม่

เปิดการเชื่อมต่อ SSH ใหม่ใช้คำสั่งต่อไปนี้เพื่อสร้างหัวข้อ "ทดสอบ":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

คุณสามารถดูหัวข้อของคุณด้วยคำสั่งต่อไปนี้:

bin/kafka-topics.sh --list --zookeeper localhost:2181

ในกรณีของเราเอาต์พุตจะอ่าน:

test

4.6: สร้างข้อความโดยใช้หัวข้อ "ทดสอบ"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

ด้วยการใช้คำสั่งด้านบนคุณสามารถป้อนข้อความจำนวนเท่าใดก็ได้ตามที่คุณต้องการเช่น:

Welcome aboard!
Bonjour!

หากคุณได้รับข้อผิดพลาดคล้ายกับ"WARN Error while fetching metadata with correlation id"ในขณะที่ป้อนข้อความคุณจะต้องอัปเดตserver.propertiesไฟล์ด้วยข้อมูลต่อไปนี้:

port = 9092
advertised.host.name = localhost 

4.7: แสดงข้อความ

เปิดการเชื่อมต่อ SSH ที่สามแล้วเรียกใช้คำสั่งต่อไปนี้:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! ข้อความที่คุณสร้างไว้ก่อนหน้านี้จะแสดงในการเชื่อมต่อ SSH ที่สาม แน่นอนถ้าคุณป้อนข้อความเพิ่มเติมจากการเชื่อมต่อ SSH ที่สองตอนนี้คุณจะเห็นพวกเขาทันทีในการเชื่อมต่อ SSH ที่สาม

สุดท้ายคุณสามารถกด Ctrl + C ในแต่ละการเชื่อมต่อ SSH เพื่อหยุดสคริปต์เหล่านี้

แค่นั้นแหละ. คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับ Apache Kafka ได้จากเว็บไซต์ทางการ มีความสุข!