Apache Kafka adalah sistem pengiriman pesan yang dapat diskalakan dan tinggi yang mampu menangani data dalam jumlah besar secara efisien.
Anda dapat menggunakan Kafka di satu server atau membangun cluster Kafka terdistribusi untuk kinerja yang lebih baik. Sebagai pemula, artikel ini menjelaskan cara menginstal Apache Kafka pada satu contoh server Vultr CentOS 7.
Sebelum melanjutkan, Anda harus:
Gunakan perintah di bawah ini untuk memperbarui sistem Anda ke status stabil terbaru:
sudo yum update -y && sudo reboot
Setelah reboot selesai, gunakan pengguna sudo yang sama untuk masuk lagi.
Anda perlu mengatur mesin virtual Java di sistem Anda sebelum Anda dapat menjalankan Apache Kafka dengan benar. Di sini, Anda dapat menginstal OpenJDK Runtime Environment 1.8.0 menggunakan YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Validasi instalasi Anda dengan:
java -version
Outputnya harus menyerupai:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Anda juga perlu mengatur variabel lingkungan "JAVA_HOME" dan "JRE_HOME":
sudo vi /etc/profile
Tambahkan baris berikut ke konten asli file:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Simpan dan keluar:
:wq
Muat ulang profil untuk menerapkan perubahan Anda:
source /etc/profile
Unduh versi stabil terbaru dari Apache Kafka dari situs web resmi. Pada saat penulisan, ini 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Buka zip arsip ke lokasi yang disukai, seperti /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Pada titik ini, Apache Kafka tersedia di sistem Anda. Mari kita coba test drive.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Sesuaikan penggunaan memori sesuai dengan parameter sistem spesifik Anda. Misalnya, jika Anda menggunakan instance server Vultr dengan memori 768MB di lingkungan pengujian, Anda perlu menemukan baris berikut:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Ganti dengan:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Simpan berhenti:
:wq
bin/kafka-server-start.sh config/server.properties
Jika semuanya berjalan dengan sukses, Anda akan melihat beberapa pesan tentang status server Kafka, dan yang terakhir akan membaca:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Ini berarti Anda telah memulai server Kafka.
Buka koneksi SSH baru, gunakan perintah berikut untuk membuat topik "tes":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Anda dapat melihat topik Anda dengan perintah berikut:
bin/kafka-topics.sh --list --zookeeper localhost:2181
Dalam kasus kami, Output akan membaca:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Dengan menggunakan perintah di atas, Anda dapat memasukkan sejumlah pesan sesuai keinginan, seperti:
Welcome aboard!
Bonjour!
Jika Anda menerima kesalahan yang mirip dengan "WARN Error while fetching metadata with correlation id"saat memasukkan pesan, Anda harus memperbarui server.propertiesfile dengan info berikut:
port = 9092
advertised.host.name = localhost
Buka koneksi SSH ketiga, dan kemudian jalankan perintah berikut:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! Pesan yang Anda buat sebelumnya akan ditampilkan dalam koneksi SSH ketiga. Tentu saja, jika Anda memasukkan lebih banyak pesan dari koneksi SSH kedua sekarang, Anda akan segera melihatnya di koneksi SSH ketiga.
Terakhir, Anda dapat menekan Ctrl + C pada setiap koneksi SSH untuk menghentikan skrip ini.
Itu dia. Anda dapat mempelajari lebih lanjut tentang Apache Kafka di situs web resmi. Selamat bersenang-senang!
Menggunakan Sistem yang Berbeda? Graylog server adalah perangkat lunak manajemen log sumber terbuka siap pakai perusahaan. Ia mengumpulkan log dari berbagai sumber dan menganalisis
Pada kesempatan tertentu, Administrator Sistem mungkin perlu membuat akun pengguna dan membatasi akses mereka untuk hanya mengelola file mereka sendiri melalui sFTP, tetapi tidak
Menggunakan Sistem yang Berbeda? Chamilo adalah sistem manajemen pembelajaran (LMS) gratis dan open source yang banyak digunakan untuk pendidikan online dan kolaborasi tim
Odoo, sebelumnya dikenal sebagai OpenERP, adalah platform bisnis ERP open source yang terkenal. Perusahaan dengan ukuran berapa pun dapat mengambil manfaat dari Odoo, berkat lisnya yang berlimpah
Menggunakan Sistem yang Berbeda? Couch CMS adalah Content Management System (CMS) sederhana dan fleksibel, gratis dan open source yang memungkinkan desainer web untuk mendesain
NextCloud, seperti namanya, adalah alternatif yang menjanjikan dari solusi hosting file sumber terbuka lainnya OwnCloud. Dalam artikel ini, saya akan menunjukkan kepada Anda ho
Menggunakan Sistem yang Berbeda? Netdata adalah bintang yang naik di bidang pemantauan metrik sistem waktu-nyata. Dibandingkan dengan alat lain dengan jenis yang sama, Netdata:
Menggunakan Sistem yang Berbeda? ERP atau Enterprise Resource Planning adalah rangkaian aplikasi perusahaan yang digunakan untuk mengelola proses bisnis inti. ERPNext adalah gratis
Selamat datang di tutorial Vultr lainnya. Di sini, Anda akan belajar cara menginstal dan menjalankan server SAMP. Panduan ini ditulis untuk CentOS 6. Prasyarat Anda akan tahu
Menggunakan Sistem yang Berbeda? Elgg adalah mesin jejaring sosial open source yang memungkinkan penciptaan lingkungan sosial seperti jejaring sosial kampus
Bolt adalah CMS open source yang ditulis dalam PHP. Kode sumber baut di-host di GitHub. Panduan ini akan menunjukkan kepada Anda cara menginstal Bolt CMS pada CentOS 7 Vult yang baru
Bugzilla adalah sistem pelacakan bug sumber bebas dan terbuka yang banyak digunakan oleh berbagai vendor untuk terus meningkatkan softwar mereka
Ikhtisar Artikel ini dimaksudkan untuk membantu Anda mendapatkan kluster Kubernet dan menjalankan dengan kubeadm dalam waktu singkat. Panduan ini akan menggunakan dua server, pada
Menggunakan Sistem yang Berbeda? Pendahuluan Sails.js adalah kerangka kerja MVC untuk Node.js, mirip dengan Ruby on Rails. Itu membuat untuk mengembangkan aplikasi modern ver
Tutorial ini akan membahas proses pemasangan server game Half Life 2 pada Sistem CentOS 6. Langkah 1: Menginstal prasyarat Untuk mengatur ou
Pendahuluan Sistem Linux dilengkapi dengan alat pemantauan secara default seperti top, df, dan du yang membantu memonitor proses dan ruang disk. Namun sering kali, mereka ar
Menggunakan Sistem yang Berbeda? Kolab Groupware adalah aplikasi groupware berbasis web gratis dan open source. Fitur-fiturnya terdiri dari komunikasi email, acara
Menggunakan Sistem yang Berbeda? Koel adalah aplikasi streaming audio pribadi sederhana berbasis web yang ditulis dalam Vue di sisi klien dan Laravel di sisi server. Koe
GDB adalah debugger untuk C, C ++, Objective-C, Pascal, Fortran, Go, D, OpenCL C, Ada, dan Modula-2. CentOS didasarkan pada RHEL (Red Hat Enterprise Linux). Salah satu th
Menggunakan Sistem yang Berbeda? Akaunting adalah perangkat lunak akuntansi sumber terbuka dan gratis yang dirancang untuk usaha kecil dan freelancer. Itu dibangun kecerdasan
Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Banyak dari Anda tahu Switch keluar pada Maret 2017 dan fitur-fitur barunya. Bagi yang belum tahu, kami sudah menyiapkan daftar fitur yang membuat 'Switch' menjadi 'gadget yang wajib dimiliki'.
Apakah Anda menunggu raksasa teknologi untuk memenuhi janji mereka? periksa apa yang belum terkirim.
Baca blog untuk mengetahui berbagai lapisan dalam Arsitektur Big Data dan fungsinya dengan cara yang paling sederhana.
Baca ini untuk mengetahui bagaimana Kecerdasan Buatan menjadi populer di antara perusahaan skala kecil dan bagaimana hal itu meningkatkan kemungkinan untuk membuat mereka tumbuh dan memberi keunggulan pada pesaing mereka.
CAPTCHA telah berkembang cukup sulit bagi pengguna untuk dipecahkan dalam beberapa tahun terakhir. Apakah itu akan tetap efektif dalam deteksi spam dan bot di masa mendatang?
Saat Sains Berkembang dengan kecepatan tinggi, mengambil alih banyak upaya kita, risiko menundukkan diri kita pada Singularitas yang tidak dapat dijelaskan juga meningkat. Baca, apa arti singularitas bagi kita.
Apa itu telemedicine, perawatan kesehatan jarak jauh dan dampaknya terhadap generasi mendatang? Apakah itu tempat yang bagus atau tidak dalam situasi pandemi? Baca blog untuk menemukan tampilan!
Anda mungkin pernah mendengar bahwa peretas menghasilkan banyak uang, tetapi pernahkah Anda bertanya-tanya bagaimana cara mereka mendapatkan uang sebanyak itu? mari berdiskusi.
Baru-baru ini Apple merilis macOS Catalina 10.15.4 pembaruan suplemen untuk memperbaiki masalah tetapi tampaknya pembaruan menyebabkan lebih banyak masalah yang mengarah ke bricking mesin mac. Baca artikel ini untuk mempelajari lebih lanjut
