Apache Kafka adalah sistem pemesejan berskala tinggi dan throughput tinggi yang mampu menangani sejumlah besar data dengan cekap.
Anda boleh menggunakan Kafka pada satu pelayan atau membina kluster Kafka yang diedarkan untuk prestasi yang lebih baik. Sebagai permulaan, artikel ini menerangkan cara memasang Apache Kafka pada satu contoh pelayan Vultr CentOS 7.
Sebelum meneruskan, anda harus:
Gunakan arahan di bawah untuk mengemas kini sistem anda ke status stabil terkini:
sudo yum update -y && sudo reboot
Setelah but semula selesai, gunakan pengguna sudo yang sama untuk log masuk semula.
Anda perlu menyediakan mesin virtual Java pada sistem anda sebelum anda dapat menjalankan Apache Kafka dengan betul. Di sini, anda boleh memasang OpenJDK Runtime Environment 1.8.0 menggunakan YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Sahkan pemasangan anda dengan:
java -version
Keluarannya harus menyerupai:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Anda juga perlu menyediakan pemboleh ubah persekitaran "JAVA_HOME" dan "JRE_HOME":
sudo vi /etc/profile
Tambahkan baris berikut ke kandungan asal fail:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Simpan dan tutup:
:wq
Muat semula profil untuk melaksanakan perubahan anda:
source /etc/profile
Muat turun versi stabil terkini Apache Kafka dari laman web rasmi. Pada masa penulisan, ia 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Buka zip dari arkib ke lokasi pilihan, seperti /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Pada ketika ini, Apache Kafka tersedia di sistem anda. Mari memberikannya pemacu ujian.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Sesuaikan penggunaan memori mengikut parameter sistem khusus anda. Sebagai contoh, jika anda menggunakan contoh pelayan Vultr dengan memori 768MB di persekitaran ujian, anda perlu mencari baris berikut:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Gantikan dengan:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Simpan berhenti:
:wq
bin/kafka-server-start.sh config/server.properties
Sekiranya semuanya berjaya, anda akan melihat beberapa mesej mengenai status pelayan Kafka, dan yang terakhir akan dibaca:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Ini bermaksud bahawa anda telah memulakan pelayan Kafka.
Buka sambungan SSH baru, gunakan arahan berikut untuk membuat topik "ujian":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Anda boleh melihat topik anda dengan arahan berikut:
bin/kafka-topics.sh --list --zookeeper localhost:2181
Dalam kes kami, Hasilnya akan berbunyi:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Dengan menggunakan perintah di atas, anda dapat memasukkan sebilangan mesej yang anda inginkan, seperti:
Welcome aboard!
Bonjour!
Sekiranya anda menerima ralat yang serupa dengan "WARN Error while fetching metadata with correlation id"semasa memasukkan mesej, anda perlu mengemas kini server.propertiesfail dengan maklumat berikut:
port = 9092
advertised.host.name = localhost
Buka sambungan SSH ketiga, dan kemudian jalankan arahan berikut:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! Mesej yang anda hasilkan lebih awal akan dipaparkan dalam sambungan SSH ketiga. Sudah tentu, jika anda memasukkan lebih banyak mesej dari sambungan SSH kedua sekarang, anda akan segera melihatnya pada sambungan SSH ketiga.
Akhirnya, anda boleh menekan Ctrl + C pada setiap sambungan SSH untuk menghentikan skrip ini.
Itu sahaja. Anda boleh mengetahui lebih lanjut mengenai Apache Kafka di laman web rasmi. Berseronok!
Menggunakan Sistem Berbeza? Pengenalan CyberPanel adalah salah satu panel kawalan pertama di pasaran yang merupakan sumber terbuka dan menggunakan OpenLiteSpeed. Apa itu
Apache Maven adalah alat pengurusan projek perisian sumber terbuka dan bebas yang banyak digunakan untuk menyebarkan aplikasi berbasis Java. Prasyarat yang baru
FFmpeg adalah penyelesaian sumber terbuka yang popular untuk merakam, menukar, dan menstrim audio dan video, yang banyak digunakan dalam semua jenis perkhidmatan streaming dalam talian. Saya
Menggunakan Sistem Berbeza? Backdrop CMS 1.8.0 adalah Sistem Pengurusan Kandungan (CMS) sumber mudah alih, mudah alih, percuma dan terbuka yang membolehkan kami
Menggunakan Sistem Berbeza? AirSonic adalah pelayan streaming media sumber terbuka dan terbuka. Dalam tutorial ini, saya akan membimbing anda melalui proses penyebaran a
Pengenalan Komposer adalah pengurus pergantungan yang popular untuk PHP yang dapat mempermudah pemasangan dan kemas kini perpustakaan yang diperlukan untuk projek anda
RockMongo adalah alat Pengurusan MongoDB berasaskan web yang serupa dengan alat Pengurusan MySQL: phpMyAdmin. Tutorial ini akan merangkumi proses installin
.NET NET adalah rangka kerja pembangunan merentas platform terbuka yang disusun oleh Microsoft dan masyarakat NET yang semakin berkembang. Dengan bantuan .NE
Menggunakan Sistem yang berbeza? Netdata adalah bintang yang semakin meningkat dalam bidang pemantauan metrik sistem masa nyata. Berbanding dengan alat lain yang serupa, Netdata:
Menggunakan Sistem yang berbeza? Dalam tutorial ini, saya akan menerangkan cara menyediakan pelayan Starbound di CentOS 7. Prasyarat Anda perlu memiliki permainan ini untuk anda
Django adalah rangka kerja Python yang popular untuk menulis aplikasi web. Dengan Django, anda dapat membina aplikasi dengan lebih cepat, tanpa mencipta semula roda. Sekiranya anda mahu
Selamat datang ke tutorial Vultr yang lain. Di sini, anda akan belajar cara memasang dan menjalankan pelayan SAMP. Panduan ini ditulis untuk CentOS 6. Prasyarat Anda akan hadir
Revive Adserver adalah sistem penayangan iklan sumber terbuka dan bebas yang dapat digunakan untuk mengelola iklan di laman web, dalam aplikasi, dan / atau dalam pemutar video. Dalam artikel ini,
Parse Server adalah alternatif sumber terbuka untuk perkhidmatan backend Parse yang sedang ditutup. Sekiranya anda peminat perkhidmatan ini, anda masih boleh menikmati perkhidmatan ini
Menggunakan Sistem Berbeza? Elgg adalah mesin rangkaian sosial sumber terbuka yang membolehkan penciptaan persekitaran sosial seperti rangkaian sosial kampus dan
Pengenalan Caddy adalah program pelayan web yang muncul dengan sokongan asli untuk HTTP / 2 dan HTTPS automatik. Dengan kemudahan penggunaan dan keselamatan, Caddy dapat b
Gambaran Keseluruhan Artikel ini dimaksudkan untuk membantu anda mendapatkan cluster Kubernet dan berjalan dengan kubeadm dalam waktu singkat. Panduan ini akan menggunakan dua pelayan, di
Pengenalan Mengendalikan sistem Linux bermaksud seseorang menggunakan baris perintah lebih kerap daripada tidak. Perlu menaip nama direktori panjang berulang-ulang sebagai wel
OpenCart adalah penyelesaian keranjang belanja sumber terbuka yang popular yang direka untuk memberikan fungsi, kemudahan penggunaan, dan penampilan yang sangat baik. Dengan OpenCart, anda pasti
Menggunakan Sistem Berbeza? Pengenalan Sails.js adalah rangka kerja MVC untuk Node.js, mirip dengan Ruby on Rails. Ia menjadikan untuk mengembangkan aplikasi moden
Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Ramai daripada anda tahu Switch akan keluar pada Mac 2017 dan ciri baharunya. Bagi yang tidak tahu, kami telah menyediakan senarai ciri yang menjadikan 'Tukar' sebagai 'gajet yang mesti ada'.
Adakah anda menunggu gergasi teknologi memenuhi janji mereka? semak apa yang masih belum dihantar.
Baca blog untuk mengetahui lapisan berbeza dalam Seni Bina Data Besar dan fungsinya dengan cara yang paling mudah.
Baca ini untuk mengetahui cara Kecerdasan Buatan semakin popular di kalangan syarikat berskala kecil dan cara ia meningkatkan kebarangkalian untuk menjadikan mereka berkembang dan memberikan pesaing mereka kelebihan.
CAPTCHA telah menjadi agak sukar untuk diselesaikan oleh pengguna dalam beberapa tahun kebelakangan ini. Adakah ia dapat kekal berkesan dalam pengesanan spam dan bot pada masa hadapan?
Apabila Sains Berkembang pada kadar yang pantas, mengambil alih banyak usaha kita, risiko untuk menundukkan diri kita kepada Ketunggalan yang tidak dapat dijelaskan juga meningkat. Baca, apakah makna ketunggalan bagi kita.
Apakah teleperubatan, penjagaan kesihatan jauh dan impaknya kepada generasi akan datang? Adakah ia tempat yang baik atau tidak dalam situasi pandemik? Baca blog untuk mencari paparan!
Anda mungkin pernah mendengar bahawa penggodam memperoleh banyak wang, tetapi pernahkah anda terfikir bagaimana mereka memperoleh wang seperti itu? Mari berbincang.
Baru-baru ini Apple mengeluarkan macOS Catalina 10.15.4 kemas kini tambahan untuk menyelesaikan masalah tetapi nampaknya kemas kini itu menyebabkan lebih banyak masalah yang membawa kepada pemusnahan mesin mac. Baca artikel ini untuk mengetahui lebih lanjut
