Как установить Apache Kafka на CentOS 7

Apache Kafka - это масштабируемая и высокопроизводительная система обмена сообщениями, которая способна эффективно обрабатывать огромное количество данных.

Вы можете либо развернуть Kafka на одном сервере, либо создать распределенный кластер Kafka для большей производительности. Для начала в этой статье объясняется, как установить Apache Kafka на один экземпляр сервера Vultr CentOS 7.

Предпосылки:

Прежде чем двигаться дальше, вы должны:

  • Разверните экземпляр сервера Vultr CentOS 7. В зависимости от ваших потребностей, вам может потребоваться увеличить объем доступной памяти.
  • Используйте пользователя sudo для входа с вашего SSH-терминала.

Шаг 1: Обновите систему CentOS 7

Используйте команду ниже, чтобы обновить вашу систему до последнего стабильного состояния:

sudo yum update -y && sudo reboot

После завершения перезагрузки используйте того же пользователя sudo для повторного входа в систему.

Шаг 2: Установите OpenJDK Runtime

Вам необходимо настроить виртуальную машину Java в вашей системе, прежде чем вы сможете правильно запустить Apache Kafka. Здесь вы можете установить OpenJDK Runtime Environment 1.8.0, используя YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Подтвердите вашу установку:

java -version

Вывод должен напоминать:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Вам также необходимо настроить переменные окружения "JAVA_HOME" и "JRE_HOME":

sudo vi /etc/profile

Добавьте следующие строки к исходному содержимому файла:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Сохранить и выйти:

:wq

Перезагрузите профиль, чтобы изменения вступили в силу:

source /etc/profile

Шаг 3: Загрузите Apache Kafka

Загрузите последнюю стабильную версию Apache Kafka с официального сайта. На момент написания, это 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Разархивируйте архив в предпочтительное место, например /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Шаг 4: Запустите и протестируйте Apache Kafka

На данный момент Apache Kafka доступен в вашей системе. Давайте проведем тест-драйв.

4.1: попасть в каталог Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Запустите сервер Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: изменить конфигурацию вашего сервера Kafka

 vi bin/kafka-server-start.sh

Отрегулируйте использование памяти в соответствии с вашими параметрами системы. Например, если вы используете экземпляр сервера Vultr с 768 МБ памяти в тестовой среде, вам нужно найти следующую строку:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Заменить его на:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Сохранить выход:

:wq

4.4: Запустите сервер Kafka

bin/kafka-server-start.sh config/server.properties

Если все прошло успешно, вы увидите несколько сообщений о состоянии сервера Kafka, а последнее будет выглядеть так:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Это означает, что вы запустили сервер Kafka.

4.5: Создайте тему «test» в новом SSH-соединении

Откройте новое SSH-соединение, используйте следующие команды для создания темы «test»:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Вы можете просмотреть свои темы с помощью следующей команды:

bin/kafka-topics.sh --list --zookeeper localhost:2181

В нашем случае вывод будет выглядеть так:

test

4.6: Создание сообщений с использованием темы «тест»

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Используя приведенную выше команду, вы можете ввести любое количество сообщений, например:

Welcome aboard!
Bonjour!

Если вы получаете сообщение об ошибке, аналогичное "WARN Error while fetching metadata with correlation id"введенному сообщению, вам необходимо обновить server.propertiesфайл, указав следующую информацию:

port = 9092
advertised.host.name = localhost 

4.7: Показать сообщения

Откройте третье соединение SSH, а затем выполните следующие команды:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Сообщения, которые вы создали ранее, будут отображаться в третьем соединении SSH. Конечно, если вы сейчас введете больше сообщений со второго SSH-соединения, вы сразу увидите их на третьем SSH-соединении.

Наконец, вы можете нажать Ctrl + C на каждом соединении SSH, чтобы остановить эти сценарии.

Вот и все. Вы можете узнать больше об Apache Kafka на официальном сайте. Веселиться!



Leave a Comment

Как установить Anchor CMS на CentOS 7 LAMP VPS

Как установить Anchor CMS на CentOS 7 LAMP VPS

Используете другую систему? Anchor CMS - это сверхпростая и чрезвычайно легкая бесплатная система управления контентом (CMS) с открытым исходным кодом.

Как обновить CentOS 7, Ubuntu 16.04 и Debian 8

Как обновить CentOS 7, Ubuntu 16.04 и Debian 8

При настройке нового сервера Linux рекомендуется обновить ядро ​​системы и другие пакеты до последней стабильной версии. В этой статье

Как установить Backdrop CMS 1.8.0 на CentOS 7 LAMP VPS

Как установить Backdrop CMS 1.8.0 на CentOS 7 LAMP VPS

Используете другую систему? Backdrop CMS 1.8.0 - это простая и гибкая, удобная для мобильных устройств, бесплатная система с открытым исходным кодом (CMS), которая позволяет нам

Настройте Magento на CentOS 6

Настройте Magento на CentOS 6

Если вы хотите разместить свой инвентарь в Интернете или просто магазин технических аксессуаров, Magento - отличное решение для электронной коммерции в Интернете. Это статья

Как установить AirSonic на CentOS 7

Как установить AirSonic на CentOS 7

Используете другую систему? AirSonic - это бесплатный и потоковый сервер с открытым исходным кодом. В этом уроке я проведу вас через процесс развертывания

Как установить OrangeScrum на CentOS 7

Как установить OrangeScrum на CentOS 7

OrangeScrum - это бесплатный инструмент управления проектами с открытым исходным кодом, который широко используется в малом и среднем бизнесе. В этой статье я проведу вас через

Как установить и настроить OrientDB Community Edition для CentOS 7

Как установить и настроить OrientDB Community Edition для CentOS 7

OrientDB - это мультимодельная СУБД NoSQL с открытым исходным кодом нового поколения. Благодаря поддержке нескольких моделей данных OrientDB может обеспечить большую функциональность и гибкость в

Как установить Vtiger CRM с открытым исходным кодом на CentOS 7

Как установить Vtiger CRM с открытым исходным кодом на CentOS 7

Vtiger CRM - это популярное приложение для управления взаимоотношениями с клиентами, которое может помочь предприятиям увеличить продажи, обеспечить обслуживание клиентов и увеличить прибыль. я

Как установить MaraDNS на CentOS 6

Как установить MaraDNS на CentOS 6

MaraDNS - это легкая, но надежная программа с открытым исходным кодом для DNS-сервера. По сравнению с другими приложениями того же типа, такими как ISC BIND, PowerDNS и djbdns

Установка Netdata в CentOS 7

Установка Netdata в CentOS 7

Используете другую систему? Netdata - восходящая звезда в области мониторинга показателей системы в режиме реального времени. По сравнению с другими инструментами того же рода, Netdata:

Как установить Starbound Server в CentOS 7

Как установить Starbound Server в CentOS 7

Используете другую систему? В этом уроке я расскажу, как настроить сервер Starbound в CentOS 7. Предварительные условия Вы должны иметь эту игру на себе

Кластеризация RabbitMQ на CentOS 7

Кластеризация RabbitMQ на CentOS 7

RabbitMQ - это брокер сообщений с открытым исходным кодом, который поддерживает AMQP, STOMP и другие коммуникационные технологии. Широко используется в корпоративных приложениях

Настройка многопользовательского сервера SA-MP San Andreas на CentOS 6

Настройка многопользовательского сервера SA-MP San Andreas на CentOS 6

Добро пожаловать в другой учебник Vultr. Здесь вы узнаете, как установить и запустить сервер SAMP. Это руководство было написано для CentOS 6. Предварительные условия

Установите Elgg на CentOS 7

Установите Elgg на CentOS 7

Используете другую систему? Elgg - это движок социальных сетей с открытым исходным кодом, который позволяет создавать социальные среды, такие как социальные сети кампуса и

Установка Bolt CMS на CentOS 7

Установка Bolt CMS на CentOS 7

Bolt - это CMS с открытым исходным кодом, написанная на PHP. Исходный код Bolts размещен на GitHub. Это руководство покажет вам, как установить Bolt CMS на новую CentOS 7 Vult.

Как установить и использовать Apache PredictionIO для машинного обучения в CentOS 7

Как установить и использовать Apache PredictionIO для машинного обучения в CentOS 7

Традиционные подходы к анализу данных невозможно использовать, когда наборы данных достигают определенного размера. Современная альтернатива анализу огромных массивов данных, которые я

Как установить Elasticsearch на экземпляре Vultr CentOS 7 Server

Как установить Elasticsearch на экземпляре Vultr CentOS 7 Server

Elasticsearch - популярный движок полнотекстового поиска и аналитики с открытым исходным кодом. Благодаря своей универсальности, масштабируемости и простоте использования, Elasticsearch широко используется

Развертывание Kubernetes с помощью Kubeadm на CentOS 7

Развертывание Kubernetes с помощью Kubeadm на CentOS 7

Обзор Эта статья призвана помочь вам в кратчайшие сроки запустить и запустить кластер Kubernetes с помощью kubeadm. Это руководство будет развертывать два сервера, на

Настройте Sails.js для разработки на CentOS 7

Настройте Sails.js для разработки на CentOS 7

Используете другую систему? Введение Sails.js - это инфраструктура MVC для Node.js, аналогичная Ruby on Rails. Это делает для разработки современных приложений вер

Как установить PufferPanel (бесплатная панель управления Minecraft) на CentOS 7

Как установить PufferPanel (бесплатная панель управления Minecraft) на CentOS 7

Введение В этом руководстве мы будем устанавливать PufferPanel на нашем Vultr VPS. PufferPanel - это бесплатная панель управления с открытым исходным кодом для управления вами.

Изучение 26 методов анализа больших данных: часть 1

Изучение 26 методов анализа больших данных: часть 1

Изучение 26 методов анализа больших данных: часть 1

6 невероятных фактов о Nintendo Switch

6 невероятных фактов о Nintendo Switch

Многие из вас знают Switch, который выйдет в марте 2017 года, и его новые функции. Для тех, кто не знает, мы подготовили список функций, которые делают «Switch» обязательным гаджетом.

Технические обещания, которые все еще не выполнены

Технические обещания, которые все еще не выполнены

Вы ждете, когда технологические гиганты выполнят свои обещания? проверить, что осталось недоставленным.

Функциональные возможности уровней эталонной архитектуры больших данных

Функциональные возможности уровней эталонной архитектуры больших данных

Прочтите блог, чтобы узнать о различных уровнях архитектуры больших данных и их функциях самым простым способом.

Как ИИ может вывести автоматизацию процессов на новый уровень?

Как ИИ может вывести автоматизацию процессов на новый уровень?

Прочтите это, чтобы узнать, как искусственный интеллект становится популярным среди небольших компаний и как он увеличивает вероятность их роста и дает преимущество перед конкурентами.

CAPTCHA: как долго она может оставаться жизнеспособным методом различения между человеком и ИИ?

CAPTCHA: как долго она может оставаться жизнеспособным методом различения между человеком и ИИ?

CAPTCHA стало довольно сложно решать пользователям за последние несколько лет. Сможет ли он оставаться эффективным в обнаружении спама и ботов в ближайшем будущем?

Технологическая сингулярность: далекое будущее человеческой цивилизации?

Технологическая сингулярность: далекое будущее человеческой цивилизации?

По мере того, как наука развивается быстрыми темпами, принимая на себя большую часть наших усилий, также возрастает риск подвергнуться необъяснимой сингулярности. Прочтите, что может значить для нас необычность.

Телемедицина и удаленное здравоохранение: будущее уже здесь

Телемедицина и удаленное здравоохранение: будущее уже здесь

Что такое телемедицина, дистанционное здравоохранение и их влияние на будущее поколение? Это хорошее место или нет в ситуации пандемии? Прочтите блог, чтобы узнать мнение!

Вы когда-нибудь задумывались, как хакеры зарабатывают деньги?

Вы когда-нибудь задумывались, как хакеры зарабатывают деньги?

Возможно, вы слышали, что хакеры зарабатывают много денег, но задумывались ли вы когда-нибудь о том, как они зарабатывают такие деньги? Давайте обсудим.

Обновление дополнения к macOS Catalina 10.15.4 вызывает больше проблем, чем решает

Обновление дополнения к macOS Catalina 10.15.4 вызывает больше проблем, чем решает

Недавно Apple выпустила macOS Catalina 10.15.4, дополнительное обновление для исправления проблем, но похоже, что это обновление вызывает больше проблем, приводящих к поломке компьютеров Mac. Прочтите эту статью, чтобы узнать больше