Как установить Apache Kafka на CentOS 7

• Предпосылки:
• Шаг 1: Обновите систему CentOS 7
• Шаг 2: Установите OpenJDK Runtime
• Шаг 3: Загрузите Apache Kafka
• Шаг 4: Запустите и протестируйте Apache Kafka

Apache Kafka - это масштабируемая и высокопроизводительная система обмена сообщениями, которая способна эффективно обрабатывать огромное количество данных.

Вы можете либо развернуть Kafka на одном сервере, либо создать распределенный кластер Kafka для большей производительности. Для начала в этой статье объясняется, как установить Apache Kafka на один экземпляр сервера Vultr CentOS 7.

Предпосылки:

Прежде чем двигаться дальше, вы должны:

• Разверните экземпляр сервера Vultr CentOS 7. В зависимости от ваших потребностей, вам может потребоваться увеличить объем доступной памяти.
• Используйте пользователя sudo для входа с вашего SSH-терминала.

Шаг 1: Обновите систему CentOS 7

Используйте команду ниже, чтобы обновить вашу систему до последнего стабильного состояния:

sudo yum update -y && sudo reboot

После завершения перезагрузки используйте того же пользователя sudo для повторного входа в систему.

Шаг 2: Установите OpenJDK Runtime

Вам необходимо настроить виртуальную машину Java в вашей системе, прежде чем вы сможете правильно запустить Apache Kafka. Здесь вы можете установить OpenJDK Runtime Environment 1.8.0, используя YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Подтвердите вашу установку:

java -version

Вывод должен напоминать:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Вам также необходимо настроить переменные окружения "JAVA_HOME" и "JRE_HOME":

sudo vi /etc/profile

Добавьте следующие строки к исходному содержимому файла:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Сохранить и выйти:

:wq

Перезагрузите профиль, чтобы изменения вступили в силу:

source /etc/profile

Шаг 3: Загрузите Apache Kafka

Загрузите последнюю стабильную версию Apache Kafka с официального сайта. На момент написания, это 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Разархивируйте архив в предпочтительное место, например /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Шаг 4: Запустите и протестируйте Apache Kafka

На данный момент Apache Kafka доступен в вашей системе. Давайте проведем тест-драйв.

4.1: попасть в каталог Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Запустите сервер Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: изменить конфигурацию вашего сервера Kafka

 vi bin/kafka-server-start.sh

Отрегулируйте использование памяти в соответствии с вашими параметрами системы. Например, если вы используете экземпляр сервера Vultr с 768 МБ памяти в тестовой среде, вам нужно найти следующую строку:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Заменить его на:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Сохранить выход:

:wq

4.4: Запустите сервер Kafka

bin/kafka-server-start.sh config/server.properties

Если все прошло успешно, вы увидите несколько сообщений о состоянии сервера Kafka, а последнее будет выглядеть так:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Это означает, что вы запустили сервер Kafka.

4.5: Создайте тему «test» в новом SSH-соединении

Откройте новое SSH-соединение, используйте следующие команды для создания темы «test»:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Вы можете просмотреть свои темы с помощью следующей команды:

bin/kafka-topics.sh --list --zookeeper localhost:2181

В нашем случае вывод будет выглядеть так:

test

4.6: Создание сообщений с использованием темы «тест»

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Используя приведенную выше команду, вы можете ввести любое количество сообщений, например:

Welcome aboard!
Bonjour!

Если вы получаете сообщение об ошибке, аналогичное "WARN Error while fetching metadata with correlation id"введенному сообщению, вам необходимо обновить server.propertiesфайл, указав следующую информацию:

port = 9092
advertised.host.name = localhost 

4.7: Показать сообщения

Откройте третье соединение SSH, а затем выполните следующие команды:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Сообщения, которые вы создали ранее, будут отображаться в третьем соединении SSH. Конечно, если вы сейчас введете больше сообщений со второго SSH-соединения, вы сразу увидите их на третьем SSH-соединении.

Наконец, вы можете нажать Ctrl + C на каждом соединении SSH, чтобы остановить эти сценарии.

Вот и все. Вы можете узнать больше об Apache Kafka на официальном сайте. Веселиться!