Cómo instalar Apache Kafka en CentOS 7

• Prerrequisitos:
• Paso 1: actualice el sistema CentOS 7
• Paso 2: Instalar OpenJDK Runtime
• Paso 3: Descarga Apache Kafka
• Paso 4: Inicie y pruebe Apache Kafka

Apache Kafka es un sistema de mensajería escalable y de alto rendimiento que es capaz de manejar eficientemente una gran cantidad de datos.

Puede implementar Kafka en un servidor o crear un clúster Kafka distribuido para un mayor rendimiento. Para empezar, este artículo explica cómo instalar Apache Kafka en una única instancia de servidor Vultr CentOS 7.

Prerrequisitos:

Antes de continuar, debe:

• Implemente una instancia de servidor Vultr CentOS 7. Dependiendo de sus necesidades, es posible que necesite aumentar la memoria disponible.
• Use un usuario sudo para iniciar sesión desde su terminal SSH.

Paso 1: actualice el sistema CentOS 7

Utilice el siguiente comando para actualizar su sistema al último estado estable:

sudo yum update -y && sudo reboot

Una vez finalizado el reinicio, use el mismo usuario de sudo para iniciar sesión nuevamente.

Paso 2: Instalar OpenJDK Runtime

Debe configurar una máquina virtual Java en su sistema antes de poder ejecutar Apache Kafka correctamente. Aquí, puede instalar OpenJDK Runtime Environment 1.8.0 usando YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Valide su instalación con:

java -version

La salida debería parecerse a:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

También debe configurar las variables de entorno "JAVA_HOME" y "JRE_HOME":

sudo vi /etc/profile

Agregue las siguientes líneas al contenido original del archivo:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Guardar y Salir:

:wq

Vuelva a cargar el perfil para que sus cambios surtan efecto:

source /etc/profile

Paso 3: Descarga Apache Kafka

Descargue la última versión estable de Apache Kafka desde el sitio web oficial. Al momento de escribir, es 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Descomprima el archivo en una ubicación preferida, como /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Paso 4: Inicie y pruebe Apache Kafka

En este punto, Apache Kafka está disponible en su sistema. Vamos a probarlo.

4.1: Entrar en el directorio de Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Inicie el servidor Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Modificar la configuración de su servidor Kafka

 vi bin/kafka-server-start.sh

Ajuste el uso de la memoria de acuerdo con los parámetros específicos de su sistema. Por ejemplo, si está utilizando una instancia de servidor Vultr con 768 MB de memoria en el entorno de prueba, debe ubicar la siguiente línea:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Reemplácelo con:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Guardar una salida:

:wq

4.4: Inicie el servidor Kafka

bin/kafka-server-start.sh config/server.properties

Si todo salió con éxito, verá varios mensajes sobre el estado del servidor Kafka, y el último leerá:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Esto significa que ha iniciado el servidor Kafka.

4.5: Crear un tema "prueba" en una nueva conexión SSH

Abra una nueva conexión SSH, use los siguientes comandos para crear un tema "prueba":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Puede ver sus temas con el siguiente comando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

En nuestro caso, la salida leerá:

test

4.6: Produzca mensajes utilizando el tema "prueba"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Usando el comando anterior, puede ingresar cualquier cantidad de mensajes que desee, como:

Welcome aboard!
Bonjour!

Si recibe un error similar al "WARN Error while fetching metadata with correlation id"ingresar un mensaje, deberá actualizar el server.propertiesarchivo con la siguiente información:

port = 9092
advertised.host.name = localhost 

4.7: Mostrar mensajes

Abra una tercera conexión SSH y luego ejecute los siguientes comandos:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Los mensajes que produjo anteriormente se mostrarán en la tercera conexión SSH. Por supuesto, si ingresa más mensajes desde la segunda conexión SSH ahora, los verá inmediatamente en la tercera conexión SSH.

Finalmente, puede presionar Ctrl + C en cada conexión SSH para detener estos scripts.

Eso es. Puede obtener más información sobre Apache Kafka en el sitio web oficial. ¡Que te diviertas!