Como instalar o Apache Kafka no CentOS 7

• Pré-requisitos:
• Etapa 1: atualizar o sistema CentOS 7
• Etapa 2: Instalar o OpenJDK Runtime
• Etapa 3: Faça o download do Apache Kafka
• Etapa 4: iniciar e testar o Apache Kafka

O Apache Kafka é um sistema de mensagens escalonável e de alto rendimento, capaz de lidar com eficiência com uma enorme quantidade de dados.

Você pode implantar o Kafka em um servidor ou criar um cluster Kafka distribuído para obter melhor desempenho. Para começar, este artigo explica como instalar o Apache Kafka em uma única instância do servidor Vultr CentOS 7.

Pré-requisitos:

Antes de prosseguir, você deve:

• Implante uma instância do servidor Vultr CentOS 7. Dependendo das suas necessidades, pode ser necessário aumentar a memória disponível.
• Use um usuário sudo para efetuar login no seu terminal SSH.

Etapa 1: atualizar o sistema CentOS 7

Use o comando abaixo para atualizar seu sistema para o status estável mais recente:

sudo yum update -y && sudo reboot

Após a conclusão da reinicialização, use o mesmo usuário sudo para efetuar login novamente.

Etapa 2: Instalar o OpenJDK Runtime

Você precisa configurar uma máquina virtual Java em seu sistema antes de poder executar o Apache Kafka corretamente. Aqui, você pode instalar o OpenJDK Runtime Environment 1.8.0 usando YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Valide sua instalação com:

java -version

A saída deve se parecer com:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Você também precisa configurar as variáveis ​​de ambiente "JAVA_HOME" e "JRE_HOME":

sudo vi /etc/profile

Anexe as seguintes linhas ao conteúdo original do arquivo:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Salve e saia:

:wq

Recarregue o perfil para efetivar suas alterações:

source /etc/profile

Etapa 3: Faça o download do Apache Kafka

Baixe a versão estável mais recente do Apache Kafka no site oficial. No momento da escrita, é 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Descompacte o arquivo compactado em um local preferido, como /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Etapa 4: iniciar e testar o Apache Kafka

Neste ponto, o Apache Kafka está disponível no seu sistema. Vamos testar.

4.1: Entre no diretório Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Inicie o servidor Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Modifique a configuração do seu servidor Kafka

 vi bin/kafka-server-start.sh

Ajuste o uso da memória de acordo com os parâmetros específicos do sistema. Por exemplo, se você estiver usando uma instância do servidor Vultr com 768 MB de memória no ambiente de teste, precisará localizar a seguinte linha:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Substitua por:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Salve uma saída:

:wq

4.4: Inicie o servidor Kafka

bin/kafka-server-start.sh config/server.properties

Se tudo der certo, você verá várias mensagens sobre o status do servidor Kafka e a última será:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Isso significa que você iniciou o servidor Kafka.

4.5: Crie um tópico "teste" em uma nova conexão SSH

Abra uma nova conexão SSH, use os seguintes comandos para criar um tópico "teste":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Você pode visualizar seus tópicos com o seguinte comando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

No nosso caso, a saída será:

test

4.6: Produza mensagens usando o tópico "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Usando o comando acima, você pode inserir qualquer número de mensagens como desejar, como:

Welcome aboard!
Bonjour!

Se você receber um erro semelhante "WARN Error while fetching metadata with correlation id"ao inserir uma mensagem, precisará atualizar o server.propertiesarquivo com as seguintes informações:

port = 9092
advertised.host.name = localhost 

4.7: Exibir mensagens

Abra uma terceira conexão SSH e execute os seguintes comandos:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! As mensagens que você produziu anteriormente serão exibidas na terceira conexão SSH. Obviamente, se você inserir mais mensagens da segunda conexão SSH agora, você as verá imediatamente na terceira conexão SSH.

Por fim, você pode pressionar Ctrl + C em cada conexão SSH para interromper esses scripts.

É isso aí. Você pode aprender mais sobre o Apache Kafka no site oficial. Diverta-se!