如何在CentOS 7上安装Apache Kafka

• 先决条件：
• 步骤1：更新CentOS 7系统
• 步骤2：安装OpenJDK运行时
• 步骤3：下载Apache Kafka
• 步骤4：启动并测试Apache Kafka

Apache Kafka是一个可伸缩的高吞吐量消息传递系统，能够有效处理大量数据。

您可以将Kafka部署在一台服务器上，也可以构建分布式Kafka集群以提高性能。首先，本文介绍如何在单个Vultr CentOS 7服务器实例上安装Apache Kafka。

先决条件：

在继续之前，您应该：

• 部署Vultr CentOS 7服务器实例。根据需要，您可能需要增加可用内存。
• 使用sudo用户从SSH终端登录。

步骤1：更新CentOS 7系统

使用以下命令将系统更新到最新的稳定状态：

sudo yum update -y && sudo reboot

重新启动完成后，使用相同的sudo用户再次登录。

步骤2：安装OpenJDK运行时

您需要先在系统上设置Java虚拟机，然后才能正确运行Apache Kafka。在这里，您可以使用YUM安装OpenJDK Runtime Environment 1.8.0：

sudo yum install java-1.8.0-openjdk.x86_64

使用以下命令验证安装：

java -version

输出应类似于：

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

您还需要设置“ JAVA_HOME”和“ JRE_HOME”环境变量：

sudo vi /etc/profile

将以下行添加到文件的原始内容中：

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

保存并退出：

:wq

重新加载配置文件以使您的更改生效：

source /etc/profile

步骤3：下载Apache Kafka

从官方网站下载Apache Kafka的最新稳定版本。在撰写本文时，它是0.9.0.1。

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

将档案解压缩到首选位置，例如/opt：

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

步骤4：启动并测试Apache Kafka

此时，您的系统上可以使用Apache Kafka。让我们试驾一下。

4.1：进入Kafka目录

cd /opt/kafka_2.11-0.9.0.1

4.2：启动Zookeeper服务器

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3：修改Kafka服务器的配置

 vi bin/kafka-server-start.sh

根据您的特定系统参数调整内存使用量。例如，如果在测试环境中使用的内存为768MB的Vultr服务器实例，则需要找到以下行：

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

替换为：

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

保存退出：

:wq

4.4：启动Kafka服务器

bin/kafka-server-start.sh config/server.properties

如果一切顺利，您将看到一些有关Kafka服务器状态的消息，最后一条将显示：

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

这意味着您已经启动了Kafka服务器。

4.5：在新的SSH连接中创建主题“测试”

打开一个新的SSH连接，使用以下命令创建主题“ test”：

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

您可以使用以下命令查看主题：

bin/kafka-topics.sh --list --zookeeper localhost:2181

在我们的例子中，输出将显示为：

test

4.6：使用主题“测试”生成消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

使用上面的命令，您可以根据需要输入任意数量的消息，例如：

Welcome aboard!
Bonjour!

如果您收到与"WARN Error while fetching metadata with correlation id"输入消息时类似的错误，则需要server.properties使用以下信息更新文件：

port = 9092
advertised.host.name = localhost 

4.7：显示消息

打开第三个SSH连接，然后运行以下命令：

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

- 您先前生成的消息将显示在第三个SSH连接中。当然，如果您现在从第二个SSH连接输入更多消息，您将立即在第三个SSH连接上看到它们。

最后，您可以在每个SSH连接上按Ctrl + C组合键以停止这些脚本。

而已。您可以在官方网站上了解有关Apache Kafka的更多信息。玩得开心！