CentOS 7にApache Kafkaをインストールする方法

• 前提条件：
• ステップ1：CentOS 7システムを更新する
• ステップ2：OpenJDKランタイムをインストールする
• ステップ3：Apache Kafkaをダウンロードする
• ステップ4：Apache Kafkaを起動してテストする

Apache Kafkaは、大量のデータを効率的に処理できるスケーラブルで高スループットのメッセージングシステムです。

Kafkaを1つのサーバーにデプロイするか、分散Kafkaクラスターを構築してパフォーマンスを向上させることができます。まず、この記事では、1つのVultr CentOS 7サーバーインスタンスにApache Kafkaをインストールする方法について説明します。

前提条件：

次に進む前に、次のことを行う必要があります。

• Vultr CentOS 7サーバーインスタンスをデプロイします。必要に応じて、使用可能なメモリを増やす必要があります。
• sudoユーザーを使用して、SSHターミナルからログインします。

ステップ1：CentOS 7システムを更新する

以下のコマンドを使用して、システムを最新の安定した状態に更新します。

sudo yum update -y && sudo reboot

再起動が完了したら、同じsudoユーザーを使用して再度ログインします。

ステップ2：OpenJDKランタイムをインストールする

Apache Kafkaを適切に実行する前に、システムにJava仮想マシンをセットアップする必要があります。ここでは、YUMを使用してOpenJDKランタイム環境1.8.0をインストールできます。

sudo yum install java-1.8.0-openjdk.x86_64

次の方法でインストールを検証します。

java -version

出力は次のようになります。

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

「JAVA_HOME」および「JRE_HOME」環境変数も設定する必要があります。

sudo vi /etc/profile

ファイルの元のコンテンツに次の行を追加します。

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

保存して終了：

:wq

プロファイルをリロードして、変更を有効にします。

source /etc/profile

ステップ3：Apache Kafkaをダウンロードする

公式WebサイトからApache Kafkaの最新の安定バージョンをダウンロードしてください。執筆時点では0.9.0.1です。

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

次のような適切な場所にアーカイブを解凍します/opt。

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

ステップ4：Apache Kafkaを起動してテストする

この時点で、Apache Kafkaがシステムで使用可能です。試乗してみましょう。

4.1：Kafkaディレクトリに入る

cd /opt/kafka_2.11-0.9.0.1

4.2：Zookeeperサーバーを開始する

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3：Kafkaサーバーの構成を変更する

 vi bin/kafka-server-start.sh

特定のシステムパラメータに従ってメモリ使用量を調整します。たとえば、テスト環境で768MBのメモリを備えたVultrサーバーインスタンスを使用している場合は、次の行を見つける必要があります。

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

それを次のものに置き換えます。

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

終了を保存します。

:wq

4.4：Kafkaサーバーを起動する

bin/kafka-server-start.sh config/server.properties

すべてが正常に完了すると、Kafkaサーバーのステータスに関するいくつかのメッセージが表示され、最後のメッセージが表示されます。

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

これは、Kafkaサーバーを起動したことを意味します。

4.5：新しいSSH接続でトピック「テスト」を作成する

新しいSSH接続を開き、次のコマンドを使用してトピック「test」を作成します。

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

次のコマンドでトピックを表示できます。

bin/kafka-topics.sh --list --zookeeper localhost:2181

この場合、出力は次のようになります。

test

4.6：「テスト」というトピックを使用してメッセージを生成する

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

上記のコマンドを使用すると、次のようなメッセージをいくつでも入力できます。

Welcome aboard!
Bonjour!

"WARN Error while fetching metadata with correlation id"メッセージの入力中に同様のエラーを受け取った場合server.propertiesは、次の情報でファイルを更新する必要があります。

port = 9092
advertised.host.name = localhost 

4.7：メッセージを表示する

3番目のSSH接続を開き、次のコマンドを実行します。

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

たーだ！以前に作成したメッセージは、3番目のSSH接続に表示されます。もちろん、2番目のSSH接続からさらにメッセージを入力すると、3番目のSSH接続ですぐにそれらのメッセージが表示されます。

最後に、各SSH接続でCtrl + Cを押して、これらのスクリプトを停止できます。

それでおしまい。Apache Kafkaについて詳しくは、公式Webサイトをご覧ください。楽しんで！