CentOS 7에 Apache Kafka를 설치하는 방법

• 전제 조건 :
• 1 단계 : CentOS 7 시스템 업데이트
• 2 단계 : OpenJDK 런타임 설치
• 3 단계 : Apache Kafka 다운로드
• 4 단계 : Apache Kafka 시작 및 테스트

Apache Kafka는 확장 가능하고 처리량이 많은 메시징 시스템으로 방대한 양의 데이터를 효율적으로 처리 할 수 ​​있습니다.

한 서버에 Kafka를 배포하거나 성능 향상을 위해 분산 Kafka 클러스터를 구축 할 수 있습니다. 우선이 기사에서는 단일 Vultr CentOS 7 서버 인스턴스에 Apache Kafka를 설치하는 방법에 대해 설명합니다.

전제 조건 :

계속 진행하기 전에 다음을 수행해야합니다.

• Vultr CentOS 7 서버 인스턴스를 배포하십시오. 필요에 따라 사용 가능한 메모리를 늘려야 할 수도 있습니다.
• sudo 사용자를 사용하여 SSH 터미널에서 로그인하십시오.

1 단계 : CentOS 7 시스템 업데이트

아래 명령을 사용하여 시스템을 최신 안정 상태로 업데이트하십시오.

sudo yum update -y && sudo reboot

재부팅이 완료되면 동일한 sudo 사용자를 사용하여 다시 로그인하십시오.

2 단계 : OpenJDK 런타임 설치

Apache Kafka를 제대로 실행하려면 시스템에 Java 가상 머신을 설정해야합니다. YUM을 사용하여 OpenJDK Runtime Environment 1.8.0을 설치할 수 있습니다.

sudo yum install java-1.8.0-openjdk.x86_64

다음을 사용하여 설치를 확인하십시오.

java -version

출력은 다음과 유사해야합니다.

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

"JAVA_HOME"및 "JRE_HOME"환경 변수도 설정해야합니다.

sudo vi /etc/profile

파일의 원래 내용에 다음 줄을 추가하십시오.

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

저장하고 종료하십시오 :

:wq

변경 사항을 적용하려면 프로파일을 다시로드하십시오.

source /etc/profile

3 단계 : Apache Kafka 다운로드

공식 웹 사이트에서 최신 안정 버전의 Apache Kafka를 다운로드하십시오. 글을 쓰는 시점은 0.9.0.1입니다.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

다음과 같은 원하는 위치에 아카이브를 압축 해제하십시오 /opt.

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

4 단계 : Apache Kafka 시작 및 테스트

이 시점에서 시스템에서 Apache Kafka를 사용할 수 있습니다. 테스트 드라이브를하자.

4.1 : Kafka 디렉토리로 이동

cd /opt/kafka_2.11-0.9.0.1

4.2 : Zookeeper 서버 시작

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3 : Kafka 서버의 구성 수정

 vi bin/kafka-server-start.sh

특정 시스템 매개 변수에 따라 메모리 사용량을 조정하십시오. 예를 들어 테스트 환경에서 메모리가 768MB 인 Vultr 서버 인스턴스를 사용하는 경우 다음 줄을 찾아야합니다.

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

다음으로 교체하십시오.

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

종료를 저장하십시오 :

:wq

4.4 : Kafka 서버 시작

bin/kafka-server-start.sh config/server.properties

모든 것이 성공적으로 완료되면 Kafka 서버의 상태에 대한 몇 가지 메시지가 표시되며 마지막 메시지는 다음과 같습니다.

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

이것은 Kafka 서버를 시작했음을 의미합니다.

4.5 : 새로운 SSH 연결에서 주제 "테스트"만들기

새 SSH 연결을 열고 다음 명령을 사용하여 "test"주제를 작성하십시오.

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

다음 명령으로 주제를 볼 수 있습니다.

bin/kafka-topics.sh --list --zookeeper localhost:2181

우리의 경우 출력은 다음과 같습니다.

test

4.6 : "test"주제를 사용하여 메시지 생성

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

위의 명령을 사용하여 다음과 같이 원하는 수의 메시지를 입력 할 수 있습니다.

Welcome aboard!
Bonjour!

"WARN Error while fetching metadata with correlation id"메시지를 입력 할 때 와 비슷한 오류가 발생 server.properties하면 다음 정보로 파일 을 업데이트해야합니다 .

port = 9092
advertised.host.name = localhost 

4.7 : 메시지 표시

세 번째 SSH 연결을 열고 다음 명령을 실행하십시오.

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

타다! 앞서 생성 한 메시지는 세 번째 SSH 연결에 표시됩니다. 물론 두 번째 SSH 연결에서 더 많은 메시지를 입력하면 세 번째 SSH 연결에서 즉시 해당 메시지를 볼 수 있습니다.

마지막으로 각 SSH 연결에서 Ctrl + C를 눌러 이러한 스크립트를 중지 할 수 있습니다.

그게 다야. 공식 웹 사이트에서 Apache Kafka에 대해 자세히 알아볼 수 있습니다. 즐기세요!