CentOS 7의 클러스터링 RabbitMQ

• 전제 조건
• 방화벽 구성
• rabbitmqadmin 설치
• DNS 구성
• 노드 클러스터
• 고 가용성 정책 만들기
• 설정 테스트
• 손님 사용자 삭제

RabbitMQ는 AMQP, STOMP 및 기타 통신 기술을 지원하는 오픈 소스 메시지 브로커입니다. 엔터프라이즈 응용 프로그램과 최신 마이크로 서비스 아키텍처에서 널리 사용되며 다른 마이크로 서비스 간의 비동기 메시지 채널 역할을합니다. 이 안내서는 여러 CentOS 7 서버에서 RabbitMQ를 클러스터링하여 고 가용성 메시지 브로커를 형성하는 방법을 설명합니다. 이 학습서에서 한 서버는 마스터 서버로 작동하고 다른 서버는 마스터 서버를 사용할 수없는 경우 미러 서버로 작동합니다.

전제 조건

• 프라이빗 네트워킹이 활성화 된 동일한 서브넷에서 새로 배포되고 업데이트 된 CentOS 7 인스턴스 2 개 이상
• 각 서버에서 관리 콘솔을 사용하여 설치된 RabbitMQ ( CentOS 7에 RabbitMQ를 설치하는 방법 참조 )
• sudo 권한을 가진 관리자가 아닌 사용자 ( Debian, CentOS 및 FreeBSD에서 Sudo를 사용하는 방법 참조 )

방화벽 구성

CentOS 방화벽 ( firewalld)은 기본적으로 들어오는 트래픽을 허용하지 않습니다. RabbitMQ를 네트워크 내부 및 외부의 다른 시스템에서 사용할 수있게하고 관리 콘솔에 액세스 할 수있게하려면 먼저 일부 포트를 열어야합니다.

RabbitMQ의 웹 인터페이스 관리 콘솔은 기본적으로 port에서 청취합니다 15672. 컴퓨터에서 관리 콘솔에 액세스 할 수 있도록 관리 콘솔을 공개적으로 사용하려고합니다. 따라서 퍼블릭 영역 (Vultr 인스턴스의 기본 및 활성 영역)에서 firewalld포트를 영구적으로 열 도록 지시 합니다 15672.

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

RabbitMQ 노드는 서로 통신 할 수 있어야합니다. 내부 네트워크를 통해서만 필요한 포트를 열고 싶습니다. 인터넷상의 어느 누구도 서버를 관리하거나 서버에 직접 연락하기를 원하지 않습니다. 다음 명령은 서버가 192.168.0.100/24서브넷 에 있다고 가정합니다 .

첫 번째 서비스는 epmd기본적으로 포트에서 수신 대기 하는 피어 발견 서비스입니다 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

노드 간 및 CLI 통신을 위해 RabbitMQ는 포트를 통해 통신 할 수 있어야합니다 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

CLI 도구는 포트 범위를 통해 통신합니다 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

응용 프로그램에 AMQP 프로토콜이 필요한 경우 포트 5671및 을 열어야 5672합니다. 다른 프로토콜을 통해 통신 할 수 있어야하는 경우 공식 RabbitMQ 설명서 에서 RabbitMQ의 네트워킹 요구 사항에 대한 필요한 정보를 찾을 수 있습니다 .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

이제 firewalld구성되었으므로 구성을 다시로드하도록 지시해야합니다.

sudo firewall-cmd --reload

모든 서버에서이 섹션의 단계를 반복하십시오.

설치 rabbitmqadmin

관리 플러그인에는 rabbitmqadmin관리 플러그인이 활성화되면 시스템에 쉽게 설치할 수 있는 Python 도구가 포함되어 있습니다.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

DNS 구성

클러스터링 할 때 서버를 식별하려면 서버의 호스트 이름을 사용해야합니다. 기본적으로 서버에는 DNS 레코드가 할당되어 있지 않으며 연결이 실패합니다. 이를 극복하려면 /etc/hosts즐겨 사용하는 편집기를 사용하여 마스터 및 미러 호스트 이름을 파일에 추가하십시오 .

예를 들어, 마스터의 호스트 파일은 다음과 같습니다. 서버가 호스트 이름으로 서로를 식별 할 수있게하는 마지막 두 레코드를 확인하십시오. IP 주소를 자신의 주소로 변경하십시오.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

노드 클러스터

노드가 서로 결합 할 수 있도록하기위한 가져 오기 전제 조건은 모든 노드의 Erlang 쿠키가 동일해야한다는 것입니다. 기본적으로 각 노드에는 고유 한 Erlang 쿠키가 할당되므로 모든 노드에서 쿠키를 다시 구성해야합니다.

다음 명령은 Erlang 쿠키를 " WE<3COOKIES"로 설정하지만 원하는대로 변경할 수 있습니다. 모든 서버에서이 작업을 수행하십시오.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Erlang 쿠키가 올바르게 다시로드되도록 모든 서버에서 RabbitMQ를 다시 시작하십시오.

sudo systemctl restart rabbitmq-server.service

마스터 서버를 제외한 모든 서버에서 다음 명령을 실행하십시오. 그러면 노드가 마스터 서버에 가입하여 클러스터를 형성 할 수 있습니다.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

다음 명령을 실행하여 노드가 클러스터에 참여했는지 확인하십시오.

sudo rabbitmqctl cluster_status

모든 노드가 출력 의 nodes및 running_nodes섹션에 나타납니다 . 이제부터는 더 이상 각 서버에서 단계를 반복 할 필요가 없으며 구성은 다른 노드에 자동으로 미러링됩니다.

고 가용성 정책 만들기

이제 RabbitMQ 노드 클러스터가 있으므로이를 사용하여 새 정책을 설정하여 고 가용성 큐 및 교환을 수행 할 수 있습니다. 이 정책은 RabbitMQ 관리 콘솔을 통해 또는 명령 줄 인터페이스를 사용하여 추가 할 수 있습니다.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

다음 목록은 명령의 각 부분의 의미를 설명합니다.

• -p "/": "/"vhost 에서이 정책을 사용하십시오 (설치 후 기본값).
• --priority 1: 정책 적용 순서
• --apply-to "all": 일 수있다 "queues", "exchanges"또는"all"
• ha: 정책 이름
• ".*":이 정책이 적용되는 큐 또는 교환을 결정하는 데 사용되는 정규식입니다. ".*"무엇이든 일치합니다
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': 정책의 JSON 표현. 이 문서는 데이터가 자동으로 동기화되는 정확히 2 개의 노드를 설명합니다.

요컨대,이 정책은 적어도 2 개의 노드가 가동되어있는 한 대기열 또는 교환에 항상 2 개의 데이터 사본을 갖도록 보장합니다. 더 많은 노드가 있으면의 값을 늘릴 수 있습니다 ha-params. N/2 + 1노드 의 쿼럼 ( )이 권장됩니다. 더 많은 데이터 사본이 있으면 디스크, i / o 및 순 사용량이 높아져 성능이 저하 될 수 있습니다.

클러스터의 모든 노드에 데이터를 미러링하려면 다음 JSON 문서를 사용할 수 있습니다.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

특정 노드 (예 : node-1및 node-2) 에만 데이터를 미러링 하려면 다음을 사용할 수 있습니다.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

정규식을 변경하여 다른 정책을 다른 큐에 할당 할 수 있습니다. 다음과 같은 세 개의 노드가 있다고 가정하십시오.

• 토끼 @ 마스터
• rabbit @ client-ha
• 토끼 @ 제품-하

그런 다음 "클라이언트"로 시작하는 이름을 가진 rabbit@client-ha대기열이 노드에 미러링되고 "제품"으로 시작하는 이름을 가진 모든 대기열이 노드에 미러링되는 두 가지 정책을 만들 수 있습니다 rabbit@product-ha.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

이 정책이 그러한 대기열과 일치하더라도 RabbitMQ에서 독점 대기열은 절대 미러링되거나 내구성이 없습니다. 클라이언트가 연결을 끊으면 배타적 대기열이 자동으로 삭제되므로 다른 서버로 복제 할 수 없습니다. 서버가 실패하면 클라이언트와 서버의 연결이 끊어지고 큐가 자동으로 삭제됩니다. 미러 된 인스턴스도 파괴됩니다.

설정 테스트

클러스터 된 설정을 테스트하기 위해 관리 콘솔을 통해 명령 줄 인터페이스를 사용하여 새 대기열을 만들 수 있습니다.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

그러면 기본 /가상 호스트에 이름 으로 영구 대기열이 생성됩니다 my-ha-queue.

다음 명령을 실행하고 출력에 큐에 'ha'정책이 지정되어 있고 마스터 및 미러 노드에 pid가 있는지 확인하십시오.

sudo rabbitmqctl list_queues name policy state pid slave_pids

이제 마스터 노드에서 큐에 메시지를 게시하고 마스터 노드에서 RabbitMQ를 중지 할 수 있습니다.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

이제 미러 노드에 연결하여 다시 가져옵니다.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

마지막으로 마스터 노드를 다시 시작할 수 있습니다.

sudo systemctl start rabbitmq-server.service

손님 사용자 삭제

앞에서 언급 한 것처럼 RabbitMQ는 기본 게스트 비밀번호를 사용하여 게스트 사용자를 자동으로 생성합니다. 이 기본 사용자를 공개적으로 노출 된 시스템에 두는 것은 좋지 않습니다.

sudo rabbitmqctl delete_user guest