CentOS 7에서 Kubernetes 시작하기

• ��본 개념
• 쿠 버네 티스 클러스터
• 설치
• Kubernetes 서버 테스트
• 예 : Kubernetes를 사용하여 셀레늄 그리드 배포
• 자가 치유
• 셀레늄 그리드 확장

Kubernetes 는 서버 클러스터 전체에서 컨테이너화 된 애플리케이션을 관리하기 위해 Google에서 개발 한 오픈 소스 플랫폼입니다. 그것은을 기반으로 구축 십 년간 구글이 규모의 컨테이너 클러스터를 실행하는 가지고 경험의 절반 과 같은 오픈 소스 프로젝트를, 가장의이 품종에 활용, 구글 스타일의 인프라와 개발자에게 제공합니다 :

• 도커 : 애플리케이션 컨테이너 기술.
• Etcd : 클러스터 전체 정보를 관리하고 서비스 검색을 제공하는 분산 키-값 데이터 저장소입니다.
• Flannel : 여러 서버에서 컨테이너 연결을 가능하게하는 오버레이 네트워크 패브릭.

Kubernetes를 사용하면 개발자 는 YAML 파일과 포드, RC 및 서비스와 같은 추상화 (나중에 자세히 설명)를 통해 애플리케이션 인프라를 선언적으로 정의 할 수 있으며 기본 클러스터가 항상 사용자 정의 상태와 일치 할 수 있습니다.

그 기능 중 일부는 다음과 같습니다.

• 시스템 리소스 자동 예약 및 클러스터 전체의 응용 프로그램 컨테이너 자동 배치
• 단일 명령으로 응용 프로그램을 즉시 확장
• 다운 타임없이 롤링 업데이트.
• 자체 치유 : 서버에 장애가 발생한 경우 응용 프로그램의 자동 일정 조정, 컨테이너 자동 재시작, 상태 확인.

이미 Kubernetes에 익숙한 경우 설치로 건너 뜁니다 .

기본 개념

Kubernetes는 개발자에게 다음과 같은 추상화 (논리 단위)를 제공합니다.

• 포드.
• 복제 컨트롤러.
• 라벨.
• 서비스.

깍지

Kubernetes 워크로드의 기본 단위입니다. 포드는 컨테이너화 된 환경에서 응용 프로그램 별 "논리 호스트"를 모델링합니다. 평신도 용어로, 사전 컨테이너 세계의 동일한 서버에서 실행되는 데 사용 된 응용 프로그램 또는 서비스 그룹을 모델링합니다. 포드 내부의 컨테이너는 동일한 네트워크 네임 스페이스를 공유하며 데이터 볼륨도 공유 할 수 있습니다.

복제 컨트롤러

포드는 여러 컨테이너를 논리적 응용 프로그램 단위로 그룹화하는 데 유용하지만 서버 장애시 복제 또는 일정 변경을 제공하지 않습니다.

복제 컨트롤러 또는 RC가 유용한 곳입니다. RC는 지정된 서비스의 여러 포드가 항상 클러스터에서 실행되도록합니다.

라벨

Kubernetes 리소스 (포드, RC, 서비스, 노드 등)에 연결할 수있는 키-값 메타 데이터입니다.

서비스

포드 및 복제 컨트롤러는 클러스터 전체에 응용 프로그램을 배포 및 배포하는 데 유용하지만 포드는 일정을 변경하거나 컨테이너를 다시 시작할 때 임시 IP가 변경됩니다.

Kubernetes 서비스는 복제 컨트롤러가 관리하는 포드 그룹에 안정적인 엔드 포인트 (호스트 서버에 고정 된 가상 IP + 포트 바인딩)를 제공합니다.

쿠 버네 티스 클러스터

가장 간단한 형태로 Kubernetes 클러스터는 두 가지 유형의 노드로 구성됩니다.

• 1 Kubernetes 마스터.
• N 쿠 버네 티스 노드.

쿠 버네 티스 마스터

Kubernetes 마스터는 전체 클러스터의 제어 단위입니다.

마스터의 주요 구성 요소는 다음과 같습니다.

• 기타 : 클러스터 및 클러스터에서 실행되는 서비스 및 응용 프로그램에 대한 정보를 저장하는 전 세계적으로 사용 가능한 데이터 저장소
• Kube API 서버 : Kubernetes 클러스터의 기본 관리 허브이며 RESTful 인터페이스를 제공합니다.
• 컨트롤러 관리자 : 복제 컨트롤러가 관리하는 응용 프로그램의 복제를 처리합니다.
• 스케줄러 : 클러스터 전체의 리소스 사용률을 추적하고 이에 따라 작업 부하를 할당합니다.

쿠 버네 티스 노드

Kubernetes 노드는 포드 실행을 담당하는 작업자 서버입니다.

노드의 주요 구성 요소는 다음과 같습니다.

• Docker : 포드에 정의 된 응용 프로그램 컨테이너를 실행하는 데몬입니다.
• Kubelet : 로컬 시스템의 포드를위한 제어 장치.
• Kube-proxy : Kubernetes 서비스에 대한 올바른 라우팅을 보장하는 네트워크 프록시.

설치

이 안내서에서는 CentOS 7 서버를 사용하여 3 노드 클러스터를 작성합니다.

• 1 Kubernetes 마스터 (kube-master)
• Kubernetes 노드 2 개 (kube-node1, kube-node2)

Kubernetes 노드에 대해 동일한 설치 절차에 따라 나중에 원하는만큼 추가 노드를 추가 할 수 있습니다.

모든 노드

호스트 이름을 구성하고 /etc/hosts:

# /etc/hostname
kube-master
# or kube-node1, kube-node2

# append to /etc/hosts
replace-with-master-server-ip kube-master
replace-with-node1-ip kube-node1
replace-with-node2-ip kube-node2

방화벽 해제 :

systemctl disable firewalld
systemctl stop firewalld

쿠 버네 티스 마스터

Kubernetes 마스터 패키지를 설치하십시오.

yum install etcd kubernetes-master

구성 :

# /etc/etcd/etcd.conf
# leave rest of the lines unchanged
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://localhost:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

# /etc/kubernetes/config
# leave rest of the lines unchanged
KUBE_MASTER="--master=http://kube-master:8080"

# /etc/kubernetes/apiserver
# leave rest of the lines unchanged
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_ETCD_SERVERS="--etcd_servers=http://kube-master:2379"

기타 시작 :

systemctl start etcd

Flannel 오버레이 네트워크 패브릭 설치 및 구성 (다른 서버에서 실행되는 컨테이너가 서로를 볼 수 있도록하기 위해 필요함) :

yum install flannel

Flannel 구성 파일 ( flannel-config.json)을 작성하십시오 .

{
  "Network": "10.20.0.0/16",
  "SubnetLen": 24,
  "Backend": {
    "Type": "vxlan",
    "VNI": 1
  }  
}

Etcd 서버에서 Flannel 구성을 설정하십시오.

etcdctl set coreos.com/network/config < flannel-config.json

Flannel을 Etcd 서버로 지정하십시오.

# /etc/sysconfig/flanneld
FLANNEL_ETCD="http://kube-master:2379"

부팅시 서비스가 시작되도록 활성화하십시오.

systemctl enable etcd
systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler
systemctl enable flanneld

서버를 재부팅하십시오.

쿠 버네 티스 노드

Kubernetes 노드 패키지를 설치하십시오 :

yum install docker kubernetes-node

다음 두 단계는 성능 향상을 위해 Docker가 overlayfs를 사용하도록 구성합니다. 자세한 내용은 이 블로그 게시물을 참조하십시오 .

현재 docker storage 디렉토리를 삭제하십시오.

systemctl stop docker
rm -rf /var/lib/docker

구성 파일을 변경하십시오.

# /etc/sysconfig/docker
# leave rest of lines unchanged
OPTIONS='--selinux-enabled=false'

# /etc/sysconfig/docker
# leave rest of lines unchanged
DOCKER_STORAGE_OPTIONS=-s overlay

이전에 구성된 마스터를 사용하도록 kube-node1을 구성하십시오.

# /etc/kubernetes/config
# leave rest of lines unchanged
KUBE_MASTER="--master=http://kube-master:8080"

# /etc/kubernetes/kubelet
# leave rest of the lines unchanged
KUBELET_ADDRESS="--address=0.0.0.0"
# comment this line, so that the actual hostname is used to register the node
# KUBELET_HOSTNAME="--hostname_override=127.0.0.1"
KUBELET_API_SERVER="--api_servers=http://kube-master:8080"

Flannel 오버레이 네트워크 패브릭 설치 및 구성 (다시-다른 서버에서 실행되는 컨테이너가 서로를 볼 수 있도록하기 위해 필요함) :

yum install flannel

Flannel을 Etcd 서버로 지정하십시오.

# /etc/sysconfig/flanneld
FLANNEL_ETCD="http://kube-master:2379"

서비스 활성화 :

systemctl enable docker
systemctl enable flanneld
systemctl enable kubelet
systemctl enable kube-proxy

서버를 재부팅하십시오.

Kubernetes 서버 테스트

모든 서버가 재부팅 된 후 Kubernetes 클러스터가 작동하는지 확인하십시오.

[root@kube-master ~]# kubectl get nodes
NAME         LABELS                              STATUS
kube-node1   kubernetes.io/hostname=kube-node1   Ready
kube-node2   kubernetes.io/hostname=kube-node2   Ready

예 : Kubernetes를 사용하여 셀레늄 그리드 배포

Selenium은 테스트 목적으로 브라우저를 자동화하기위한 프레임 워크입니다. 그것은 모든 웹 개발자의 무기고의 강력한 도구입니다.

Selenium 그리드를 사용하면 중앙 Selenium 허브에 연결된 Selenium 노드 클러스터에서 테스트를 확장 가능하고 병렬로 원격 실행할 수 있습니다.

Selenium 노드는 상태가없고 자체적으로 실행하는 노드의 양이 유연하기 때문에 테스트 워크로드에 따라 Kubernetes 클러스터에 배포 할 수있는 완벽한 후보 응용 프로그램입니다.

다음 섹션에서는 5 개의 애플리케이션 컨테이너로 구성된 그리드를 배포합니다.

• 테스트가 연결될 원격 엔드 포인트가 될 중앙 Selenium 허브 1 개.
• Firefox를 실행하는 2 개의 Selenium 노드.
• Chrome을 실행하는 2 개의 Selenium 노드

배포 전략

복제 및 자동 복구를 자동으로 관리하기 위해 위에 나열된 각 유형의 응용 프로그램 컨테이너에 대해 Kubernetes 복제 컨트롤러를 만듭니다.

테스트를 실행중인 개발자에게 안정적인 Selenium 허브 엔드 포인트를 제공하기 위해 허브 복제 컨트롤러에 연결된 Kubernetes 서비스를 만듭니다.

셀레늄 허브

복제 컨트롤러

# selenium-hub-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: selenium-hub
spec:
  replicas: 1
  selector:
    name: selenium-hub
  template:
    metadata:
      labels:
        name: selenium-hub
    spec:
      containers:
        - name: selenium-hub
          image: selenium/hub
          ports:
            - containerPort: 4444

전개:

[root@kube-master ~]# kubectl create -f selenium-hub-rc.yaml
replicationcontrollers/selenium-hub
[root@kube-master ~]# kubectl get rc
CONTROLLER     CONTAINER(S)   IMAGE(S)       SELECTOR            REPLICAS
selenium-hub   selenium-hub   selenium/hub   name=selenium-hub   1
[root@kube-master ~]# kubectl get pods
NAME                 READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8   1/1       Running   0          50s
[root@kube-master ~]# kubectl describe pod selenium-hub-pilc8
Name:               selenium-hub-pilc8
Namespace:          default
Image(s):           selenium/hub
Node:               kube-node2/45.63.16.92
Labels:             name=selenium-hub
Status:             Running
Reason:             
Message:            
IP:             10.20.101.2
Replication Controllers:    selenium-hub (1/1 replicas created)
Containers:
  selenium-hub:
    Image:      selenium/hub
    State:      Running
      Started:      Sat, 24 Oct 2015 16:01:39 +0000
    Ready:      True
    Restart Count:  0
Conditions:
  Type      Status
  Ready     True
Events:
  FirstSeen             LastSeen            Count   From            SubobjectPath               Reason      Message
  Sat, 24 Oct 2015 16:01:02 +0000   Sat, 24 Oct 2015 16:01:02 +0000 1   {scheduler }                            scheduled   Successfully assigned selenium-hub-pilc8 to kube-node2
  Sat, 24 Oct 2015 16:01:05 +0000   Sat, 24 Oct 2015 16:01:05 +0000 1   {kubelet kube-node2}    implicitly required container POD   pulled      Successfully pulled Pod container image "gcr.io/google_containers/pause:0.8.0"
  Sat, 24 Oct 2015 16:01:05 +0000   Sat, 24 Oct 2015 16:01:05 +0000 1   {kubelet kube-node2}    implicitly required container POD   created     Created with docker id 6de00106b19c
  Sat, 24 Oct 2015 16:01:05 +0000   Sat, 24 Oct 2015 16:01:05 +0000 1   {kubelet kube-node2}    implicitly required container POD   started     Started with docker id 6de00106b19c
  Sat, 24 Oct 2015 16:01:39 +0000   Sat, 24 Oct 2015 16:01:39 +0000 1   {kubelet kube-node2}    spec.containers     pulled      Successfully pulled image "selenium/hub"
  Sat, 24 Oct 2015 16:01:39 +0000   Sat, 24 Oct 2015 16:01:39 +0000 1   {kubelet kube-node2}    spec.containers     created     Created with docker id 7583cc09268c
  Sat, 24 Oct 2015 16:01:39 +0000   Sat, 24 Oct 2015 16:01:39 +0000 1   {kubelet kube-node2}    spec.containers     started     Started with docker id 7583cc09268c

Kubernetes가 내 셀레늄 허브 컨테이너를 kube-node2에 배치 한 것을 볼 수 있습니다.

서비스

# selenium-hub-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: selenium-hub
spec:
  type: NodePort
  ports:
  - port: 4444
    protocol: TCP
    nodePort: 30000
  selector:
    name: selenium-hub

전개:

[root@kube-master ~]# kubectl create -f selenium-hub-service.yaml
You have exposed your service on an external port on all nodes in your
cluster.  If you want to expose this service to the external internet, you may
need to set up firewall rules for the service port(s) (tcp:30000) to serve traffic.

See http://releases.k8s.io/HEAD/docs/user-guide/services-firewalls.md for more details.
services/selenium-hub
[root@kube-master ~]# kubectl get services
NAME           LABELS                                    SELECTOR            IP(S)           PORT(S)
kubernetes     component=apiserver,provider=kubernetes   <none>              10.254.0.1      443/TCP
selenium-hub   <none>                                    name=selenium-hub   10.254.124.73   4444/TCP

서비스를 배포 한 후 다음을 통해 서비스에 액세스 할 수 있습니다.

• 가상 IP 10.254.124.73 및 포트 4444를 통한 모든 Kubernetes 노드
• 포트 30000의 모든 Kubernetes 노드의 공용 IP를 통한 외부 네트워크

(다른 Kubernetes 노드의 퍼블릭 IP 사용)

셀레늄 노드

Firefox 노드 복제 컨트롤러 :

# selenium-node-firefox-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: selenium-node-firefox
spec:
  replicas: 2
  selector:
    name: selenium-node-firefox
  template:
    metadata:
      labels:
        name: selenium-node-firefox
    spec:
      containers:
        - name: selenium-node-firefox
          image: selenium/node-firefox
          ports:
            - containerPort: 5900
          env:
            - name: HUB_PORT_4444_TCP_ADDR
              value: "replace_with_service_ip"
            - name: HUB_PORT_4444_TCP_PORT
              value: "4444"

전개:

교체 replace_with_service_ip에서 selenium-node-firefox-rc.yaml이 경우 10.254.124.73에서, 실제 셀레늄 허브 서비스 IP로.

[root@kube-master ~]# kubectl create -f selenium-node-firefox-rc.yaml
replicationcontrollers/selenium-node-firefox

[root@kube-master ~]# kubectl get rc
CONTROLLER              CONTAINER(S)            IMAGE(S)                SELECTOR                     REPLICAS
selenium-hub            selenium-hub            selenium/hub            name=selenium-hub            1
selenium-node-firefox   selenium-node-firefox   selenium/node-firefox   name=selenium-node-firefox   2

[root@kube-master ~]# kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8            1/1       Running   1          1h
selenium-node-firefox-lc6qt   1/1       Running   0          2m
selenium-node-firefox-y9qjp   1/1       Running   0          2m

[root@kube-master ~]# kubectl describe pod selenium-node-firefox-lc6qt
Name:               selenium-node-firefox-lc6qt
Namespace:          default
Image(s):           selenium/node-firefox
Node:               kube-node2/45.63.16.92
Labels:             name=selenium-node-firefox
Status:             Running
Reason:             
Message:            
IP:             10.20.101.3
Replication Controllers:    selenium-node-firefox (2/2 replicas created)
Containers:
  selenium-node-firefox:
    Image:      selenium/node-firefox
    State:      Running
      Started:      Sat, 24 Oct 2015 17:08:37 +0000
    Ready:      True
    Restart Count:  0
Conditions:
  Type      Status
  Ready     True
Events:
  FirstSeen             LastSeen            Count   From            SubobjectPath               Reason      Message
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {scheduler }                            scheduled   Successfully assigned selenium-node-firefox-lc6qt to kube-node2
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node2}    implicitly required container POD   pulled      Pod container image "gcr.io/google_containers/pause:0.8.0" already present on machine
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node2}    implicitly required container POD   created     Created with docker id cdcb027c6548
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node2}    implicitly required container POD   started     Started with docker id cdcb027c6548
  Sat, 24 Oct 2015 17:08:36 +0000   Sat, 24 Oct 2015 17:08:36 +0000 1   {kubelet kube-node2}    spec.containers pulled      Successfully pulled image "selenium/node-firefox"
  Sat, 24 Oct 2015 17:08:36 +0000   Sat, 24 Oct 2015 17:08:36 +0000 1   {kubelet kube-node2}    spec.containers created     Created with docker id 8931b7f7a818
  Sat, 24 Oct 2015 17:08:37 +0000   Sat, 24 Oct 2015 17:08:37 +0000 1   {kubelet kube-node2}    spec.containers started     Started with docker id 8931b7f7a818

[root@kube-master ~]# kubectl describe pod selenium-node-firefox-y9qjp
Name:               selenium-node-firefox-y9qjp
Namespace:          default
Image(s):           selenium/node-firefox
Node:               kube-node1/185.92.221.67
Labels:             name=selenium-node-firefox
Status:             Running
Reason:             
Message:            
IP:             10.20.92.3
Replication Controllers:    selenium-node-firefox (2/2 replicas created)
Containers:
  selenium-node-firefox:
    Image:      selenium/node-firefox
    State:      Running
      Started:      Sat, 24 Oct 2015 17:08:13 +0000
    Ready:      True
    Restart Count:  0
Conditions:
  Type      Status
  Ready     True
Events:
  FirstSeen             LastSeen            Count   From            SubobjectPath               Reason      Message
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {scheduler }                            scheduled   Successfully assigned selenium-node-firefox-y9qjp to kube-node1
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    implicitly required container POD   pulled      Pod container image "gcr.io/google_containers/pause:0.8.0" already present on machine
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    implicitly required container POD   created     Created with docker id ea272dd36bd5
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    implicitly required container POD   started     Started with docker id ea272dd36bd5
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    spec.containers created     Created with docker id 6edbd6b9861d
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    spec.containers started     Started with docker id 6edbd6b9861d

보시다시피 Kubernetes는 2 개의 복제본을 생성 selenium-firefox-node하여 클러스터에 분산 시켰습니다. 포드 selenium-node-firefox-lc6qt는 kube-node2에 있고 포드 selenium-node-firefox-y9qjp는 kube-node1에 있습니다.

우리는 Selenium Chrome 노드에 대해 동일한 프로세스를 반복합니다.

크롬 노드 복제 컨트롤러 :

# selenium-node-chrome-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: selenium-node-chrome
  labels:
    app: selenium-node-chrome
spec:
  replicas: 2
  selector:
    app: selenium-node-chrome
  template:
    metadata:
      labels:
        app: selenium-node-chrome
    spec:
      containers:
      - name: selenium-node-chrome
        image: selenium/node-chrome
        ports:
          - containerPort: 5900
        env:
          - name: HUB_PORT_4444_TCP_ADDR
            value: "replace_with_service_ip"
          - name: HUB_PORT_4444_TCP_PORT
            value: "4444"

전개:

[root@kube-master ~]# kubectl create -f selenium-node-chrome-rc.yaml
replicationcontrollers/selenium-node-chrome
[root@kube-master ~]# kubectl get rc
CONTROLLER              CONTAINER(S)            IMAGE(S)                SELECTOR                     REPLICAS
selenium-hub            selenium-hub            selenium/hub            name=selenium-hub            1
selenium-node-chrome    selenium-node-chrome    selenium/node-chrome    app=selenium-node-chrome     2
selenium-node-firefox   selenium-node-firefox   selenium/node-firefox   name=selenium-node-firefox   2
[root@kube-master ~]# kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8            1/1       Running   1          1h
selenium-node-chrome-9u1ld    1/1       Running   0          1m
selenium-node-chrome-mgi52    1/1       Running   0          1m
selenium-node-firefox-lc6qt   1/1       Running   0          11m
selenium-node-firefox-y9qjp   1/1       Running   0          11m

마무리

이 가이드에서는 3 대의 서버 (1 개의 마스터 컨트롤러 + 2 명의 작업자)로 구성된 작은 Kubernetes 클러스터를 설정했습니다.

포드, RC 및 서비스를 사용하여 중앙 허브와 4 개의 노드로 구성된 Selenium Grid를 성공적으로 배포하여 개발자가 클러스터에서 한 번에 4 개의 동시 Selenium 테스트를 실행할 수 있습니다.

Kubernetes는 전체 클러스터에서 컨테이너를 자동으로 예약했습니다.

자가 치유

Kubernetes는 하나 이상의 서버가 다운되면 자동으로 포드를 정상 서버로 다시 예약합니다. 내 예에서 kube-node2는 현재 Selenium 허브 포드와 1 Selenium Firefox 노드 포드를 실행 중입니다.

[root@kube-node2 ~]# docker ps
CONTAINER ID        IMAGE                                  COMMAND                CREATED             STATUS              PORTS               NAMES
5617399f146c        selenium/node-firefox                  "/opt/bin/entry_poin   5 minutes ago       Up 5 minutes                            k8s_selenium-node-firefox.46e635d8_selenium-node-firefox-zmj1r_default_31c89517-7a75-11e5-8648-5600001611e0_baae8e00   
185230a3b431        gcr.io/google_containers/pause:0.8.0   "/pause"               5 minutes ago       Up 5 minutes                            k8s_POD.3805e8b7_selenium-node-firefox-zmj1r_default_31c89517-7a75-11e5-8648-5600001611e0_40f809df                     
fdd5834c249d        selenium/hub                           "/opt/bin/entry_poin   About an hour ago   Up About an hour                        k8s_selenium-hub.cb8bf0ed_selenium-hub-pilc8_default_6c98c1ff-7a68-11e5-8648-5600001611e0_5765e2c9                     
00e4ccb0bda8        gcr.io/google_containers/pause:0.8.0   "/pause"               About an hour ago   Up About an hour                        k8s_POD.3b3ee8b9_selenium-hub-pilc8_default_6c98c1ff-7a68-11e5-8648-5600001611e0_8398ac33  

kube-node2를 종료하여 서버 오류를 시뮬레이션합니다. 몇 분 후 kube-node2에서 실행중인 컨테이너가 kube-node1로 다시 스케줄되어 서비스 중단을 최소화 한 것을 확인할 수 있습니다.

[root@kube-node1 ~]# docker ps
CONTAINER ID        IMAGE                                  COMMAND                CREATED             STATUS              PORTS               NAMES
5bad5f582698        selenium/hub                           "/opt/bin/entry_poin   19 minutes ago      Up 19 minutes                           k8s_selenium-hub.cb8bf0ed_selenium-hub-hycf2_default_fe9057cf-7a76-11e5-8648-5600001611e0_ccaad50a                     
dd1565a94919        selenium/node-firefox                  "/opt/bin/entry_poin   20 minutes ago      Up 20 minutes                           k8s_selenium-node-firefox.46e635d8_selenium-node-firefox-g28z5_default_fe932673-7a76-11e5-8648-5600001611e0_fc79f977   
2be1a316aa47        gcr.io/google_containers/pause:0.8.0   "/pause"               20 minutes ago      Up 20 minutes                           k8s_POD.3805e8b7_selenium-node-firefox-g28z5_default_fe932673-7a76-11e5-8648-5600001611e0_dc204ad2                     
da75a0242a9e        gcr.io/google_containers/pause:0.8.0   "/pause"               20 minutes ago      Up 20 minutes                           k8s_POD.3b3ee8b9_selenium-hub-hycf2_default_fe9057cf-7a76-11e5-8648-5600001611e0_1b10c0e7                              
c611b68330de        selenium/node-firefox                  "/opt/bin/entry_poin   33 minutes ago      Up 33 minutes                           k8s_selenium-node-firefox.46e635d8_selenium-node-firefox-8ylo2_default_31c8a8f3-7a75-11e5-8648-5600001611e0_922af821   
828031da6b3c        gcr.io/google_containers/pause:0.8.0   "/pause"               33 minutes ago      Up 33 minutes                           k8s_POD.3805e8b7_selenium-node-firefox-8ylo2_default_31c8a8f3-7a75-11e5-8648-5600001611e0_289cd555                     
caf4e725512e        selenium/node-chrome                   "/opt/bin/entry_poin   46 minutes ago      Up 46 minutes                           k8s_selenium-node-chrome.362a34ee_selenium-node-chrome-mgi52_default_392a2647-7a73-11e5-8648-5600001611e0_3c6e855a     
409a20770787        selenium/node-chrome                   "/opt/bin/entry_poin   46 minutes ago      Up 46 minutes                           k8s_selenium-node-chrome.362a34ee_selenium-node-chrome-9u1ld_default_392a15a4-7a73-11e5-8648-5600001611e0_ac3f0191     
7e2d942422a5        gcr.io/google_containers/pause:0.8.0   "/pause"               47 minutes ago      Up 47 minutes                           k8s_POD.3805e8b7_selenium-node-chrome-9u1ld_default_392a15a4-7a73-11e5-8648-5600001611e0_f5858b73                      
a3a65ea99a99        gcr.io/google_containers/pause:0.8.0   "/pause"               47 minutes ago      Up 47 minutes                           k8s_POD.3805e8b7_selenium-node-chrome-mgi52_default_392a2647-7a73-11e5-8648-5600001611e0_20a70ab6

셀레늄 그리드 확장

Kubernetes를 사용하면 Selenium Grid를 쉽게 확장 할 수 있습니다. Firefox 노드 2 개 대신 4를 실행한다고 가정합니다. 단일 명령으로 업 스케일링을 수행 할 수 있습니다.

[root@kube-master ~]# kubectl scale rc selenium-node-firefox --replicas=4
scaled

[root@kube-master ~]# kubectl get rc
CONTROLLER              CONTAINER(S)            IMAGE(S)                SELECTOR                     REPLICAS
selenium-hub            selenium-hub            selenium/hub            name=selenium-hub            1
selenium-node-chrome    selenium-node-chrome    selenium/node-chrome    app=selenium-node-chrome     2
selenium-node-firefox   selenium-node-firefox   selenium/node-firefox   name=selenium-node-firefox   4

[root@kube-master ~]# kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8            1/1       Running   1          1h
selenium-node-chrome-9u1ld    1/1       Running   0          14m
selenium-node-chrome-mgi52    1/1       Running   0          14m
selenium-node-firefox-8ylo2   1/1       Running   0          40s
selenium-node-firefox-lc6qt   1/1       Running   0          24m
selenium-node-firefox-y9qjp   1/1       Running   0          24m
selenium-node-firefox-zmj1r   1/1       Running   0          40s