Начало работы с Kubernetes в CentOS 7

• Основные понятия
• Кубернетский кластер
• Монтаж
• Проверьте свой сервер Kubernetes
• Пример: развертывание сетки Selenium с использованием Kubernetes
• Самозаживление
• Масштабирование вашей Selenium Grid

Kubernetes - это платформа с открытым исходным кодом, разработанная Google для управления контейнерными приложениями на кластере серверов. Он основан на полутора десятилетии опыта работы Google в области масштабирования кластеров контейнеров и предоставляет разработчикам инфраструктуру в стиле Google, используя лучшие в своем классе проекты с открытым исходным кодом, такие как:

• Docker : технология контейнеров приложений.
• Etcd : распределенное хранилище данных со значением ключа, которое управляет информацией по всему кластеру и обеспечивает обнаружение служб.
• Фланель : наложенная сетевая структура, обеспечивающая возможность подключения контейнеров между несколькими серверами.

Kubernetes позволяет разработчикам декларативно определять инфраструктуру своих приложений с помощью файлов и абстракций YAML, таких как Pod, RC и Services (подробнее об этом позже), и гарантирует, что базовый кластер всегда соответствует определенному пользователем состоянию.

Некоторые из его особенностей включают в себя:

• Автоматическое планирование системных ресурсов и автоматическое размещение контейнеров приложений в кластере.
• Масштабирование приложений на лету с помощью одной команды.
• Роллинг обновлений с нулевым временем простоя.
• Самовосстановление: автоматическое перепланирование приложения при сбое сервера, автоматический перезапуск контейнеров, проверка работоспособности.

Перейдите к установке, если вы уже знакомы с Kubernetes.

Основные понятия

Kubernetes предлагает разработчикам следующие абстракции (логические единицы):

• Бобы.
• Контроллеры репликации.
• Этикетки.
• Сервисы.

Бобы

Это основная единица рабочих нагрузок Kubernetes. Модуль моделирует специфический для приложения «логический хост» в контейнере. С точки зрения непрофессионала, он моделирует группу приложений или сервисов, которые раньше работали на одном сервере в мире, предшествующем контейнеру. Контейнеры внутри модуля совместно используют одно и то же пространство имен сети и могут также совместно использовать объемы данных.

Контроллеры репликации

Модули отлично подходят для группировки нескольких контейнеров в логические модули приложения, но они не предлагают репликацию или перепланирование в случае сбоя сервера.

Здесь пригодится контроллер репликации или RC. RC гарантирует, что в кластере всегда работает несколько модулей данного сервиса.

Этикетки

Это метаданные значения ключа, которые могут быть присоединены к любому ресурсу Kubernetes (модули, RC, службы, узлы, ...).

Сервисы

Контроллеры и контроллеры репликации отлично подходят для развертывания и распределения приложений по кластеру, но блоки имеют эфемерные IP-адреса, которые меняются при перепланировании или перезапуске контейнера.

Служба Kubernetes обеспечивает стабильную конечную точку (фиксированное связывание виртуального IP + порта с хост-серверами) для группы модулей, управляемых контроллером репликации.

Кубернетский кластер

В своей простейшей форме кластер Kubernetes состоит из двух типов узлов:

• 1 Кубернетес мастер.
• N узлов Kubernetes.

Мастер Кубернетес

Мастер Kubernetes является блоком управления всего кластера.

Основными составляющими мастера являются:

• Etcd: глобально доступное хранилище данных, в котором хранится информация о кластере, а также об услугах и приложениях, работающих в кластере.
• Сервер API Kube: это главный центр управления кластера Kubernetes, который предоставляет интерфейс RESTful.
• Диспетчер контроллеров: обрабатывает репликацию приложений, управляемых контроллерами репликации.
• Планировщик: отслеживает использование ресурсов в кластере и соответственно распределяет рабочие нагрузки.

Kubernetes узел

Узел Kubernetes - это рабочие серверы, которые отвечают за запуск модулей.

Основными компонентами узла являются:

• Docker: демон, который запускает контейнеры приложений, определенные в модулях.
• Kubelet: блок управления для стручков в локальной системе.
• Kube-proxy: сетевой прокси, который обеспечивает правильную маршрутизацию для сервисов Kubernetes.

Монтаж

В этом руководстве мы создадим кластер из 3 узлов, используя серверы CentOS 7:

• 1 Кубернетес мастер (кубе-мастер)
• 2 узла Kubernetes (куб-узел1, куб-узел2)

Позже вы можете добавить столько дополнительных узлов, сколько захотите, следуя той же процедуре установки для узлов Kubernetes.

Все узлы

Настройте имена хостов и /etc/hosts:

# /etc/hostname
kube-master
# or kube-node1, kube-node2

# append to /etc/hosts
replace-with-master-server-ip kube-master
replace-with-node1-ip kube-node1
replace-with-node2-ip kube-node2

Отключить firewalld:

systemctl disable firewalld
systemctl stop firewalld

Мастер Кубернетес

Установите мастер-пакеты Kubernetes:

yum install etcd kubernetes-master

Конфигурация:

# /etc/etcd/etcd.conf
# leave rest of the lines unchanged
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://localhost:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

# /etc/kubernetes/config
# leave rest of the lines unchanged
KUBE_MASTER="--master=http://kube-master:8080"

# /etc/kubernetes/apiserver
# leave rest of the lines unchanged
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_ETCD_SERVERS="--etcd_servers=http://kube-master:2379"

Запустите Etcd:

systemctl start etcd

Установите и настройте матрицу Flannel Overlay (это необходимо для того, чтобы контейнеры, работающие на разных серверах, могли видеть друг друга):

yum install flannel

Создайте файл конфигурации Flannel ( flannel-config.json):

{
  "Network": "10.20.0.0/16",
  "SubnetLen": 24,
  "Backend": {
    "Type": "vxlan",
    "VNI": 1
  }  
}

Установите конфигурацию Flannel на сервере Etcd:

etcdctl set coreos.com/network/config < flannel-config.json

Укажите Фланель на сервер Etcd:

# /etc/sysconfig/flanneld
FLANNEL_ETCD="http://kube-master:2379"

Включите службы, чтобы они запускались при загрузке:

systemctl enable etcd
systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler
systemctl enable flanneld

Перезагрузите сервер.

Kubernetes узел

Установите пакеты узлов Kubernetes:

yum install docker kubernetes-node

Следующие два шага настроят Docker для использования оверлеев для повышения производительности. Для получения дополнительной информации посетите этот пост в блоге :

Удалить текущий каталог хранилища докера:

systemctl stop docker
rm -rf /var/lib/docker

Изменить файлы конфигурации:

# /etc/sysconfig/docker
# leave rest of lines unchanged
OPTIONS='--selinux-enabled=false'

# /etc/sysconfig/docker
# leave rest of lines unchanged
DOCKER_STORAGE_OPTIONS=-s overlay

Сконфигурируйте kube-node1 для использования нашего ранее настроенного мастера:

# /etc/kubernetes/config
# leave rest of lines unchanged
KUBE_MASTER="--master=http://kube-master:8080"

# /etc/kubernetes/kubelet
# leave rest of the lines unchanged
KUBELET_ADDRESS="--address=0.0.0.0"
# comment this line, so that the actual hostname is used to register the node
# KUBELET_HOSTNAME="--hostname_override=127.0.0.1"
KUBELET_API_SERVER="--api_servers=http://kube-master:8080"

Установите и настройте Flannel overlay network fabric (опять же - это необходимо, чтобы контейнеры, работающие на разных серверах, могли видеть друг друга):

yum install flannel

Укажите Фланель на сервер Etcd:

# /etc/sysconfig/flanneld
FLANNEL_ETCD="http://kube-master:2379"

Включить сервисы:

systemctl enable docker
systemctl enable flanneld
systemctl enable kubelet
systemctl enable kube-proxy

Перезагрузите сервер.

Проверьте свой сервер Kubernetes

После перезагрузки всех серверов проверьте, работает ли ваш кластер Kubernetes:

[root@kube-master ~]# kubectl get nodes
NAME         LABELS                              STATUS
kube-node1   kubernetes.io/hostname=kube-node1   Ready
kube-node2   kubernetes.io/hostname=kube-node2   Ready

Пример: развертывание сетки Selenium с использованием Kubernetes

Selenium - это фреймворк для автоматизации браузеров в целях тестирования. Это мощный инструмент из арсенала любого веб-разработчика.

Selenium Grid обеспечивает масштабируемое и параллельное удаленное выполнение тестов в кластере узлов Selenium, которые подключены к центральному хабу Selenium.

Поскольку узлы Selenium сами по себе не имеют состояния и количество используемых нами узлов является гибким, в зависимости от наших рабочих нагрузок тестирования, это идеальное приложение-кандидат для развертывания в кластере Kubernetes.

В следующем разделе мы развернем сетку, состоящую из 5 контейнеров приложений:

• 1 центральный концентратор Selenium, который будет удаленной конечной точкой, к которой будут подключаться наши тесты.
• 2 узла Selenium под управлением Firefox.
• 2 узла Selenium под управлением Chrome.

Стратегия развертывания

Чтобы автоматически управлять репликацией и самовосстановлением, мы создадим контроллер репликации Kubernetes для каждого типа контейнера приложений, который мы перечислили выше.

Чтобы предоставить разработчикам, выполняющим тесты, стабильную конечную точку концентратора Selenium, мы создадим службу Kubernetes, подключенную к контроллеру репликации концентратора.

Селеновый хаб

Контроллер репликации

# selenium-hub-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: selenium-hub
spec:
  replicas: 1
  selector:
    name: selenium-hub
  template:
    metadata:
      labels:
        name: selenium-hub
    spec:
      containers:
        - name: selenium-hub
          image: selenium/hub
          ports:
            - containerPort: 4444

Развертывание:

[root@kube-master ~]# kubectl create -f selenium-hub-rc.yaml
replicationcontrollers/selenium-hub
[root@kube-master ~]# kubectl get rc
CONTROLLER     CONTAINER(S)   IMAGE(S)       SELECTOR            REPLICAS
selenium-hub   selenium-hub   selenium/hub   name=selenium-hub   1
[root@kube-master ~]# kubectl get pods
NAME                 READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8   1/1       Running   0          50s
[root@kube-master ~]# kubectl describe pod selenium-hub-pilc8
Name:               selenium-hub-pilc8
Namespace:          default
Image(s):           selenium/hub
Node:               kube-node2/45.63.16.92
Labels:             name=selenium-hub
Status:             Running
Reason:             
Message:            
IP:             10.20.101.2
Replication Controllers:    selenium-hub (1/1 replicas created)
Containers:
  selenium-hub:
    Image:      selenium/hub
    State:      Running
      Started:      Sat, 24 Oct 2015 16:01:39 +0000
    Ready:      True
    Restart Count:  0
Conditions:
  Type      Status
  Ready     True
Events:
  FirstSeen             LastSeen            Count   From            SubobjectPath               Reason      Message
  Sat, 24 Oct 2015 16:01:02 +0000   Sat, 24 Oct 2015 16:01:02 +0000 1   {scheduler }                            scheduled   Successfully assigned selenium-hub-pilc8 to kube-node2
  Sat, 24 Oct 2015 16:01:05 +0000   Sat, 24 Oct 2015 16:01:05 +0000 1   {kubelet kube-node2}    implicitly required container POD   pulled      Successfully pulled Pod container image "gcr.io/google_containers/pause:0.8.0"
  Sat, 24 Oct 2015 16:01:05 +0000   Sat, 24 Oct 2015 16:01:05 +0000 1   {kubelet kube-node2}    implicitly required container POD   created     Created with docker id 6de00106b19c
  Sat, 24 Oct 2015 16:01:05 +0000   Sat, 24 Oct 2015 16:01:05 +0000 1   {kubelet kube-node2}    implicitly required container POD   started     Started with docker id 6de00106b19c
  Sat, 24 Oct 2015 16:01:39 +0000   Sat, 24 Oct 2015 16:01:39 +0000 1   {kubelet kube-node2}    spec.containers     pulled      Successfully pulled image "selenium/hub"
  Sat, 24 Oct 2015 16:01:39 +0000   Sat, 24 Oct 2015 16:01:39 +0000 1   {kubelet kube-node2}    spec.containers     created     Created with docker id 7583cc09268c
  Sat, 24 Oct 2015 16:01:39 +0000   Sat, 24 Oct 2015 16:01:39 +0000 1   {kubelet kube-node2}    spec.containers     started     Started with docker id 7583cc09268c

Здесь мы видим, что Kubernetes поместил мой контейнер с селеновым концентратором на kube-node2.

обслуживание

# selenium-hub-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: selenium-hub
spec:
  type: NodePort
  ports:
  - port: 4444
    protocol: TCP
    nodePort: 30000
  selector:
    name: selenium-hub

Развертывание:

[root@kube-master ~]# kubectl create -f selenium-hub-service.yaml
You have exposed your service on an external port on all nodes in your
cluster.  If you want to expose this service to the external internet, you may
need to set up firewall rules for the service port(s) (tcp:30000) to serve traffic.

See http://releases.k8s.io/HEAD/docs/user-guide/services-firewalls.md for more details.
services/selenium-hub
[root@kube-master ~]# kubectl get services
NAME           LABELS                                    SELECTOR            IP(S)           PORT(S)
kubernetes     component=apiserver,provider=kubernetes   <none>              10.254.0.1      443/TCP
selenium-hub   <none>                                    name=selenium-hub   10.254.124.73   4444/TCP

После развертывания службы она будет доступна из:

• Любой узел Kubernetes, через виртуальный IP 10.254.124.73 и порт 4444.
• Внешние сети, через публичные IP-адреса любых узлов Kubernetes, через порт 30000.

(используя публичный IP другого узла Kubernetes)

Селеновые узлы

Контроллер репликации узла Firefox:

# selenium-node-firefox-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: selenium-node-firefox
spec:
  replicas: 2
  selector:
    name: selenium-node-firefox
  template:
    metadata:
      labels:
        name: selenium-node-firefox
    spec:
      containers:
        - name: selenium-node-firefox
          image: selenium/node-firefox
          ports:
            - containerPort: 5900
          env:
            - name: HUB_PORT_4444_TCP_ADDR
              value: "replace_with_service_ip"
            - name: HUB_PORT_4444_TCP_PORT
              value: "4444"

Развертывание:

Заменить replace_with_service_ipв selenium-node-firefox-rc.yamlс реальными IP - услугами Селена хаба, в этом случае 10.254.124.73.

[root@kube-master ~]# kubectl create -f selenium-node-firefox-rc.yaml
replicationcontrollers/selenium-node-firefox

[root@kube-master ~]# kubectl get rc
CONTROLLER              CONTAINER(S)            IMAGE(S)                SELECTOR                     REPLICAS
selenium-hub            selenium-hub            selenium/hub            name=selenium-hub            1
selenium-node-firefox   selenium-node-firefox   selenium/node-firefox   name=selenium-node-firefox   2

[root@kube-master ~]# kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8            1/1       Running   1          1h
selenium-node-firefox-lc6qt   1/1       Running   0          2m
selenium-node-firefox-y9qjp   1/1       Running   0          2m

[root@kube-master ~]# kubectl describe pod selenium-node-firefox-lc6qt
Name:               selenium-node-firefox-lc6qt
Namespace:          default
Image(s):           selenium/node-firefox
Node:               kube-node2/45.63.16.92
Labels:             name=selenium-node-firefox
Status:             Running
Reason:             
Message:            
IP:             10.20.101.3
Replication Controllers:    selenium-node-firefox (2/2 replicas created)
Containers:
  selenium-node-firefox:
    Image:      selenium/node-firefox
    State:      Running
      Started:      Sat, 24 Oct 2015 17:08:37 +0000
    Ready:      True
    Restart Count:  0
Conditions:
  Type      Status
  Ready     True
Events:
  FirstSeen             LastSeen            Count   From            SubobjectPath               Reason      Message
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {scheduler }                            scheduled   Successfully assigned selenium-node-firefox-lc6qt to kube-node2
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node2}    implicitly required container POD   pulled      Pod container image "gcr.io/google_containers/pause:0.8.0" already present on machine
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node2}    implicitly required container POD   created     Created with docker id cdcb027c6548
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node2}    implicitly required container POD   started     Started with docker id cdcb027c6548
  Sat, 24 Oct 2015 17:08:36 +0000   Sat, 24 Oct 2015 17:08:36 +0000 1   {kubelet kube-node2}    spec.containers pulled      Successfully pulled image "selenium/node-firefox"
  Sat, 24 Oct 2015 17:08:36 +0000   Sat, 24 Oct 2015 17:08:36 +0000 1   {kubelet kube-node2}    spec.containers created     Created with docker id 8931b7f7a818
  Sat, 24 Oct 2015 17:08:37 +0000   Sat, 24 Oct 2015 17:08:37 +0000 1   {kubelet kube-node2}    spec.containers started     Started with docker id 8931b7f7a818

[root@kube-master ~]# kubectl describe pod selenium-node-firefox-y9qjp
Name:               selenium-node-firefox-y9qjp
Namespace:          default
Image(s):           selenium/node-firefox
Node:               kube-node1/185.92.221.67
Labels:             name=selenium-node-firefox
Status:             Running
Reason:             
Message:            
IP:             10.20.92.3
Replication Controllers:    selenium-node-firefox (2/2 replicas created)
Containers:
  selenium-node-firefox:
    Image:      selenium/node-firefox
    State:      Running
      Started:      Sat, 24 Oct 2015 17:08:13 +0000
    Ready:      True
    Restart Count:  0
Conditions:
  Type      Status
  Ready     True
Events:
  FirstSeen             LastSeen            Count   From            SubobjectPath               Reason      Message
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {scheduler }                            scheduled   Successfully assigned selenium-node-firefox-y9qjp to kube-node1
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    implicitly required container POD   pulled      Pod container image "gcr.io/google_containers/pause:0.8.0" already present on machine
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    implicitly required container POD   created     Created with docker id ea272dd36bd5
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    implicitly required container POD   started     Started with docker id ea272dd36bd5
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    spec.containers created     Created with docker id 6edbd6b9861d
  Sat, 24 Oct 2015 17:08:13 +0000   Sat, 24 Oct 2015 17:08:13 +0000 1   {kubelet kube-node1}    spec.containers started     Started with docker id 6edbd6b9861d

Как мы видим, Kubernetes создал 2 копии selenium-firefox-nodeи распространил их по кластеру. Pod selenium-node-firefox-lc6qtнаходится на kube-node2, а pod selenium-node-firefox-y9qjpна kube-node1.

Мы повторяем тот же процесс для наших узлов Selenium Chrome.

Контроллер репликации узла Chrome:

# selenium-node-chrome-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: selenium-node-chrome
  labels:
    app: selenium-node-chrome
spec:
  replicas: 2
  selector:
    app: selenium-node-chrome
  template:
    metadata:
      labels:
        app: selenium-node-chrome
    spec:
      containers:
      - name: selenium-node-chrome
        image: selenium/node-chrome
        ports:
          - containerPort: 5900
        env:
          - name: HUB_PORT_4444_TCP_ADDR
            value: "replace_with_service_ip"
          - name: HUB_PORT_4444_TCP_PORT
            value: "4444"

Развертывание:

[root@kube-master ~]# kubectl create -f selenium-node-chrome-rc.yaml
replicationcontrollers/selenium-node-chrome
[root@kube-master ~]# kubectl get rc
CONTROLLER              CONTAINER(S)            IMAGE(S)                SELECTOR                     REPLICAS
selenium-hub            selenium-hub            selenium/hub            name=selenium-hub            1
selenium-node-chrome    selenium-node-chrome    selenium/node-chrome    app=selenium-node-chrome     2
selenium-node-firefox   selenium-node-firefox   selenium/node-firefox   name=selenium-node-firefox   2
[root@kube-master ~]# kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8            1/1       Running   1          1h
selenium-node-chrome-9u1ld    1/1       Running   0          1m
selenium-node-chrome-mgi52    1/1       Running   0          1m
selenium-node-firefox-lc6qt   1/1       Running   0          11m
selenium-node-firefox-y9qjp   1/1       Running   0          11m

Завершение

В этом руководстве мы настроили небольшой кластер Kubernetes из 3 серверов (1 главный контроллер + 2 рабочих).

Используя модули pod, RC и сервис, мы успешно развернули Selenium Grid, состоящий из центрального концентратора и 4 узлов, что позволяет разработчикам одновременно выполнять 4 одновременных теста Selenium в кластере.

Kubernetes автоматически запланировал контейнеры по всему кластеру.

Самозаживление

Kubernetes автоматически перепланирует пакеты на работоспособные серверы, если один или несколько наших серверов выйдут из строя. В моем примере kube-node2 в настоящее время работает с модулем Selenium Hub и 1 модулем Selenium Firefox.

[root@kube-node2 ~]# docker ps
CONTAINER ID        IMAGE                                  COMMAND                CREATED             STATUS              PORTS               NAMES
5617399f146c        selenium/node-firefox                  "/opt/bin/entry_poin   5 minutes ago       Up 5 minutes                            k8s_selenium-node-firefox.46e635d8_selenium-node-firefox-zmj1r_default_31c89517-7a75-11e5-8648-5600001611e0_baae8e00   
185230a3b431        gcr.io/google_containers/pause:0.8.0   "/pause"               5 minutes ago       Up 5 minutes                            k8s_POD.3805e8b7_selenium-node-firefox-zmj1r_default_31c89517-7a75-11e5-8648-5600001611e0_40f809df                     
fdd5834c249d        selenium/hub                           "/opt/bin/entry_poin   About an hour ago   Up About an hour                        k8s_selenium-hub.cb8bf0ed_selenium-hub-pilc8_default_6c98c1ff-7a68-11e5-8648-5600001611e0_5765e2c9                     
00e4ccb0bda8        gcr.io/google_containers/pause:0.8.0   "/pause"               About an hour ago   Up About an hour                        k8s_POD.3b3ee8b9_selenium-hub-pilc8_default_6c98c1ff-7a68-11e5-8648-5600001611e0_8398ac33  

Мы будем симулировать сбой сервера, выключив kube-node2. Через пару минут вы должны увидеть, что контейнеры, которые работали на kube-node2, были перенесены на kube-node1, что обеспечило минимальное нарушение обслуживания.

[root@kube-node1 ~]# docker ps
CONTAINER ID        IMAGE                                  COMMAND                CREATED             STATUS              PORTS               NAMES
5bad5f582698        selenium/hub                           "/opt/bin/entry_poin   19 minutes ago      Up 19 minutes                           k8s_selenium-hub.cb8bf0ed_selenium-hub-hycf2_default_fe9057cf-7a76-11e5-8648-5600001611e0_ccaad50a                     
dd1565a94919        selenium/node-firefox                  "/opt/bin/entry_poin   20 minutes ago      Up 20 minutes                           k8s_selenium-node-firefox.46e635d8_selenium-node-firefox-g28z5_default_fe932673-7a76-11e5-8648-5600001611e0_fc79f977   
2be1a316aa47        gcr.io/google_containers/pause:0.8.0   "/pause"               20 minutes ago      Up 20 minutes                           k8s_POD.3805e8b7_selenium-node-firefox-g28z5_default_fe932673-7a76-11e5-8648-5600001611e0_dc204ad2                     
da75a0242a9e        gcr.io/google_containers/pause:0.8.0   "/pause"               20 minutes ago      Up 20 minutes                           k8s_POD.3b3ee8b9_selenium-hub-hycf2_default_fe9057cf-7a76-11e5-8648-5600001611e0_1b10c0e7                              
c611b68330de        selenium/node-firefox                  "/opt/bin/entry_poin   33 minutes ago      Up 33 minutes                           k8s_selenium-node-firefox.46e635d8_selenium-node-firefox-8ylo2_default_31c8a8f3-7a75-11e5-8648-5600001611e0_922af821   
828031da6b3c        gcr.io/google_containers/pause:0.8.0   "/pause"               33 minutes ago      Up 33 minutes                           k8s_POD.3805e8b7_selenium-node-firefox-8ylo2_default_31c8a8f3-7a75-11e5-8648-5600001611e0_289cd555                     
caf4e725512e        selenium/node-chrome                   "/opt/bin/entry_poin   46 minutes ago      Up 46 minutes                           k8s_selenium-node-chrome.362a34ee_selenium-node-chrome-mgi52_default_392a2647-7a73-11e5-8648-5600001611e0_3c6e855a     
409a20770787        selenium/node-chrome                   "/opt/bin/entry_poin   46 minutes ago      Up 46 minutes                           k8s_selenium-node-chrome.362a34ee_selenium-node-chrome-9u1ld_default_392a15a4-7a73-11e5-8648-5600001611e0_ac3f0191     
7e2d942422a5        gcr.io/google_containers/pause:0.8.0   "/pause"               47 minutes ago      Up 47 minutes                           k8s_POD.3805e8b7_selenium-node-chrome-9u1ld_default_392a15a4-7a73-11e5-8648-5600001611e0_f5858b73                      
a3a65ea99a99        gcr.io/google_containers/pause:0.8.0   "/pause"               47 minutes ago      Up 47 minutes                           k8s_POD.3805e8b7_selenium-node-chrome-mgi52_default_392a2647-7a73-11e5-8648-5600001611e0_20a70ab6

Масштабирование вашей Selenium Grid

Масштабировать вашу Selenium Grid очень просто с Kubernetes. Представьте, что вместо 2-х узлов Firefox я бы хотел запустить 4. Масштабирование можно выполнить одной командой:

[root@kube-master ~]# kubectl scale rc selenium-node-firefox --replicas=4
scaled

[root@kube-master ~]# kubectl get rc
CONTROLLER              CONTAINER(S)            IMAGE(S)                SELECTOR                     REPLICAS
selenium-hub            selenium-hub            selenium/hub            name=selenium-hub            1
selenium-node-chrome    selenium-node-chrome    selenium/node-chrome    app=selenium-node-chrome     2
selenium-node-firefox   selenium-node-firefox   selenium/node-firefox   name=selenium-node-firefox   4

[root@kube-master ~]# kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
selenium-hub-pilc8            1/1       Running   1          1h
selenium-node-chrome-9u1ld    1/1       Running   0          14m
selenium-node-chrome-mgi52    1/1       Running   0          14m
selenium-node-firefox-8ylo2   1/1       Running   0          40s
selenium-node-firefox-lc6qt   1/1       Running   0          24m
selenium-node-firefox-y9qjp   1/1       Running   0          24m
selenium-node-firefox-zmj1r   1/1       Running   0          40s