Совместно используемые диски высокой доступности с использованием блочного хранилища Vultr и GlusterFS

• Настройка GlusterFS
• Важное примечание относительно перемонтирования
• Важное замечание о резервном копировании
• часто задаваемые вопросы

GlusterFS - это подключенная к сети файловая система, которая позволяет вам совместно использовать два диска на нескольких устройствах в сети. Эта файловая система идеально подходит для блочного хранилища Vultr, поскольку вы можете совместно использовать диск в сети, что невозможно из коробки.

С точки зрения возможностей, расширяемости и надежности, GlusterFS оказалась одной из самых сложных и стабильных доступных файловых систем.

Когда изменения вносятся в диск на одном сервере, они автоматически реплицируются на другой сервер в режиме реального времени. Чтобы этого добиться и следовать этому руководству, вам потребуется:

• Два облачных экземпляра Vultr, предпочтительно под управлением одной операционной системы.
• Два блочных накопителя одинакового размера.

Заказав эти два блочных накопителя, вы должны подключить их к ВМ 1 и ВМ 2. Поскольку мы будем использовать оба блочных накопителя для одной и той же файловой системы, разделив общий размер обоих накопителей на два, вы получите полезную сумму. ГБ. Например, если у вас есть два диска по 100 ГБ, можно будет использовать 100 ГБ (100 * 2/2).

Кроме того, обе виртуальные машины должны находиться в одном и том же месте, чтобы они находились в одной частной сети. Мы будем подключаться к серверам, используя их внутренние IP-адреса. Обратите внимание, что мы будем стирать данные на блочном накопителе. Убедитесь, что они совершенно новые и не отформатированные.

В этом руководстве мы будем использовать storage1и storage2, соответственно, с частными IP-адресами 10.0.99.10 и 10.0.99.11. Ваши имена серверов и IP-адреса, скорее всего, будут отличаться, поэтому обязательно измените их в процессе настройки GlusterFS.

Это руководство было написано с учетом CentOS / RHEL 7. Тем не менее, GlusterFS относительно перекрестно совместима между несколькими дистрибутивами Linux.

Настройка GlusterFS

Шаг 1: измените /etc/hostsфайл

Чтобы мы могли быстро подключаться к соответствующим экземплярам, ​​мы должны добавить в hostsфайл легко запоминающиеся имена . Откройте /etc/hostsфайл и добавьте следующие строки внизу:

10.0.99.10 storage1
10.0.99.11 storage2

Шаг 2: Добавьте диск на storage1

SSH в storage1и выполните следующие команды. По умолчанию подключенные блочные накопители монтируются как /dev/vdb. Если в вашем случае по какой-то причине это отличается, вам следует изменить это в приведенных ниже командах.

Отформатируйте диск:

fdisk /dev/vdb

Нажмите «enter» для следующих трех вопросов (в отношении размера раздела и т. П. Мы хотим использовать все доступное пространство на блочных накопителях) и введите «w», чтобы записать эти изменения на диск. После того, как это было успешно завершено, напишите:

/sbin/mkfs.ext4 /dev/vdb1

Теперь мы создали файловую систему, поскольку Vultr по умолчанию не создает файловых систем в блочном хранилище.

Далее мы создадим папку, в которой мы будем хранить наши файлы. Вы можете изменить это имя, но вы не увидите, чтобы оно выглядело много, поэтому ради устранения сложности я рекомендую оставить его в покое.

mkdir /glusterfs1

Чтобы автоматически смонтировать диск при загрузке, откройте /etc/fstabи добавьте следующую строку внизу файла:

/dev/vdb1 /glusterfs1      ext4    defaults        1 2

Наконец, смонтируйте диск:

mount -a

Монтирование будет оставаться постоянным при перезагрузке, поэтому при перезагрузке сервера диск будет автоматически подключен снова.

Шаг 3: Добавьте диск на storage2

Теперь, когда диск добавлен и смонтирован storage1, нам нужно также создать диск storage2. Команды почти не отличаются. Для fdiskвыполните те же действия, что и выше.

fdisk /dev/sdb
/sbin/mkfs.ext4 /dev/sdb1
mkdir /glusterfs2

Отредактируйте /etc/fstabи добавьте следующую строку:

/dev/vdb1 /glusterfs2      ext4    defaults        1 2

Так же, как и на storage1, диск будет автоматически монтироваться при перезагрузке.

Смонтировать диск:

mount -a

Наконец, давайте проверим, можем ли мы увидеть, как появляется раздел:

df -h

Вы должны увидеть ваш диск здесь. Если это не так, попробуйте выполнить действия, описанные выше.

Шаг 4: Установка GlusterFS на storage1иstorage2

Нам нужно установить GlusterFS дальше. Добавьте репозиторий и установите GlusterFS:

rpm  -ivh  http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.5/CentOS/glusterfs-epel.repo
yum -y install glusterfs glusterfs-fuse glusterfs-server

Есть вероятность, что вы получите ошибку, yumпотому что подпись для хранилища неверна. В этом случае безопасно принудительно не проверять подпись GPG:

yum -y install glusterfs glusterfs-fuse glusterfs-server --nogpgcheck

На обоих серверах выполните следующие команды, чтобы запустить GlusterFS прямо сейчас и запустить его автоматически после перезагрузки:

systemctl enable glusterd.service
systemctl start glusterd.service

Если вы используете более старую версию CentOS, вы можете использовать serviceи chkconfigкоманду:

chkconfig glusterd on
service glusterd start

Шаг 5. Отключение брандмауэра storage1иstorage2

Хотя это и не самое лучшее решение как таковое, рекомендуется отключить брандмауэр, чтобы устранить возможные конфликты с заблокированными портами. Если вам неудобно это делать, то смело изменяйте правила по своему вкусу, но из-за особенностей GlusterFS я настоятельно рекомендую отключить брандмауэр. Учитывая, что частная сеть на самом деле является частной в Vultr (и вам не нужно защищать других пользователей от брандмауэра), вы можете просто заблокировать весь входящий трафик из Интернета и ограничить разрешенные подключения к частной сети. Тем не менее, отключение брандмауэра и не изменять никакие другие конфигурации системы также будет достаточно:

systemctl stop firewalld.service
systemctl disable firewalld.service

В случае , если вы используете более старую версию CentOS , которая не поддерживает systemctl, используйте serviceи chkconfigкоманду:

service firewalld stop
chkconfig firewalld off

Если вы не используете firewalld, попробуйте отключить iptables:

service iptables stop
chkconfig iptables off

Шаг 6. Добавление серверов в пул хранения.

После отключения брандмауэра мы можем добавить оба сервера в пул хранения. Это пул, состоящий из всего доступного хранилища. Выполните следующую команду storage1:

gluster peer probe storage2

Эта команда добавляет storage2в свой пул хранения. При выполнении следующей команды storage2оба диска будут синхронизированы:

gluster peer probe storage1

После выполнения этого на обоих серверах мы должны проверить статус на обоих серверах:

gluster peer status

Оба сервера должны показывать состояние «Peers: 1». Распространенной ошибкой являются люди, ожидающие увидеть Peers: 2, но, как storage1будут смотреть storage2и наоборот, они не смотрят друг на друга. Поэтому Peers: 1это то , что нам нужно.

Шаг 7: Создание общего диска на storage1

Теперь, когда оба сервера могут соединяться друг с другом через GlusterFS, мы собираемся создать общий диск.

На storage1, выполнить:

gluster volume create mailrep-volume replica 2  storage1:/glusterfs1/files  storage2:/glusterfs2/files force

Том был создан. В GlusterFS вам нужно «запустить» том, чтобы он активно использовался несколькими устройствами. Давайте начнем это:

gluster volume start mailrep-volume

Затем выберите папку, которая должна находиться на томе и реплицироваться на обоих серверах. В этом уроке мы будем использовать папку /var/files. Естественно, это может быть что угодно. Создайте его storage1 только на :

mkdir /var/files

Далее монтируем его:

mount.glusterfs storage1:/mailrep-volume /var/files/

Обновите, /etc/fstabчтобы диск автоматически монтировался при загрузке. Добавьте следующее:

storage1:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Перемонтировать диск:

mount -a

Шаг 8: Создание общего диска на storage2

Теперь, когда мы создали общий диск storage1, нам нужно его создать storage2. Создайте папку с таким же местоположением / путем и именем:

mkdir /var/files
mount.glusterfs storage2:/mailrep-volume /var/files/

Просто storage1добавьте следующую строку в /etc/fstab:

storage2:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Перемонтировать диск:

mount -a

Шаг 9: Проверьте общее хранилище

Перейдите в /var/filesпапку storage1и создайте файл:

cd /var/files
touch created_on_storage1

Далее идите на storage2сервер. Выполните, ls -laи вы должны увидеть файл created_on_storage1появится.

Включите storage2, перейдите в /var/filesпапку и создайте файл:

cd /var/files
touch created_on_storage2

Вернитесь storage1и выполните ls -la /var/files. Вы должны увидеть, что файл created_on_storage2появится здесь.

Шаг 10: перезагрузите все серверы (необязательно)

Чтобы перепроверить, останется ли ваша установка постоянной после перезагрузок, рекомендуется перезагрузить все серверы. Как уже упоминалось, вы должны подождать, пока один сервер будет включен, а затем перезагрузить другой, чтобы общий диск был автоматически подключен.

storage1Сначала перезагрузите компьютер , подождите, пока он включится, затем перезагрузите компьютер storage2. Теперь войдите в систему и выполните на обоих серверах:

cd /var/files
ls -la

Теперь вы должны увидеть оба файла. Обязательно начинайте без каких-либо файлов на томе, поэтому удалите созданные нами тестовые файлы. Вы можете сделать это storage1, storage2или оба. Изменения будут реплицированы мгновенно:

cd /var/files
rm created_on_storage1
rm created_on_storage2

У вас должен быть одинаковый общий том на обоих серверах, независимо от действий на обоих томах.

Теперь вы настроили полноценную установку GlusterFS с 100 ГБ (или более) доступного пространства. В случае, если вам понадобится больше в будущем, настройку легко масштабировать, чтобы увеличить емкость и / или количество серверов, если этого требует ваша рабочая нагрузка.

Спасибо за чтение!

Важное примечание относительно перемонтирования

GlusterFS позволяет поддерживать ваши данные в актуальном состоянии на двух дисках. Однако следует помнить, что когда оба сервера будут перезагружены одновременно , вам потребуется принудительно смонтировать диски на обоих серверах. Вы должны принудительно смонтировать монтирование вручную, выполнив следующую команду:

gluster volume start mailrep-volume force

Это потому, что один из серверов действует как сервер, а другой - как клиент. Хотя на практике эта разница не очень заметна, это означает, что, когда вам нужно перезагрузить оба сервера, вы должны перезагрузить один, подождать, пока он не заработает, а затем загрузить другой.

Важное замечание о резервном копировании

Несмотря на то, что ваши данные будут реплицированы на два диска, вы должны сделать это как минимум трижды. Хотя ваши данные лучше защищены от повреждения данных и тому подобного, вы должны помнить, что изменения происходят мгновенно, и вы никоим образом не будете защищены от человеческих ошибок. Когда вы удаляете все файлы на одном диске, эти изменения будут немедленно реплицированы на другой диск, что означает, что ваши данные будут стерты в обоих случаях.

К счастью, есть несколько подходов, чтобы избежать этого. Прежде всего, я рекомендую включить резервное копирование на самом облачном экземпляре. Хотя эти резервные копии не включают данные в хранилище блоков, они будут защищать данные самого экземпляра.

Когда дело доходит до резервного копирования данных в самом блочном хранилище, я рекомендую развернуть отдельный экземпляр (например, план SATA), чтобы вы могли, например, запускать резервное копирование с одного из двух подключенных серверов каждую ночь. Таким образом, ваши данные будут в безопасности на другом отдельном устройстве.

часто задаваемые вопросы

Могу ли я увеличить объем дискового пространства?

Вы можете увеличить размер хранилища блоков с панели управления Vultr. После этого вы должны изменить размер диска внутри операционной системы, но это выходит за рамки данной статьи.

Могу ли я подключить хранилище блоков к двум серверам?

Хотя это руководство было написано для двух серверов (то есть двух блочных накопителей, подключенных к обоим серверам), но можно взять это руководство и использовать его для более чем двух серверов. Настройка с более чем двумя серверами / дисками может выглядеть следующим образом для 6 серверов, например:

VM: storage1
VM: storage2
VM: storage3
VM: storage4
Block Storage: attached to storage1
Block Storage: attached to storage2
Block Storage: attached to storage3
Block Storage: attached to storage4

Учитывая, что все блочные накопители имеют емкость, например, 200 ГБ, вы получите 200 * 4/4. Другими словами, используемое пространство - это всегда емкость одного блочного хранилища. Это связано с тем, что один сервер с подключенным хранилищем блоков обрабатывается GlusterFS как «ведущий» и реплицируется на другие серверы. Тем не менее, установка построена так, чтобы иметь возможность выживать без главного сервера, что делает его таким избыточным и надежным, стабильным решением.