Unidades compartidas de alta disponibilidad que utilizan Vultr Block Storage y GlusterFS

• Configurar GlusterFS
• Nota importante sobre el remontaje
• Nota importante sobre las copias de seguridad
• Preguntas más frecuentes

GlusterFS es un sistema de archivos conectado a la red que efectivamente le permite compartir dos unidades en múltiples dispositivos en la red. Este sistema de archivos es perfecto para la oferta de almacenamiento en bloque de Vultr, ya que puede compartir una unidad a través de la red que no es posible de manera inmediata.

En términos de características, extensibilidad y confiabilidad, GlusterFS ha demostrado ser uno de los sistemas de archivos más sofisticados y estables disponibles.

Cuando se realizan cambios en la unidad en un servidor, se replicarán automáticamente en el otro servidor en tiempo real. Para lograr esto y seguir esta guía, necesitará:

• Dos instancias de nube Vultr, preferiblemente ejecutando el mismo sistema operativo.
• Dos unidades de almacenamiento en bloque del mismo tamaño.

Después de haber pedido estas dos unidades de almacenamiento en bloque, debe conectarlas a la VM 1 y VM 2. Como utilizaremos ambas unidades de almacenamiento en bloque para el mismo sistema de archivos, dividir el tamaño total de ambas unidades por dos le dará la cantidad utilizable de GB. Por ejemplo, si tiene dos unidades de 100 GB, se podrán utilizar 100 GB (100 * 2/2).

Además, ambas máquinas virtuales deberán estar en la misma ubicación para que puedan estar en la misma red privada. Nos conectaremos a los servidores utilizando sus direcciones IP internas. Tenga en cuenta que borraremos los datos en la unidad de almacenamiento en bloque. Asegúrese de que sean nuevos y sin formato.

En esta guía, utilizaremos storage1y storage2, respectivamente, con direcciones IP privadas 10.0.99.10 y 10.0.99.11. Los nombres de sus servidores y las direcciones IP probablemente diferirán, así que asegúrese de cambiarlos en el proceso de configuración de GlusterFS.

Esta guía fue escrita con CentOS / RHEL 7 en mente. Sin embargo, GlusterFS es relativamente compatible entre varias distribuciones de Linux.

Configurar GlusterFS

Paso 1: alterar el /etc/hostsarchivo

Para que podamos conectarnos rápidamente a las instancias respectivas, debemos agregar nombres fáciles de recordar al hostsarchivo. Abra el /etc/hostsarchivo y agregue las siguientes líneas en la parte inferior:

10.0.99.10 storage1
10.0.99.11 storage2

Paso 2: agregue el disco en storage1

SSH en storage1y ejecutar los siguientes comandos. De forma predeterminada, las unidades de almacenamiento en bloque conectadas se montan como /dev/vdb. Si esto difiere en su caso por algún motivo, debe cambiarlo en los comandos a continuación.

Formatear el disco:

fdisk /dev/vdb

Presione "enter" para las siguientes tres preguntas (con respecto al tamaño de la partición y similares, queremos usar todo el espacio disponible en las unidades de almacenamiento en bloque) y escriba "w" para escribir estos cambios en el disco. Después de que esto se haya completado con éxito, escriba:

/sbin/mkfs.ext4 /dev/vdb1

Seguimos adelante y creamos un sistema de archivos ahora, ya que Vultr no crea ningún sistema de archivos en el almacenamiento en bloque de forma predeterminada.

A continuación, crearemos la carpeta en la que almacenaremos nuestros archivos. Puede cambiar este nombre, pero no verá que parece mucho, así que, en aras de eliminar la complejidad, le recomiendo que lo deje solo.

mkdir /glusterfs1

Para montar automáticamente la unidad en el arranque, abra /etc/fstaby agregue la siguiente línea en la parte inferior del archivo:

/dev/vdb1 /glusterfs1      ext4    defaults        1 2

Finalmente, monte la unidad:

mount -a

El montaje permanecerá persistente durante los reinicios, por lo que cuando reinicie su servidor, la unidad se volverá a montar automáticamente.

Paso 3: agregue el disco en storage2

Ahora que hemos agregado y montado el disco storage1, también necesitamos crear el disco storage2. Los comandos apenas difieren. Para fdisk, siga los mismos pasos que arriba.

fdisk /dev/sdb
/sbin/mkfs.ext4 /dev/sdb1
mkdir /glusterfs2

Edite /etc/fstaby agregue la siguiente línea:

/dev/vdb1 /glusterfs2      ext4    defaults        1 2

Al igual que en el caso storage1, la unidad se montará automáticamente en los reinicios.

Montar el disco:

mount -a

Finalmente, verifiquemos si podemos ver la partición mostrada:

df -h

Debería ver su unidad de disco aquí. Si no es así, intente seguir los pasos anteriores.

Paso 4: Instalar GlusterFS en storage1ystorage2

Necesitamos instalar GlusterFS a continuación. Agregue el repositorio e instale GlusterFS:

rpm  -ivh  http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.5/CentOS/glusterfs-epel.repo
yum -y install glusterfs glusterfs-fuse glusterfs-server

Existe la posibilidad de que obtenga un error yumporque la firma del repositorio no es correcta. En ese caso, es seguro forzar no verificar la firma GPG:

yum -y install glusterfs glusterfs-fuse glusterfs-server --nogpgcheck

En ambos servidores, ejecute los siguientes comandos para iniciar GlusterFS ahora e iniciarlo automáticamente después de reiniciar:

systemctl enable glusterd.service
systemctl start glusterd.service

Si usa una versión anterior de CentOS, puede usar los comandos servicey chkconfig:

chkconfig glusterd on
service glusterd start

Paso 5: deshabilitar el firewall storage1ystorage2

Aunque no es la mejor solución per se, es una buena idea desactivar el firewall para eliminar posibles conflictos con los puertos bloqueados. Si no se siente cómodo haciendo esto, no dude en modificar las reglas a su gusto, pero debido a la naturaleza de GlusterFS, le recomiendo deshabilitar el firewall. Teniendo en cuenta que una red privada es realmente privada en Vultr (y no es necesario proteger a otros clientes), simplemente podría bloquear todo el tráfico entrante de Internet y restringir las conexiones permitidas a la red privada. Sin embargo, apagar el firewall y no alterar ninguna otra configuración del sistema también sería suficiente:

systemctl stop firewalld.service
systemctl disable firewalld.service

En caso de que use una versión anterior de CentOS que no sea compatible systemctl, use los comandos servicey chkconfig:

service firewalld stop
chkconfig firewalld off

En caso de que no lo use firewalld, intente deshabilitar iptables:

service iptables stop
chkconfig iptables off

Paso 6: agregue servidores al grupo de almacenamiento

Después de desactivar el firewall, podemos agregar ambos servidores al grupo de almacenamiento. Este es un grupo que consta de todo el almacenamiento disponible. Ejecute el siguiente comando en storage1:

gluster peer probe storage2

Lo que hace este comando es agregar storage2a su propio grupo de almacenamiento. Al ejecutar el siguiente comando storage2, ambas unidades estarán sincronizadas:

gluster peer probe storage1

Después de ejecutar esto en ambos servidores, debemos verificar el estado en ambos servidores:

gluster peer status

Ambos servidores deben mostrar un estado de "Pares: 1". Un error común es que las personas esperan ver Peers: 2, pero como storage1estarán mirando storage2y viceversa, no se miran a sí mismas. Por Peers: 1lo tanto, es lo que necesitamos.

Paso 7: Crear una unidad compartida en storage1

Ahora que ambos servidores pueden conectarse entre sí a través de GlusterFS, vamos a crear una unidad compartida.

En storage1, ejecutar:

gluster volume create mailrep-volume replica 2  storage1:/glusterfs1/files  storage2:/glusterfs2/files force

El volumen ya ha sido creado. En GlusterFS, debe "iniciar" un volumen para que se comparta activamente en varios dispositivos. Empecemos:

gluster volume start mailrep-volume

A continuación, elija una carpeta que debería estar en el volumen y replicada en ambos servidores. En este tutorial usaremos la carpeta /var/files. Naturalmente, esto puede ser lo que quieras. Créalo storage1 solo en :

mkdir /var/files

A continuación, móntelo:

mount.glusterfs storage1:/mailrep-volume /var/files/

Actualice /etc/fstabpara que la unidad se monte automáticamente en el arranque. Agregue lo siguiente:

storage1:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Vuelva a montar la unidad:

mount -a

Paso 8: Crear una unidad compartida en storage2

Ahora que hemos creado una unidad compartida storage1, también necesitamos crear una storage2. Cree una carpeta con la misma ubicación / ruta y nombre:

mkdir /var/files
mount.glusterfs storage2:/mailrep-volume /var/files/

Al igual que en storage1, agregue la siguiente línea a /etc/fstab:

storage2:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Vuelva a montar la unidad:

mount -a

Paso 9: prueba el almacenamiento compartido

Navegue a la /var/filescarpeta storage1y cree un archivo:

cd /var/files
touch created_on_storage1

A continuación, dirígete al storage2servidor. Ejecute ls -lay debería ver created_on_storage1aparecer el archivo .

Encendido storage2, navegue a la /var/filescarpeta y cree un archivo:

cd /var/files
touch created_on_storage2

Regresa storage1y ejecuta ls -la /var/files. Debería ver el archivo created_on_storage2aparecer aquí.

Paso 10: reinicie todos los servidores (opcional)

Para verificar dos veces si su configuración permanecerá persistente durante los reinicios, como práctica recomendada, debe reiniciar todos los servidores. Como se mencionó, debe esperar a que un servidor esté activo y luego reiniciar el otro para que la unidad compartida se monte automáticamente.

Reinicie storage1primero, espere a que se active y luego reinicie storage2. Ahora inicie sesión y ejecute en ambos servidores:

cd /var/files
ls -la

Ahora debería ver aparecer ambos archivos. Asegúrese de comenzar sin ningún archivo en el volumen, así que elimine los archivos de prueba que hemos creado. Puedes hacer esto en storage1, storage2o en ambos. Los cambios se replicarán al instante:

cd /var/files
rm created_on_storage1
rm created_on_storage2

Debe tener un volumen compartido idéntico en ambos servidores, independientemente de las acciones en ambos volúmenes.

Ahora ha configurado una configuración GlusterFS completa con 100 GB (o más) de espacio utilizable. En caso de que necesite más en el futuro, la configuración es fácilmente escalable para agregar más capacidad y / o más servidores en caso de que su carga de trabajo lo requiera.

¡Gracias por leer!

Nota importante sobre el remontaje

GlusterFS permite mantener sus datos actualizados en dos unidades. Sin embargo, debe tener en cuenta que cuando ambos servidores se reinician al mismo tiempo , deberá forzar el montaje de las unidades en ambos servidores. Debe forzar el montaje manualmente ejecutando el siguiente comando:

gluster volume start mailrep-volume force

Esto se debe a que uno de los servidores actúa como servidor y el otro actúa como cliente. Aunque la diferencia no se nota muy fácilmente en la práctica, esto significa que cuando necesite reiniciar ambos servidores, debe reiniciar uno, esperar hasta que esté activo y luego iniciar el otro.

Nota importante sobre las copias de seguridad

Aunque sus datos se replicarán en dos unidades, debe replicar sus datos al menos tres veces. Aunque sus datos están mejor protegidos contra la corrupción de datos y similares, debe tener en cuenta que los cambios son instantáneos y de ninguna manera estará protegido contra errores humanos. Cuando elimine todos los archivos en una unidad, estos cambios se replicarán inmediatamente en la otra unidad, lo que significa que sus datos se borrarán en ambas instancias.

Afortunadamente, hay múltiples enfoques para evitar esto. En primer lugar, recomiendo habilitar las copias de seguridad en su propia instancia en la nube. Aunque estas copias de seguridad no incluyen datos en el almacenamiento en bloque, protegerán los datos en la instancia misma.

Cuando se trata de hacer una copia de seguridad de los datos en el almacenamiento de bloque en sí, recomiendo girar una instancia separada (por ejemplo, un plan SATA) para que pueda ejecutar una copia de seguridad de uno de los dos servidores conectados todas las noches, por ejemplo. De esta manera, sus datos estarán seguros en otro dispositivo separado.

Preguntas más frecuentes

¿Puedo aumentar mi almacenamiento en disco?

Puede aumentar el tamaño de almacenamiento del bloque desde el panel de control de Vultr. Debe cambiar el tamaño del disco dentro del sistema operativo después, pero eso está fuera del alcance de este artículo.

¿Puedo adjuntar el almacenamiento en bloque a más de dos servidores?

Aunque esta guía se ha escrito para dos servidores (por lo tanto, dos unidades de almacenamiento en bloque conectadas a ambos servidores), es posible tomar esta guía y usarla también para más de dos servidores. Una configuración con más de dos servidores / unidades podría verse así para 6 servidores, por ejemplo:

VM: storage1
VM: storage2
VM: storage3
VM: storage4
Block Storage: attached to storage1
Block Storage: attached to storage2
Block Storage: attached to storage3
Block Storage: attached to storage4

Dado que todas las unidades de almacenamiento en bloque tienen una capacidad de, por ejemplo, 200 GB, obtendría 200 * 4 / 4. En otras palabras, el espacio utilizable es siempre la capacidad de una unidad de almacenamiento en bloque único. Esto se debe a que GlusterFS trata a un servidor con almacenamiento en bloque conectado como el "maestro" y se replica en los otros servidores. Sin embargo, la configuración está diseñada para poder sobrevivir sin un servidor maestro, lo que la convierte en una solución estable, redundante y confiable.