Unità condivise ad alta disponibilità che utilizzano Vultr Block Storage e GlusterFS

• Impostazione di GlusterFS
• Nota importante per quanto riguarda il rimontaggio
• Nota importante relativa ai backup
• FAQ

GlusterFS è un file system collegato in rete che consente in modo efficace di condividere due unità su più dispositivi sulla rete. Questo file system si adatta perfettamente all'offerta di archiviazione a blocchi di Vultr, poiché puoi condividere un'unità attraverso la rete che non è immediatamente pronta all'uso.

In termini di funzionalità, estensibilità e affidabilità, GlusterFS ha dimostrato di essere uno dei file system più sofisticati e stabili disponibili.

Quando vengono apportate modifiche all'unità su un server, verranno automaticamente replicate sull'altro server in tempo reale. Per raggiungere questo obiettivo e seguire questa guida, avrai bisogno di:

• Due istanze del cloud Vultr, preferibilmente con lo stesso sistema operativo.
• Due unità di archiviazione a blocchi della stessa dimensione.

Dopo aver ordinato queste due unità di archiviazione a blocchi, è necessario collegarle alla VM 1 e alla VM 2. Poiché utilizzeremo entrambe le unità di archiviazione a blocchi per lo stesso file system, dividendo la dimensione totale di entrambe le unità per due si otterrà la quantità utilizzabile di GB. Ad esempio, se si dispone di due unità da 100 GB, saranno utilizzabili 100 GB (100 * 2/2).

Inoltre, entrambe le VM dovranno trovarsi nella stessa posizione per poter essere sulla stessa rete privata. Ci collegheremo ai server usando i loro indirizzi IP interni. Si noti che cancelleremo i dati sull'unità di archiviazione a blocchi. Assicurati che siano nuovi e non formattati.

In questa guida utilizzeremo storage1e storage2, rispettivamente, con indirizzi IP privati ​​10.0.99.10 e 10.0.99.11. Molto probabilmente i nomi e gli indirizzi IP del tuo server differiranno, quindi assicurati di cambiarli durante la configurazione di GlusterFS.

Questa guida è stata scritta pensando a CentOS / RHEL 7. Tuttavia, GlusterFS è relativamente cross-compatibile tra più distribuzioni Linux.

Impostazione di GlusterFS

Passaggio 1: modifica il /etc/hostsfile

Per consentirci di connetterci rapidamente alle rispettive istanze, dovremmo aggiungere al hostsfile nomi facili da ricordare . Apri il /etc/hostsfile e aggiungi le seguenti righe in fondo:

10.0.99.10 storage1
10.0.99.11 storage2

Passaggio 2: aggiungere il disco storage1

SSH in storage1ed esegui i seguenti comandi. Per impostazione predefinita, le unità di archiviazione a blocchi collegate sono montate come /dev/vdb. Se questo differisce nel tuo caso per qualsiasi motivo, è necessario modificarlo nei comandi seguenti.

Formatta il disco:

fdisk /dev/vdb

Premi "invio" per le tre domande seguenti (per quanto riguarda le dimensioni della partizione e simili, vogliamo usare tutto lo spazio disponibile sulle unità di archiviazione a blocchi) e scrivi "w" per scrivere queste modifiche sul disco. Dopo che questo è stato completato con successo, scrivi:

/sbin/mkfs.ext4 /dev/vdb1

Siamo andati avanti e abbiamo creato un file system ora poiché Vultr non crea alcun file system sulla memoria a blocchi per impostazione predefinita.

Successivamente, creeremo la cartella in cui archiveremo i nostri file. Puoi cambiare questo nome ma non lo vedrai apparire molto, quindi per eliminare la complessità, ti consiglio di lasciarlo da solo.

mkdir /glusterfs1

Per montare automaticamente l'unità all'avvio, aprire /etc/fstabe aggiungere la seguente riga nella parte inferiore del file:

/dev/vdb1 /glusterfs1      ext4    defaults        1 2

Infine, monta l'unità:

mount -a

Il montaggio rimarrà persistente durante i riavvii, quindi quando si riavvia il server l'unità verrà automaticamente montata di nuovo.

Passaggio 3: aggiungere il disco storage2

Ora che abbiamo aggiunto e montato il disco storage1, dobbiamo creare anche il disco storage2. I comandi differiscono appena. Per fdisk, seguire gli stessi passaggi di cui sopra.

fdisk /dev/sdb
/sbin/mkfs.ext4 /dev/sdb1
mkdir /glusterfs2

Modifica /etc/fstabe aggiungi la seguente riga:

/dev/vdb1 /glusterfs2      ext4    defaults        1 2

Proprio come su storage1, l'unità verrà automaticamente montata su riavvii.

Montare l'unità:

mount -a

Infine, controlliamo se possiamo vedere la partizione mostrata:

df -h

Dovresti vedere l'unità visualizzata qui. In caso contrario, prova a seguire i passaggi precedenti.

Passaggio 4: installazione di GlusterFS su storage1estorage2

Successivamente è necessario installare GlusterFS. Aggiungi il repository e installa GlusterFS:

rpm  -ivh  http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.5/CentOS/glusterfs-epel.repo
yum -y install glusterfs glusterfs-fuse glusterfs-server

È possibile che si verifichi un errore yumperché la firma per il repository non è corretta. In tal caso, è sicuro forzare il non controllo della firma GPG:

yum -y install glusterfs glusterfs-fuse glusterfs-server --nogpgcheck

Su entrambi i server, esegui subito i seguenti comandi per avviare GlusterFS e avviarlo automaticamente dopo un riavvio:

systemctl enable glusterd.service
systemctl start glusterd.service

Se si utilizza una versione precedente di CentOS, è possibile utilizzare i comandi servicee chkconfig:

chkconfig glusterd on
service glusterd start

Passaggio 5: disabilitare il firewall su storage1estorage2

Sebbene non sia la migliore soluzione in sé, è una buona idea disattivare il firewall per eliminare possibili conflitti con le porte bloccate. Se non ti senti a tuo agio nel farlo, sentiti libero di modificare le regole a tuo piacimento, ma a causa della natura di GlusterFS, ti consiglio vivamente di disabilitare il firewall. Considerando che una rete privata è in realtà privata su Vultr (e non è necessario escludere il firewall di altri clienti), è possibile semplicemente bloccare tutto il traffico in entrata da Internet e limitare le connessioni consentite alla rete privata. Tuttavia, anche disattivare il firewall e non alterare altre configurazioni di sistema sarebbe sufficiente:

systemctl stop firewalld.service
systemctl disable firewalld.service

Se si utilizza una versione precedente di CentOS che non supporta systemctl, utilizzare i comandi servicee chkconfig:

service firewalld stop
chkconfig firewalld off

Se non lo usi firewalld, prova a disabilitare iptables:

service iptables stop
chkconfig iptables off

Passaggio 6: aggiungere server al pool di archiviazione

Dopo aver disattivato il firewall, siamo in grado di aggiungere entrambi i server al pool di archiviazione. Questo è un pool costituito da tutto lo spazio di archiviazione disponibile. Eseguire il comando seguente su storage1:

gluster peer probe storage2

Ciò che fa questo comando è aggiungere storage2al proprio pool di archiviazione. Eseguendo il comando seguente storage2, entrambe le unità saranno sincronizzate:

gluster peer probe storage1

Dopo aver eseguito questo su entrambi i server, dovremmo controllare lo stato su entrambi i server:

gluster peer status

Entrambi i server dovrebbero mostrare uno stato di "Peers: 1". Un errore comune è che le persone si aspettano di vedere Peers: 2, ma come storage1scriveranno storage2e viceversa, non scriveranno con se stesse. Pertanto, Peers: 1è ciò di cui abbiamo bisogno.

Passaggio 7: creazione di un'unità condivisa attivata storage1

Ora che entrambi i server sono in grado di connettersi tra loro tramite GlusterFS, creeremo un'unità condivisa.

On storage1, esegui:

gluster volume create mailrep-volume replica 2  storage1:/glusterfs1/files  storage2:/glusterfs2/files force

Il volume è stato ora creato. In GlusterFS, è necessario "avviare" un volume in modo che sia attivamente condiviso su più dispositivi. Iniziamo:

gluster volume start mailrep-volume

Quindi, selezionare una cartella che dovrebbe essere sul volume e replicata su entrambi i server. In questo tutorial useremo la cartella /var/files. Naturalmente questo può essere quello che ti piace. Crealo storage1 solo su :

mkdir /var/files

Quindi, montalo:

mount.glusterfs storage1:/mailrep-volume /var/files/

Aggiorna in /etc/fstabmodo che l'unità venga automaticamente montata all'avvio. Aggiungi quanto segue:

storage1:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Rimontare l'unità:

mount -a

Passaggio 8: creazione di un'unità condivisa attivata storage2

Ora che abbiamo creato un'unità condivisa su storage1, dobbiamo crearne una anche su storage2. Crea una cartella con lo stesso percorso / percorso e nome:

mkdir /var/files
mount.glusterfs storage2:/mailrep-volume /var/files/

Proprio come su storage1, aggiungi la seguente riga a /etc/fstab:

storage2:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Rimontare l'unità:

mount -a

Passaggio 9: testare l'archiviazione condivisa

Passare alla /var/filescartella attiva storage1e creare un file:

cd /var/files
touch created_on_storage1

Quindi, vai al storage2server. Esegui ls -lae dovresti vedere created_on_storage1apparire il file .

Acceso storage2, vai alla /var/filescartella e crea un file:

cd /var/files
touch created_on_storage2

Torna a storage1ed esegui ls -la /var/files. Dovresti vedere il file created_on_storage2apparire qui.

Passaggio 10: riavviare tutti i server (facoltativo)

Per verificare se la configurazione rimarrà persistente per tutti i riavvii, come buona pratica, è necessario riavviare tutti i server. Come accennato, è necessario attendere che un server sia attivo e quindi riavviare l'altro per il montaggio automatico dell'unità condivisa.

Riavvia storage1prima, attendi che sia attivo, quindi riavvia storage2. Ora accedi ed esegui su entrambi i server:

cd /var/files
ls -la

Ora dovresti vedere apparire entrambi i file. Assicurati di iniziare senza alcun file sul volume, quindi rimuovi i file di test che abbiamo creato. È possibile farlo su storage1, storage2o entrambi. Le modifiche verranno replicate all'istante:

cd /var/files
rm created_on_storage1
rm created_on_storage2

È necessario disporre di un volume condiviso identico su entrambi i server, indipendentemente dalle azioni su entrambi i volumi.

Ora hai configurato una configurazione GlusterFS completa con 100 GB (o più) di spazio utilizzabile. Nel caso in cui sia necessario di più in futuro, l'installazione è facilmente scalabile per aggiungere più capacità e / o più server nel caso in cui il carico di lavoro lo richieda.

Grazie per aver letto!

Nota importante per quanto riguarda il rimontaggio

GlusterFS consente di mantenere i dati aggiornati su due unità. Tuttavia, è necessario notare che quando entrambi i server vengono riavviati contemporaneamente , è necessario forzare il montaggio delle unità su entrambi i server. È necessario forzare manualmente il montaggio eseguendo il comando seguente:

gluster volume start mailrep-volume force

Questo perché uno dei server funge da server e l'altro funge da client. Sebbene la differenza non sia molto evidente nella pratica, ciò significa che quando è necessario riavviare entrambi i server, è necessario riavviare uno, attendere fino a quando non è attivo, quindi avviare l'altro.

Nota importante relativa ai backup

Anche se i dati verranno replicati su due unità, è necessario replicare i dati almeno tre volte. Sebbene i tuoi dati siano meglio protetti dalla corruzione dei dati e simili, dovresti notare che le modifiche sono istantanee e non sarai in alcun modo protetto dagli errori umani. Quando rimuovi tutti i file su un'unità, queste modifiche verranno immediatamente replicate sull'altra unità, il che significa che i tuoi dati verrebbero cancellati in entrambe le istanze.

Fortunatamente, ci sono diversi approcci per evitarlo. Prima di tutto, ti consiglio di abilitare i backup sulla tua stessa istanza cloud. Sebbene questi backup non includano dati nella memoria a blocchi, proteggeranno i dati sull'istanza stessa.

Quando si tratta di eseguire il backup dei dati sull'archivio blocchi stesso, si consiglia di creare un'istanza separata (ad esempio un piano SATA) in modo da poter eseguire un backup da uno dei due server collegati ogni notte, ad esempio. In questo modo i tuoi dati saranno al sicuro su un altro dispositivo separato.

FAQ

Sono in grado di aumentare la mia memoria su disco?

È possibile aumentare le dimensioni di archiviazione dei blocchi dal pannello di controllo Vultr. È necessario ridimensionare il disco all'interno del sistema operativo dopo, ma non rientra nell'ambito di questo articolo.

Posso collegare l'archiviazione a blocchi a più di due server?

Sebbene questa guida sia stata scritta per due server (quindi due unità di archiviazione a blocchi collegati a entrambi i server), è possibile prendere questa guida e utilizzarla anche per più di due server. Un'installazione con oltre due server / unità potrebbe apparire così per 6 server, ad esempio:

VM: storage1
VM: storage2
VM: storage3
VM: storage4
Block Storage: attached to storage1
Block Storage: attached to storage2
Block Storage: attached to storage3
Block Storage: attached to storage4

Dato che tutte le unità di archiviazione a blocchi hanno una capacità, ad esempio, di 200 GB, si otterrebbero 200 * 4 / 4. In altre parole, lo spazio utilizzabile è sempre la capacità di un'unità di archiviazione a blocco singolo. Questo perché un server con l'archiviazione a blocchi collegata viene trattato come "master" da GlusterFS ed è replicato sugli altri server. Tuttavia, l'installazione è progettata per essere in grado di sopravvivere senza un server master, il che la rende una soluzione così ridondante, affidabile e stabile.