Incrementele en versleutelde back-ups maken met dupliciteit

• Overzicht
• Omgeving opzetten
• Back-ups
• Automatisering
• Restauratie

Overzicht

Hoewel Vultr een back-upsysteem heeft voor volledige systeemafbeeldingen, werkt dit op blokniveau en vereist dat de back-up wordt hersteld naar een VM voordat de gegevens kunnen worden hersteld. Bovendien worden back-ups slechts een korte tijd bewaard en bieden ze geen echte incrementele back-upoplossing.

Enter Duplicity - Duplicity bouwt voort op de legendarische rsync en biedt de mogelijkheid om incrementele back-ups op te slaan, samen met het versleutelen van de gegevens in rust via GPG. Het is Posix-compatibel en draagt ​​alleen delta's over tussen back-up-runs, waardoor de algehele bandbreedtevereiste wordt verminderd.

Omgeving opzetten

Terminologie

• Bronhost - Server waarvan een back-up van de gegevens wordt gemaakt. Voor deze tutorial heeft het het IP-adres: 10.1.10.1
• Back-uphost - Bestemmingsserver voor back-ups. Voor deze tutorial heeft het het IP-adres: 10.1.10.2
• / backupdir - Bronmap op bronhost die wordt gebruikt voor back-ups in deze zelfstudie. U kunt dit aanpassen aan uw omgeving.
• / destdir - Bestemmingsmap op back-uphost die wordt gebruikt voor back-ups in deze zelfstudie. U kunt dit aanpassen aan uw omgeving.
• Volledige back-up - Volledige kopie van de brongegevensset.
• Incrementele back-up - Kopie van alle wijzigingen die sinds de laatste back-up zijn aangebracht.

Duplicity installeren

Ubuntu 14.04:

sudo apt-get update
sudo apt-get install duplicity python-paramiko

CentOS (vereist EPEL):

sudo yum install duplicity python-paramiko

Ubuntu 12.04 / Debian 7:

sudo apt-get update 
sudo apt-get install ncftp python-paramiko python-pycryptopp lftp python-boto python-dev librsync-dev
wget https://launchpad.net/duplicity/0.7-series/0.7.02/+download/duplicity-0.7.02.tar.gz
tar xzvf duplicity*
cd duplicity*
sudo python setup.py install

We moeten vanaf de bron installeren omdat het Duplicity-pakket in Debian 7 en Ubuntu 12.04 verbroken zijn als gevolg van een wijziging in de back-end SSH-bibliotheek.

Controleer nogmaals of Duplicity is geïnstalleerd door te draaien:

duplicity -v

Het moet de volgende uitvoer teruggeven (versie kan verschillen):

duplicity 0.6.18

Sleutelloze verificatie instellen voor SSH

De volgende stap is het instellen van op certificaten gebaseerde verificatie voor SSH tussen de back-uphost en de bronhost. Hierdoor kan de bronserver naar SSH in de back-uphost zonder een wachtwoordzin in te typen. Vultr heeft een geweldig artikel waarin wordt uitgelegd hoe u dit moet doen: Hoe genereer ik SSH-sleutels .

Back-ups

De eerste (volledige) back-up uitvoeren

Laten we een volledige back-up maken! Hierdoor wordt een volledige kopie van de gegevens van de bronserver naar de bestemming gestuurd.

duplicity full -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

U kunt extra mappen toevoegen door meerdere --include="[dir]"verklaringen op te nemen.

De --no-encryptionspecificeert dat de gegevens niet op de bestemming moeten worden versleuteld. Gegevens worden tijdens het transport versleuteld terwijl ze door de SSH-tunnel gaan.

De --exclude="**" /optie is een truc om een ​​back-up te maken van alles dat alleen in de include-lijst staat (en niets anders).

Een incrementele back-up uitvoeren

Een incrementele back-up maken is heel eenvoudig - verander gewoon de fullvlag in de incrementalvlag.

duplicity incremental -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Automatisering

Schrijf geautomatiseerde scripts

Deze opdrachten moeten uitvoeren elke keer dat u een back-up nodig heeft, is een sleur - wat als we scripts hadden om het voor ons af te handelen?

Volledig back-upscript

Voer de opdracht uit.

nano /usr/local/bin/backup-full

Voeg de volgende inhoud toe.

#!/bin/bash
duplicity full -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Incrementeel back-upscript

nano /usr/local/bin/backup-incremental

Voeg de volgende inhoud toe.

#!/bin/bash
duplicity incremental -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Maak scripts uitvoerbaar

Voer de volgende opdracht uit om de scripts uitvoerbaar te maken.

chmod +x /usr/local/bin/backup-*

Nu kunt u een back-up maken door te draaien backup-fullen backup-incrementalvanuit de shell. Best wel gaaf!

Stel cron in

Laten we de back-ups automatisch maken! Door cron zo in te stellen dat de bovenstaande scripts op bepaalde tijden worden uitgevoerd, kunnen we ervoor zorgen dat er regelmatig back-ups worden gemaakt.

Voer de volgende opdracht uit.

crontab -e

Voeg het volgende toe aan de onderkant van het bestand.

10 01 * * 1,2,3,4,5,6 backup-incremental
10 01 * * 7 backup-full

Hiermee wordt elke zondag om 01.10 uur een volledige back-up uitgevoerd en om de dag om 01.10 uur worden er incrementele back-ups gemaakt.

Restauratie

Godzilla heeft Seattle vernietigd en we moeten de gegevens terug kunnen krijgen van de back-up VPS in New York!

duplicity --no-encryption --file-to-restore / ssh://user@backupserver:22/destdir/

Als we gegevens van 3 dagen geleden moeten herstellen:

duplicity --no-encryption -t 3D --file-to-restore / ssh://user@backupserver:22/destdir/

De -t 3Doptie houdt in dat u een back-up van drie dagen geleden herstelt. Vergelijkbare opties zoals -t 1M(voor een maand geleden) of -t 5H(voor 5 uur geleden) werken ook.