Plan de Sauvegarde Borg

Le plan Borg est une solution de sauvegarde basée sur Borgmatic.

Documentations :

• Borgmatic : https://torsion.org/borgmatic/docs/reference/command-line/ ;
• Borgbackups : https://borgbackup.readthedocs.io/en/stable/index.html (recommandation d'aller voir le sous-menu Usage).

Principes

Borgmatic prend une définition déclarative des paramètres d'une sauvegarde (excludes, rétention, nommage, chemin dépôt…) pour les traduire en action Borg : créer un dépôt, le purger, le vérifier…

Quelques pré-requis :

• l'adminsys d'une machine doit pouvoir régler lui-même certaines caractéristiques de la sauvegarde de sa machine : avec Borgmatic, il dispose d'un fichier de configuration où configurer des hooks (pour une base de données par exemple) ou définir les dossiers à sauver, définir les exclusions…
• l'adminsys de la sauvegarde doit pouvoir régler lui-même certaines caractérisiques des sauvegardes tels que rétention, horaire et autres : il dispose d'un fichier de configuration par machine sauvegardée et d'un script de déclenchement des sauvegardes.

Flux en mode local :

saukvipeu:/etc/cron.d/backups
    -> /srv/borg/bin/dobackup-local
        --> borgmatic create --verbosity 1
            -> /etc/borgmatic/fqdn.yaml + /etc/borgmatic/excludes
                --> /var/backups/borg/fqdn.repo

Flux en mode remote :

Systemd.borgmatic.timer(fqdn1)
    --> systemclt start borgmatic.service
            -> fqdn1:/etc/borgmatic/config.yaml + /etc/borgmatic/excludes
                --ssh(borg@sauvkipeu)--> /var/backups/borg/fqdn1.repo

Flux en mode rysnc :

fqdn:cron backup
    --> rsync fqdn1 sauvkipeu:/var/backups/borg/mirrors/fqdn   + fqdn.cache
sauvkipeu:/etc/cron.d/backups
    --> /srv/borg/bin/dobackup-rsync fqdn
        --> borgmatic create --verbosity 1
            -> fqdn1:/etc/borgmatic/config.yaml
                --> /var/backups/borg/fqdn.repo

Organisation des fichiers côté machine sauvegardée en mode remote :

• /etc/borgmatic/
  • config.yaml : configuration de la sauvegarde,
  • excludes : liste d'exclusions pour la sauvegarde.

Organisation des fichiers côté serveur de sauvegarde :

• /etc/borgmatic/
  • retention.yaml : paramétrage par défaut de la purge, par défaut inclus par les fichiers de configuration de /etc/borgmatic.d,
  • excludes : pattern d'exclusion pour la sauvegarde du serveur de sauvegarde,
• /etc/borgmatic.d/ : configurations des sauvegardes, 1 fichier par machine pour permettre la personnalisation,
  • fqdn1.yaml
  • fqdn2.yaml
  • …
• /var/backups/borg/ : espace de stockage des sauvegardes
  • dobackups.log : log des sauvegardes,
  • dochecks.log : log des vériciations des sauvegardes,
  • doprunes.log : log des purges des sauvegardes,
  • fqdn1.repo : dépôt des sauvegardes de la machine fqdn1,
  • fqdn2.repo : dépôt des sauvegardes de la machine fqdn2,
  • …
• /var/backups/borg/mirrors/ :
  • fqdn3/
  • fqdn3.cache/
• /srv/borg/bin/ : ensemble de scripts pour gérer les sauvegardes,
  • countbackups : affiche le nombre de sauvegardes pour chaque dépôt de sauvegarde,
  • dobackups : lance la sauvegarde de toutes les machines, appelé par cron,
  • dobackup-local : lance une sauvegarde du serveur de sauvegarde,
  • dobackup-remote : lance une sauvegarde en mode remote, c'est à dire par une commande ssh,
  • dobackup-rsync : lance une sauvegarde en mode rsync, c'est à dire via un miroir,
  • dochecks : lance la vériciation de chaque dépôt de sauvegarde, appelé par cron,
  • doreport : génère un rapport sur les sauvegardes,
  • doprunes : lance la purge de chaque dépôt de sauvegarde, appelé par cron,
  • doinit : créé un dépôt de sauvegarde dans /var/backups/borg/,
  • doinit-local : appelle doinit et créé le fichier de configuration associé pour le serveur de sauvegarde,
  • doinit-remote : appelle doinit et créé le fichier de configuration associé,
  • doinit-rsync : appelle doinit et créé le fichier de configuration associé,
  • lastbackups : affiche la dernière sauvegarde de chaque dépôt,
• /srv/borg/models/
  • cron : modèle pour un fichier cron,
  • excludes : modèle pour l'exclusion par défaut pendant les sauvegardes,
  • model-conf-local.yaml,
  • model-conf-remote.yaml,
  • model-conf-rsync.yaml,
  • retention.yaml : modèle pour le paramétrage par défaut des purges,
• /srv/borg/.borg-passphrase : passphrase des dépôts,
• /srv/borg/.ssh/ :
  • authorized_keys : définition des accès restreint pour les machines à sauvegarder.

Installation d'un serveur de sauvegarde

Ajouter les backports bullseye dans /etc/apt/source.list.d/ :

echo "deb http://ftp.fr.debian.org/debian/ bullseye-backports main" > /etc/apt/sources.list.d/backports.list

Installer les paquets nécessaires :

apt update
apt install -t bullseye-backports borgmatic borgbackup
apt install rsync gawk bc 

Désactiver le lancement quotidien de Borgmatic :

systemctl stop borgmatic.timer

Créer un utilisateur dédié borg :

adduser --disabled-password --system --group --home /srv/borg/ --shell /bin/bash borg

Créer des clés ssh pour l'utilisateur root (si besoin) :

ssh-keygen -t ed25519

Récupérer les scripts et modèles :

cd ~borg/
mkdir bin models
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
cd bin
wget -nv $URL/bin/countbackups
wget -nv $URL/bin/dobackup-server
wget -nv $URL/bin/dobackup-remote
wget -nv $URL/bin/dobackup-rsync
wget -nv $URL/bin/dobackups
wget -nv $URL/bin/dochecks
wget -nv $URL/bin/dochecksb
wget -nv $URL/bin/doinit
wget -nv $URL/bin/doprunes
wget -nv $URL/bin/doprunesb
wget -nv $URL/bin/lastbackups
cd ../models
wget -nv $URL/models/cron
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-local.yaml
wget -nv $URL/models/model-conf-remote.yaml
#wget -nv $URL/models/model-conf-remote-client.yaml
#wget -nv $URL/models/model-conf-rsync.yaml
wget -nv $URL/models/retention.yaml
cd .. ; find

Déployer la configuration générique de Borgmatic :

mkdir -p /etc/borgmatic/ /etc/borgmatic.d/
cp /srv/borg/models/retention.yaml /etc/borgmatic/
cp /srv/borg/models/excludes /etc/borgmatic/

Définir une passphrase générique :

echo "XXXXXXXXXXXXXXXXXXXXXXXXXXX" > ~borg/.borg-passphrase

Ajouter la ligne suivante dans /root/.bashrc (facilite la commande borg directe même si normalement on fait tout avec la commande borgmatic) :

export BORG_PASSCOMMAND="cat /srv/borg/.borg-passphrase"

Créer un dossier dédié aux sauvegardes du plan Borg :

mkdir -p /var/backups/borg
chown borg /var/backups/borg

Configurer le cron dans /etc/cron.d/backups :

cp /srv/borg/models/cron /etc/cron.d/backups
cd /srv/borg/
ln -s /etc/cron.d/backups cron

Configurer la sauvegarde du serveur de sauvegarde

Initialiser le contexte Borgmatic :

/srv/borg/bin/doinit-local

Lancer la première sauvegarde locale (dure moins d'une minutes) :

time /srv/borg/bin/dobackup-local

Afficher les informations du dépôt :

borgmatic -c /etc/borgmatic.d/$(hostname).yaml info

Afficher la liste des sauvegardes du dépôt :

borgmatic -c /etc/borgmatic.d/$(hostname).yaml list

Afficher le contenu de la sauvegarde :

borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --archive $(borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --short | tail -1)

Ajouter le déclenchement de la sauvegarde dans /srv/borg/bin/dobackups :

/srv/borg/bin/dobackup-local

Configurer la sauvegarde d'une machine en remote

C'est le cas nominal. Le principe consiste à configurer le serveur de sauvegarde pour déclencher l'action de sauvegarde sur la machine à sauvegarder.

Côté machine à sauvegarder

Script expérimental (s'arrêtant à l'ajout de la passphrase, reprendre à ce moment ci-dessous) :

wget -O /tmp/deploy-remote  https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/bin/deploy-remote
bash /tmp/deploy-remote

Sinon, mode manuel ci-après.

Ajouter les backports bullseye dans /etc/apt/source.list.d :

echo "deb http://ftp.fr.debian.org/debian/ bullseye-backports main" > /etc/apt/sources.list.d/backports.list

Installer les paquets nécessaires :

apt update
apt install -t bullseye-backports borgmatic borgbackup

Par défaut, le service Systemd de Borgmatic n'a pas d'action en paramètre et cela déclenche une série d'actions : prune, create… Le prune est lancé côté serveur donc il faut forcer l'action create. De même, des actions de restrictions de permissions y sont activées donc il faut les désactiver. Ces changements sont à faire dans /usr/lib/systemd/system/borgmatic.service :

sed -i s#/usr/bin/borgmatic#/usr/bin/borgmatic\ create# /usr/lib/systemd/system/borgmatic.service
sed -i 's/CapabilityBoundingSet/#CapabilityBoundingSet/' /usr/lib/systemd/system/borgmatic.service
systemctl daemon-reload

Créer des clés ssh pour l'utilisateur root (si besoin) :

ssh-keygen -t ed25519

Créer et peupler le dossier de configruation de Borgmatic :

mkdir -p /etc/borgmatic
cd /etc/borgmatic
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-remote-client.yaml -O /etc/borgmatic/config.yaml
mkdir -p /etc/borgmatic/hooks/
cd /etc/borgmatic/hooks
wget -nv $URL/bin/dumps
wget -nv $URL/bin/dump-msql
wget -nv $URL/bin/dump-psql
wget -nv $URL/bin/dump-influx
chmod u+x /etc/borgmatic/hooks/dump*

Configurer la passphrase dans /etc/borgmatic/config.yaml :

     encryption_passphrase: 'XXXXXXXXXXXXXX'

Vérifier que la configuration Borgmatic est valide :

validate-borgmatic-config

Si besoin, suivant les particularité de la machine à sauvegarder, ajouter des entrées dans le fichier /etc/borgmatic/excludes.

Côté serveur de sauvegarde

Initialiser le contexte Borgmatic :

/srv/borg/bin/doinit-remote foo.bar.org

Ajouter un accès ssh restreint dans /srv/borg/.ssh/authorized_keys :

command="export BORG_PASSCOMMAND=/srv/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borg/foo.bar.org.repo/ --restrict-to-repository /var/backups/borg/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ root666@foo.bar.org

Tester côté marchine à sauvegarder

Valider les clés des serveurs de sauvegarde (ignorer l'erreur) :

ssh -p222 sauvkipeu.libre-en-communs.org
ssh -p222 gardefou.libre-en-communs.org

Lancer une première sauvegarde (prévoir 2 min) :

systemctl start borgmatic

Tester côté serveur

Lancer une sauvegarde : time /srv/borg/bin/dobackup-remote foo.bar.org.

Afficher les informations du dépôt :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info

Afficher la liste des sauvegardes du dépôt :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list

Afficher le contenu de la sauvegarde :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX

Ajouter Ne pas ajouter le lancement de la sauvegarde dans /srv/borg/bin/dobackups :

 /srv/borg/bin/dobackup-remote foo.bar.org

Configurer la sauvegarde d'une machine en rsync (OpenWRT)

Le principe de cette sauvegarde consiste en deux étapes :

• création d'un miroir de la machine à sauvegarder ;
• sauvegarde borgmatic du miroir.

C'est notamment adapté aux cas des routeurs OpenWRT où le logiciel Borgmatic n'est pas déployable.

Côté machine à sauvegarder (OpenWRT)

Prérequis : installer rsync.

Recommandation d'exporter quotidiennement la configuration Luci en ajoutant dans /etc/crontabs/root :

54 23 * * *  /sbin/sysupgrade --create-backup /root/backup-config-${HOSTNAME}.tgz

Bizarrement, dans /etc/dropbear/, on trouve les clés privés de la machine mais sans les clés publiques /o\ Pour contourner le problème, on va créer une paire de clé dédiées à la sauvegarde. On va la stocker à l'endroit habituel /root/.ssh/ où viendra également le fichier known_hosts.

Créer des clés ssh dédiées à la sauvegarde pour l'utilisateur root :

mkdir ~/.ssh 
chmod go-rwx .ssh/
dropbearkey -t ed25519 -f ~/.ssh/backup_ssh_key
Generating 256 bit ed25519 key, this may take a while...
Public key portion is:
ssh-ed25519 AAAA5555555555555555555555555555555555555555555555555555555555555555 root@leparc
Fingerprint: sha1!! 55:55:55:55:55:55:55:55:55:55:55:55:55:55:55:55:55:55:55:55

Copier la clé publique ci-dessus (toute la ligne « ssh-ed25519 AAAA… ») dans le fichier ~/.ssh/backup_ssh_key.pub.

Récupérer le script de synchronisation :

mkdir -p /root/bin/
cd /root/bin
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
wget -nv $URL/bin/push-mirror
chmod u+x /root/bin/push-mirror

Ajouter l'appel dans /etc/crontabs/root :

55 23 * * *  /root/bin/push-mirror

Côté serveur de sauvegarde

Initialiser le contexte Borgmatic :

/srv/borg/bin/doinit-rsync foo.bar.org

Ajouter un accès ssh restreint dans /srv/borg/.ssh/authorized_keys :

command="/usr/bin/rrsync -wo /var/backups/borg/mirrors/foo.bar.org/",restrict ssh-ed25519 AAAAXXXXXXXXXXXX root@foo.bar.org

Ajouter le lancement de la sauvegarde dans /srv/borg/bin/dobackups :

/srv/borg/bin/dobackup-rsync foo.bar.org

Tester côté marchine à sauvegarder

Valider les clés des serveurs de sauvegarde (ignorer l'erreur) :

ssh -p222 sauvkipeu.libre-en-communs.org
ssh -p222 gardefou.libre-en-communs.org

Lancer une première synchronisation du miroir :

/root/bin/push-mirror

Tester côté serveur

Lancer une sauvegarde :

borgmatic -c /etc/borgmatic.d/foo.bar.org create --verbosity 1

Afficher les informations du dépôt :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info

Afficher la liste des sauvegardes du dépôt :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list

Afficher le contenu de la sauvegarde :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX

Opérations sur les sauvegardes

Rapport général

Résultat de doreport :

COMPUTER                              COUNT    Original   Compressed   Deduplicat               Last         Diff    Duration
audio.a-lec.org                           6    37.21 GB     10.31 GB      1.72 GB   2023-01-23T00:11     11.05 MB    00:00:20
audio.chalec.org                         10    68.38 GB     19.18 GB      2.16 GB   2023-01-23T00:18     24.09 MB    00:00:24
aunt.libre-en-communs.org                 1    23.48 GB      2.35 GB      2.23 GB   2023-01-22T02:43      2.23 GB    00:03:31
ctrlv.chalec.org                          6    41.24 GB     12.39 GB      2.10 GB   2023-01-23T00:19      3.42 MB    00:00:22
dns.libre-en-communs.org                  6    24.18 GB     10.78 GB      1.83 GB   2023-01-23T00:10     22.79 MB    00:00:26
forge.chalec.org                          5    54.85 GB     27.66 GB      5.41 GB   2023-01-23T00:19    696.08 MB    00:01:46
gestion.a-lec.org                         5    72.35 GB     30.94 GB      5.78 GB   2023-01-23T00:11     23.53 MB    00:02:26
git.a-lec.org                             5    74.12 GB     38.07 GB      7.68 GB   2023-01-23T00:14    130.11 MB    00:01:18
isengard.libre-en-communs.org             5    61.74 GB     25.47 GB      5.37 GB   2023-01-23T00:10    130.18 MB    00:00:39
libreverse.chalec.org                     6    60.97 GB     23.88 GB      5.55 GB   2023-01-23T00:21    680.08 MB    00:00:47
mail.a-lec.org                            5    54.40 GB     24.77 GB      4.41 GB   2023-01-23T00:15     67.06 MB    00:01:11
pad.chalec.org                            6    49.18 GB     18.28 GB      2.98 GB   2023-01-23T00:22     77.97 MB    00:00:44
petition.chalec.org                       6    37.76 GB     11.50 GB      1.87 GB   2023-01-23T00:23      6.50 MB    00:00:33
sauvkipeu.libre-en-communs.org           12    15.73 GB      7.37 GB    661.52 MB   2023-01-23T00:10      6.04 MB    00:00:12
stats.chalec.org                         10    64.43 GB     18.29 GB      1.98 GB   2023-01-23T00:24     26.15 MB    00:00:22
status.chalec.org                        11    23.24 GB      9.91 GB      1.20 GB   2023-01-23T00:24     13.34 MB    00:00:18
visio.chalec.org                          6    43.08 GB     13.35 GB      2.23 GB   2023-01-23T00:24     12.38 MB    00:00:21
www.a-lec.org                             5    27.91 GB     12.35 GB      2.24 GB   2023-01-23T00:17     24.66 MB    00:00:25
www.chalec.org                            6    40.95 GB     14.57 GB      2.32 GB   2023-01-23T00:25     16.68 MB    00:00:24
xmpp.a-lec.org                            6    74.14 GB     41.13 GB      6.97 GB   2023-01-23T00:17     48.87 MB    00:00:45
xmpp.chalec.org                           6    69.83 GB     27.70 GB      5.31 GB   2023-01-23T00:25    556.20 MB    00:01:08
Total repository count: 21
Total archive count:    134
Total disk size:        73G .
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/sda1          229G     75G  142G  35% /

Récupération

Lister les sauvegardes de la machine audio.a-lec.org :

$ borgmatic -c /etc/borgmatic.d/audio.a-lec.org.yaml list
/var/backups/borg/audio.a-lec.org.repo: Listing archives
2023-01-20T01:34                     Fri, 2023-01-20 01:34:12 [625a6eb4255718932254fa8eda18a17f10ada05d051c1576168758ea1ec9e014]
2023-01-21T12:52                     Sat, 2023-01-21 12:52:23 [b256357077848c23ca0650164f4ec51ecb97a8bb8fc38d652a8acb1e0968a951]
2023-01-22T01:03                     Sun, 2023-01-22 01:03:37 [c51614c0545d106881e49942d58d2f1c1adebfe3e11fae22d897de4442dafc58]
2023-01-23T00:11                     Mon, 2023-01-23 00:11:34 [8c6720c3b4da7646512d90c4f65a6063d95894bfc909e57ef20d94622bfac04f]
2023-01-24T00:11                     Tue, 2023-01-24 00:11:41 [687d58fd4acfad1bf0f3aa302ed57484e149db7447bef05865888cdf8b2fcc5c]

Lister les fichiers d'une sauvegarde :

mkdir -p tmp ; cd tmp
borgmatic -c /etc/borgmatic.d/audio.a-lec.org.yaml list --archive 2023-01-25T00:11
/var/backups/borg/audio.a-lec.org.repo: Listing archives
drwxr-xr-x root   root          0 Fri, 2023-01-20 01:22:45 etc
drwxr-xr-x root   root          0 Mon, 2021-08-16 17:00:51 etc/console-setup
-rw-r--r-- root   root         34 Thu, 2019-08-15 16:11:30 etc/console-setup/compose.ARMSCII-8.inc
-rw-r--r-- root   root         31 Thu, 2019-08-15 16:11:30 etc/console-setup/compose.CP1251.inc
-rw-r--r-- root   root         31 Thu, 2019-08-15 16:11:30 etc/console-setup/compose.CP1255.inc
-rw-r--r-- root   root         31 Thu, 2019-08-15 16:11:30 etc/console-setup/compose.CP1256.inc
-rw-r--r-- root   root        569 Fri, 2022-05-13 11:40:24 etc/fstab
[…]

Récupérer un fichier ou un dossier :

mkdir -p tmp ; cd tmp
borgmatic -c /etc/borgmatic.d/audio.a-lec.org.yaml extract --archive 2023-01-25T00:11 --path /etc/fstab
ll etc/fstab 
-rw-r--r-- 1 root root 569 13 mai    2022 etc/fstab

Récupérer tout une sauvegarde :

mkdir -p tmp ; cd tmp
borgmatic -c /etc/borgmatic.d/audio.a-lec.org.yaml extract --archive 2023-01-25T00:11

Suppression

Borgmatic ne prévoit pas de commande pour supprimer une sauvegarde. Il faut passer par Borg :

borg delete /var/backups/borg/audio.a-lec.org.repo::2023-01-25T00:11

Protection d'une sauvegarde

La purge automatique utilise un filtre sélectionnant uniquement les sauvegardes commençant par le chiffre 2 (en référence à 2023…). Pour qu'une sauvegarde échappe à toute suppression automatique, il suffit de la nommer en commençant par autre chose.