cominfra

11 KiB

Raw Blame History

Plan Borg

Introduction

Le plan Borg est une solution de sauvegarde basée sur Borgmatic.

[[TOC]]

Principes

Quelques pré-requis :

l'adminsys d'une machine doit pouvoir régler lui-même certaines caractéristiques de la sauvegarde de sa machine : avec Borgmatic, il dispose d'un fichier de configuration où configurer des hooks (pour une base de données par exemple) ou définir les dossiers à sauver, définir les exclusions…
l'adminsys de la sauvegarde doit pouvoir régler lui-même certaines caractérisiques des sauvegardes tels que rétention, horaire et autres : il dispose d'un fichier de configuration par machine sauvegardée et d'un script de déclenchement des sauvegardes.

Organisation des fichiers côté serveur de sauvegarde :

/etc/borgmatic/
- retention.yaml
- excludes
/etc/borgmatic.d/
- fqdn1.yaml
- fqdn2.yaml
- …
/var/backups/borg/
- dobackups.log
- dochecks.log
- doprunes.log
- fqdn1.repo
- fqdn2.repo
- …
/srv/borg/bin/
- doreport : TODO
- dobackups
- doprunes
- dochecks
- countbackups
- dobackup-remote
- doinit
- doinit-remote
- doprunesb
- dochecksb
- doinit-rsync
- doinit-local
- dobackup-local
- lastbackups
- dobackup-rsync
/srv/borg/models/
- cron
- excludes
- retention.yaml
/srv/borg/.borg-passphrase
/srv/borg/.ssh/

Organisation des fichiers côté machine sauvegardée en mode remote :

/etc/borgmatic/
- config.yaml
- excludes

Installation d'un serveur de sauvegarde

Ajouter les backports bullseye dans /etc/apt/source.list :

deb http://ftp.fr.debian.org/debian/ bullseye-backports main

Installer les paquets nécessaires :

apt update
apt install -t bullseye-backports borgmatic borgbackup

Créer un utilisateur dédié borg :

adduser --disabled-password --system --group --home /srv/borg/ --shell /bin/bash borg

Créer des clés ssh pour l'utilisateur root (si besoin) :

sudo ssh-keygen -t ed25519

Récupérer les scripts et modèles :

cd ~borg/
mkdir bin models
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
cd bin
wget -nv $URL/bin/countbackups
wget -nv $URL/bin/dobackup-server
wget -nv $URL/bin/dobackup-remote
wget -nv $URL/bin/dobackup-rsync
wget -nv $URL/bin/dobackups
wget -nv $URL/bin/dochecks
wget -nv $URL/bin/dochecksb
wget -nv $URL/bin/doinit
wget -nv $URL/bin/doprunes
wget -nv $URL/bin/doprunesb
wget -nv $URL/bin/lastbackups
cd ../models
wget -nv $URL/models/cron
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-local.yaml
wget -nv $URL/models/model-conf-remote.yaml
#wget -nv $URL/models/model-conf-remote-client.yaml
#wget -nv $URL/models/model-conf-rsync.yaml
wget -nv $URL/models/retention.yaml
cd .. ; find

Déployer la configuration générique de Borgmatic :

mkdir -p /etc/borgmatic/ /etc/borgmatic.d/
cp /srv/borg/models/retention.yaml /etc/borgmatic/
cp /srv/borg/models/excludes /etc/borgmatic/

Définir une passphrase générique :

echo "XXXXXXXXXXXXXXXXXXXXXXXXXXX" > ~borg/.borg-passphrase

Ajouter la ligne suivante dans /root/.bashrc (facilite la commande borg directe même si normalement on fait tout avec la commande borgmatic) :

export BORG_PASSCOMMAND="cat /srv/borg/.borg-passphrase"

Créer un dossier dédié aux sauvegardes du plan Borg :

mkdir -p /var/backups/borg
chown borg /var/backups/borg

Configurer le cron dans /etc/cron.d/backups :

cp /srv/borg/models/cron /etc/cron.d/backups
cd /srv/borg/
ln -s /etc/cron.d/backups cron

Configurer la sauvegarde du serveur de sauvegarde

Initialiser le contexte Borgmatic :

/srv/borg/bin/doinit-local

Lancer la première sauvegarde locale (dure moins d'une minutes) :

time /srv/borg/bin/dobackup-local

Afficher les informations du dépôt :

borgmatic -c /etc/borgmatic.d/$(hostname).yaml info

Afficher la liste des sauvegardes du dépôt :

borgmatic -c /etc/borgmatic.d/$(hostname).yaml list

Afficher le contenu de la sauvegarde :

borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --archive $(borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --short | tail -1)

Ajouter le déclenchement de la sauvegarde dans /srv/borg/bin/dobackups :

/srv/borg/bin/dobackup-local

Configurer la sauvegarde d'une machine en remote

C'est le cas nominal. Le principe consiste à configurer le serveur de sauvegarde pour déclencher l'action de sauvegarde sur la machine à sauvegarder.

Côté machine à sauvegarder

Ajouter les backports bullseye dans /etc/apt/source.list.d :

echo "deb http://ftp.fr.debian.org/debian/ bullseye-backports main" > /etc/apt/sources.list.d/backports.list

Installer les paquets nécessaires :

apt update
apt install -t bullseye-backports borgmatic borgbackup

Créer des clés ssh pour l'utilisateur root (si besoin) :

sudo ssh-keygen -t ed25519

Créer et peupler le dossier de configruation de Borgmatic :

mkdir -p /etc/borgmatic
cd /etc/borgmatic
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-remote-client.yaml -O /etc/borgmatic/config.yaml

Configurer la passphrase dans /etc/borgmatic/config.yaml :

     encryption_passphrase: 'XXXXXXXXXXXXXX'

Vérifier que la configuration Borgmatic est valide :

validate-borgmatic-config

Ajouter la clé root du serveur de sauvegarde dans /home/admin666/.ssh/authorized_keys :

ssh-ed25519 AAAAXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root@sauvkipeu.libre-en-communs.org

Côté serveur de sauvegarde

Initialiser le contexte Borgmatic :

/srv/borg/bin/doinit-remote foo.bar.org

Ajouter un accès ssh restreint dans /srv/borg/.ssh/authorized_keys :

command="export BORG_PASSCOMMAND=/srv/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borg/foo.bar.org.repo/ --restrict-to-repository /var/backups/borg/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ root666@foo.bar.org

Tester côté marchine à sauvegarder

Lancer une première sauvegarde (prévoir 2 min) :

time borgmatic create --stats --verbosity 1

Tester côté serveur

Lancer une sauvegarde :

time sudo /srv/borg/bin/dobackup-remote foo.bar.org

Afficher les informations du dépôt :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info

Afficher la liste des sauvegardes du dépôt :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list

Afficher le contenu de la sauvegarde :

borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX

Ajouter le lancement de la sauvegarde dans /srv/borg/bin/dobackups :

/srv/borg/bin/dobackup-remote foo.bar.org

Configurer la sauvegarde d'une machine en rsync

Le principe consiste en deux étapes :

création d'un miroir de la machine à sauvegarder ;
sauvegarde borgmatic du miroir.

C'est notamment adapté aux cas des routeurs où le logiciel Borgmatic n'est pas déployable.

Côté serveur de sauvegarde

STU

Côté machine à sauvegarder

STU

Tester côté serveur

STU

Sauver les bases de données

STU

Notes pour les mises à jour futures

Actuellement :

root@sauvkipeu:/var/backups/borg# borgmatic --version
1.5.13.dev0
root@sauvkipeu:/var/backups/borg# borg -V
borg 1.1.16

Or :

Borgmatic releases : 1.7.5
Borg release : 1.2.3

Donc des précautions sont à prévoir dans le futur. Normalement, commme l'usage fait est relativment basique, cela devrait avoir des impactes limités.

Pour Borgmatic :

1.7.0 :
- #571: Add "--list" as alias for "--files" flag on "create" and "export-tar" actions.
1.6.1 :
- #402: Remove the error when "archive_name_format" is specified but a retention prefix isn't.

Opérations sur les sauvegardes

Rapport général

Résultat de doreport :

COMPUTER                              COUNT        LAST                Original size      Compressed size    Deduplicated size    Duration
audio.a-lec.org                           4 2023-01-22T00:11                24.80 GB              6.87 GB              1.70 GB    18.07 s
audio.chalec.org                          8 2023-01-22T00:18                54.81 GB             15.39 GB              2.11 GB    25.38 s
ctrlv.chalec.org                          4 2023-01-22T00:19                27.47 GB              8.26 GB              2.10 GB    24.22 s
dns.libre-en-communs.org                  4 2023-01-22T00:10                16.12 GB              7.18 GB              1.80 GB    26.57 s
forge.chalec.org                          3 2023-01-22T00:19                32.76 GB             16.33 GB              4.70 GB    1 min 10.38 s
gestion.a-lec.org                         3 2023-01-22T00:11                43.42 GB             18.56 GB              5.74 GB    2 min 35.41 s
git.a-lec.org                             3 2023-01-22T00:14                44.72 GB             22.87 GB              7.52 GB    1 min 14.41 s
isengard.libre-en-communs.org             3 2023-01-22T00:10                37.04 GB             15.26 GB              5.16 GB    35.08 s
libreverse.chalec.org                     4 2023-01-22T00:20                40.64 GB             15.92 GB              4.68 GB    41.89 s
mail.a-lec.org                            3 2023-01-22T00:16                32.69 GB             14.87 GB              4.29 GB    1 min 3.38 s
pad.chalec.org                            4 2023-01-22T00:21                32.79 GB             12.19 GB              2.89 GB    43.64 s
petition.chalec.org                       4 2023-01-22T00:22                25.17 GB              7.67 GB              1.86 GB    34.06 s
sauvkipeu.libre-en-communs.org           10 2023-01-22T00:59                13.10 GB              6.14 GB            650.40 MB    10.79 s
stats.chalec.org                          8 2023-01-22T00:23                51.54 GB             14.63 GB              1.93 GB    21.06 s
status.chalec.org                        11 2023-01-22T00:23                23.22 GB              9.91 GB              1.19 GB    15.34 s
visio.chalec.org                          4 2023-01-22T00:23                28.73 GB              8.90 GB              2.21 GB    20.53 s
www.a-lec.org                             3 2023-01-22T00:17                16.75 GB              7.41 GB              2.19 GB    25.36 s
www.chalec.org                            4 2023-01-22T00:24                27.31 GB              9.71 GB              2.29 GB    21.57 s
xmpp.a-lec.org                            4 2023-01-22T00:17                49.53 GB             27.44 GB              6.90 GB    41.97 s
xmpp.chalec.org                           4 2023-01-22T00:24                46.55 GB             18.40 GB              4.71 GB    52.14 s
Total repository count: 20
Total archive count:    95
Total disk size:        68G .
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/sda1          229G     70G  147G  33% /

Récupération

Explorer la sauvegarde :

Récupérer un fichier :

Récupérer un dossier :

Récupérer tout une sauvegarde :

Suppression

TODO

11 KiB Raw Blame History

Introduction

Principes

Installation d'un serveur de sauvegarde

Configurer la sauvegarde du serveur de sauvegarde

Configurer la sauvegarde d'une machine en remote

Côté machine à sauvegarder

Côté serveur de sauvegarde

Tester côté marchine à sauvegarder

Tester côté serveur

Configurer la sauvegarde d'une machine en rsync

Côté serveur de sauvegarde

Côté machine à sauvegarder

Tester côté serveur

Sauver les bases de données

Notes pour les mises à jour futures

Opérations sur les sauvegardes

Rapport général

Récupération

Suppression

11 KiB

Raw Blame History