Christian P. MOMON
a81dd6f29c
|
||
|---|---|---|
| .. | ||
| bin | ||
| models | ||
| .gitkeep | ||
| README.md | ||
README.md
| Plan Borg |
|---|
Introduction
Le plan Borg est une solution de sauvegarde basée sur Borgmatic.
[[TOC]]
Principes
Quelques pré-requis :
- l'adminsys d'une machine doit pouvoir régler lui-même certaines caractéristiques de la sauvegarde de sa machine : avec Borgmatic, il dispose d'un fichier de configuration où configurer des hooks (pour une base de données par exemple) ou définir les dossiers à sauver, définir les exclusions…
- l'adminsys de la sauvegarde doit pouvoir régler lui-même certaines caractérisiques des sauvegardes tels que rétention, horaire et autres : il dispose d'un fichier de configuration par machine sauvegardée et d'un script de déclenchement des sauvegardes.
Organisation des fichiers côté serveur de sauvegarde :
- /etc/borgmatic/
- retention.yaml
- excludes
- /etc/borgmatic.d/
- fqdn1.yaml
- fqdn2.yaml
- …
- /var/backups/borg/
- dobackups.log
- dochecks.log
- doprunes.log
- fqdn1.repo
- fqdn2.repo
- …
- /srv/borg/bin/
- doreport : TODO
- dobackups
- doprunes
- dochecks
- countbackups
- dobackup-remote
- doinit
- doinit-remote
- doprunesb
- dochecksb
- doinit-rsync
- doinit-local
- dobackup-local
- lastbackups
- dobackup-rsync
- /srv/borg/models/
- cron
- excludes
- retention.yaml
- /srv/borg/.borg-passphrase
- /srv/borg/.ssh/
Organisation des fichiers côté machine sauvegardée en mode remote :
- /etc/borgmatic/
- config.yaml
- excludes
Installation d'un serveur de sauvegarde
Ajouter les backports bullseye dans /etc/apt/source.list :
deb http://ftp.fr.debian.org/debian/ bullseye-backports main
Installer les paquets nécessaires :
apt update
apt install -t bullseye-backports borgmatic borgbackup
apt gawk bc
Créer un utilisateur dédié borg :
adduser --disabled-password --system --group --home /srv/borg/ --shell /bin/bash borg
Créer des clés ssh pour l'utilisateur root (si besoin) :
sudo ssh-keygen -t ed25519
Récupérer les scripts et modèles :
cd ~borg/
mkdir bin models
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
cd bin
wget -nv $URL/bin/countbackups
wget -nv $URL/bin/dobackup-server
wget -nv $URL/bin/dobackup-remote
wget -nv $URL/bin/dobackup-rsync
wget -nv $URL/bin/dobackups
wget -nv $URL/bin/dochecks
wget -nv $URL/bin/dochecksb
wget -nv $URL/bin/doinit
wget -nv $URL/bin/doprunes
wget -nv $URL/bin/doprunesb
wget -nv $URL/bin/lastbackups
cd ../models
wget -nv $URL/models/cron
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-local.yaml
wget -nv $URL/models/model-conf-remote.yaml
#wget -nv $URL/models/model-conf-remote-client.yaml
#wget -nv $URL/models/model-conf-rsync.yaml
wget -nv $URL/models/retention.yaml
cd .. ; find
Déployer la configuration générique de Borgmatic :
mkdir -p /etc/borgmatic/ /etc/borgmatic.d/
cp /srv/borg/models/retention.yaml /etc/borgmatic/
cp /srv/borg/models/excludes /etc/borgmatic/
Définir une passphrase générique :
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXX" > ~borg/.borg-passphrase
Ajouter la ligne suivante dans /root/.bashrc (facilite la commande borg directe même si normalement on fait tout avec la commande borgmatic) :
export BORG_PASSCOMMAND="cat /srv/borg/.borg-passphrase"
Créer un dossier dédié aux sauvegardes du plan Borg :
mkdir -p /var/backups/borg
chown borg /var/backups/borg
Configurer le cron dans /etc/cron.d/backups :
cp /srv/borg/models/cron /etc/cron.d/backups
cd /srv/borg/
ln -s /etc/cron.d/backups cron
Configurer la sauvegarde du serveur de sauvegarde
Initialiser le contexte Borgmatic :
/srv/borg/bin/doinit-local
Lancer la première sauvegarde locale (dure moins d'une minutes) :
time /srv/borg/bin/dobackup-local
Afficher les informations du dépôt :
borgmatic -c /etc/borgmatic.d/$(hostname).yaml info
Afficher la liste des sauvegardes du dépôt :
borgmatic -c /etc/borgmatic.d/$(hostname).yaml list
Afficher le contenu de la sauvegarde :
borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --archive $(borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --short | tail -1)
Ajouter le déclenchement de la sauvegarde dans /srv/borg/bin/dobackups :
/srv/borg/bin/dobackup-local
Configurer la sauvegarde d'une machine en remote
C'est le cas nominal. Le principe consiste à configurer le serveur de sauvegarde pour déclencher l'action de sauvegarde sur la machine à sauvegarder.
Côté machine à sauvegarder
Ajouter les backports bullseye dans /etc/apt/source.list.d :
echo "deb http://ftp.fr.debian.org/debian/ bullseye-backports main" > /etc/apt/sources.list.d/backports.list
Installer les paquets nécessaires :
apt update
apt install -t bullseye-backports borgmatic borgbackup
Créer des clés ssh pour l'utilisateur root (si besoin) :
sudo ssh-keygen -t ed25519
Créer et peupler le dossier de configruation de Borgmatic :
mkdir -p /etc/borgmatic
cd /etc/borgmatic
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-remote-client.yaml -O /etc/borgmatic/config.yaml
Configurer la passphrase dans /etc/borgmatic/config.yaml :
encryption_passphrase: 'XXXXXXXXXXXXXX'
Vérifier que la configuration Borgmatic est valide :
validate-borgmatic-config
Ajouter la clé root du serveur de sauvegarde dans /home/admin666/.ssh/authorized_keys :
ssh-ed25519 AAAAXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root@sauvkipeu.libre-en-communs.org
Si besoin, suivant les particularité de la machine à sauvegarder, ajouter des entrées dans le fichier /etc/borgmatic/excludes.
Côté serveur de sauvegarde
Initialiser le contexte Borgmatic :
/srv/borg/bin/doinit-remote foo.bar.org
Ajouter un accès ssh restreint dans /srv/borg/.ssh/authorized_keys :
command="export BORG_PASSCOMMAND=/srv/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borg/foo.bar.org.repo/ --restrict-to-repository /var/backups/borg/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ root666@foo.bar.org
Tester côté marchine à sauvegarder
Lancer une première sauvegarde (prévoir 2 min) :
time borgmatic create --stats --verbosity 1
Tester côté serveur
Lancer une sauvegarde :
time sudo /srv/borg/bin/dobackup-remote foo.bar.org
Afficher les informations du dépôt :
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info
Afficher la liste des sauvegardes du dépôt :
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list
Afficher le contenu de la sauvegarde :
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX
Ajouter le lancement de la sauvegarde dans /srv/borg/bin/dobackups :
/srv/borg/bin/dobackup-remote foo.bar.org
Configurer la sauvegarde d'une machine en rsync
Le principe consiste en deux étapes :
- création d'un miroir de la machine à sauvegarder ;
- sauvegarde borgmatic du miroir.
C'est notamment adapté aux cas des routeurs où le logiciel Borgmatic n'est pas déployable.
Côté serveur de sauvegarde
STU
Côté machine à sauvegarder
STU
Tester côté serveur
STU
Sauver les bases de données
STU
Notes pour les mises à jour futures
Actuellement :
root@sauvkipeu:/var/backups/borg# borgmatic --version
1.5.13.dev0
root@sauvkipeu:/var/backups/borg# borg -V
borg 1.1.16
Or :
- Borgmatic releases : 1.7.5
- Borg release : 1.2.3
Donc des précautions sont à prévoir dans le futur. Normalement, commme l'usage fait est relativment basique, cela devrait avoir des impactes limités.
Pour Borgmatic :
- 1.7.0 :
- #571: Add "--list" as alias for "--files" flag on "create" and "export-tar" actions.
- 1.6.1 :
- #402: Remove the error when "archive_name_format" is specified but a retention prefix isn't.
Opérations sur les sauvegardes
Rapport général
Résultat de doreport :
COMPUTER COUNT Original Compressed Deduplicat Last Diff Duration
audio.a-lec.org 6 37.21 GB 10.31 GB 1.72 GB 2023-01-23T00:11 11.05 MB 00:00:20
audio.chalec.org 10 68.38 GB 19.18 GB 2.16 GB 2023-01-23T00:18 24.09 MB 00:00:24
aunt.libre-en-communs.org 1 23.48 GB 2.35 GB 2.23 GB 2023-01-22T02:43 2.23 GB 00:03:31
ctrlv.chalec.org 6 41.24 GB 12.39 GB 2.10 GB 2023-01-23T00:19 3.42 MB 00:00:22
dns.libre-en-communs.org 6 24.18 GB 10.78 GB 1.83 GB 2023-01-23T00:10 22.79 MB 00:00:26
forge.chalec.org 5 54.85 GB 27.66 GB 5.41 GB 2023-01-23T00:19 696.08 MB 00:01:46
gestion.a-lec.org 5 72.35 GB 30.94 GB 5.78 GB 2023-01-23T00:11 23.53 MB 00:02:26
git.a-lec.org 5 74.12 GB 38.07 GB 7.68 GB 2023-01-23T00:14 130.11 MB 00:01:18
isengard.libre-en-communs.org 5 61.74 GB 25.47 GB 5.37 GB 2023-01-23T00:10 130.18 MB 00:00:39
libreverse.chalec.org 6 60.97 GB 23.88 GB 5.55 GB 2023-01-23T00:21 680.08 MB 00:00:47
mail.a-lec.org 5 54.40 GB 24.77 GB 4.41 GB 2023-01-23T00:15 67.06 MB 00:01:11
pad.chalec.org 6 49.18 GB 18.28 GB 2.98 GB 2023-01-23T00:22 77.97 MB 00:00:44
petition.chalec.org 6 37.76 GB 11.50 GB 1.87 GB 2023-01-23T00:23 6.50 MB 00:00:33
sauvkipeu.libre-en-communs.org 12 15.73 GB 7.37 GB 661.52 MB 2023-01-23T00:10 6.04 MB 00:00:12
stats.chalec.org 10 64.43 GB 18.29 GB 1.98 GB 2023-01-23T00:24 26.15 MB 00:00:22
status.chalec.org 11 23.24 GB 9.91 GB 1.20 GB 2023-01-23T00:24 13.34 MB 00:00:18
visio.chalec.org 6 43.08 GB 13.35 GB 2.23 GB 2023-01-23T00:24 12.38 MB 00:00:21
www.a-lec.org 5 27.91 GB 12.35 GB 2.24 GB 2023-01-23T00:17 24.66 MB 00:00:25
www.chalec.org 6 40.95 GB 14.57 GB 2.32 GB 2023-01-23T00:25 16.68 MB 00:00:24
xmpp.a-lec.org 6 74.14 GB 41.13 GB 6.97 GB 2023-01-23T00:17 48.87 MB 00:00:45
xmpp.chalec.org 6 69.83 GB 27.70 GB 5.31 GB 2023-01-23T00:25 556.20 MB 00:01:08
Total repository count: 21
Total archive count: 134
Total disk size: 73G .
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/sda1 229G 75G 142G 35% /
Récupération
Explorer la sauvegarde :
Récupérer un fichier :
Récupérer un dossier :
Récupérer tout une sauvegarde :
Suppression
TODO