365 lines
11 KiB
Markdown
365 lines
11 KiB
Markdown
| Plan Borg |
|
|
| --------- |
|
|
|
|
# Introduction
|
|
|
|
Le plan Borg est une solution de sauvegarde basée sur Borgmatic.
|
|
|
|
[[_TOC_]]
|
|
|
|
# Principes
|
|
|
|
Quelques pré-requis :
|
|
- l'adminsys d'une machine doit pouvoir régler lui-même certaines caractéristiques de la sauvegarde de sa machine : avec Borgmatic, il dispose d'un fichier de configuration où configurer des hooks (pour une base de données par exemple) ou définir les dossiers à sauver, définir les exclusions…
|
|
- l'adminsys de la sauvegarde doit pouvoir régler lui-même certaines caractérisiques des sauvegardes tels que rétention, horaire et autres : il dispose d'un fichier de configuration par machine sauvegardée et d'un script de déclenchement des sauvegardes.
|
|
|
|
|
|
Organisation des fichiers côté serveur de sauvegarde :
|
|
- /etc/borgmatic/
|
|
- retention.yaml
|
|
- excludes
|
|
- /etc/borgmatic.d/
|
|
- fqdn1.yaml
|
|
- fqdn2.yaml
|
|
- …
|
|
- /var/backups/borg/
|
|
- dobackups.log
|
|
- dochecks.log
|
|
- doprunes.log
|
|
- fqdn1.repo
|
|
- fqdn2.repo
|
|
- …
|
|
- /srv/borg/bin/
|
|
- doreport : TODO
|
|
- dobackups
|
|
- doprunes
|
|
- dochecks
|
|
- countbackups
|
|
- dobackup-remote
|
|
- doinit
|
|
- doinit-remote
|
|
- doprunesb
|
|
- dochecksb
|
|
- doinit-rsync
|
|
- doinit-local
|
|
- dobackup-local
|
|
- lastbackups
|
|
- dobackup-rsync
|
|
- /srv/borg/models/
|
|
- cron
|
|
- excludes
|
|
- retention.yaml
|
|
- /srv/borg/.borg-passphrase
|
|
- /srv/borg/.ssh/
|
|
|
|
Organisation des fichiers côté machine sauvegardée en mode `remote` :
|
|
- /etc/borgmatic/
|
|
- config.yaml
|
|
- excludes
|
|
|
|
# Installation d'un serveur de sauvegarde
|
|
|
|
Ajouter les backports bullseye dans `/etc/apt/source.list` :
|
|
```
|
|
deb http://ftp.fr.debian.org/debian/ bullseye-backports main
|
|
```
|
|
|
|
Installer les paquets nécessaires :
|
|
```
|
|
apt update
|
|
apt install -t bullseye-backports borgmatic borgbackup
|
|
```
|
|
|
|
Créer un utilisateur dédié `borg` :
|
|
```
|
|
adduser --disabled-password --system --group --home /srv/borg/ --shell /bin/bash borg
|
|
```
|
|
|
|
Créer des clés `ssh` pour l'utilisateur `root` (si besoin) :
|
|
```
|
|
sudo ssh-keygen -t ed25519
|
|
```
|
|
|
|
Récupérer les scripts et modèles :
|
|
```
|
|
cd ~borg/
|
|
mkdir bin models
|
|
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
|
|
cd bin
|
|
wget -nv $URL/bin/countbackups
|
|
wget -nv $URL/bin/dobackup-server
|
|
wget -nv $URL/bin/dobackup-remote
|
|
wget -nv $URL/bin/dobackup-rsync
|
|
wget -nv $URL/bin/dobackups
|
|
wget -nv $URL/bin/dochecks
|
|
wget -nv $URL/bin/dochecksb
|
|
wget -nv $URL/bin/doinit
|
|
wget -nv $URL/bin/doprunes
|
|
wget -nv $URL/bin/doprunesb
|
|
wget -nv $URL/bin/lastbackups
|
|
cd ../models
|
|
wget -nv $URL/models/cron
|
|
wget -nv $URL/models/excludes
|
|
wget -nv $URL/models/model-conf-local.yaml
|
|
wget -nv $URL/models/model-conf-remote.yaml
|
|
#wget -nv $URL/models/model-conf-remote-client.yaml
|
|
#wget -nv $URL/models/model-conf-rsync.yaml
|
|
wget -nv $URL/models/retention.yaml
|
|
cd .. ; find
|
|
```
|
|
|
|
Déployer la configuration générique de Borgmatic :
|
|
```
|
|
mkdir -p /etc/borgmatic/ /etc/borgmatic.d/
|
|
cp /srv/borg/models/retention.yaml /etc/borgmatic/
|
|
cp /srv/borg/models/excludes /etc/borgmatic/
|
|
```
|
|
Définir une passphrase générique :
|
|
```
|
|
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXX" > ~borg/.borg-passphrase
|
|
```
|
|
|
|
Ajouter la ligne suivante dans `/root/.bashrc` (facilite la commande `borg` directe même si normalement on fait tout avec la commande `borgmatic`) :
|
|
```
|
|
export BORG_PASSCOMMAND="cat /srv/borg/.borg-passphrase"
|
|
```
|
|
|
|
Créer un dossier dédié aux sauvegardes du plan Borg :
|
|
```
|
|
mkdir -p /var/backups/borg
|
|
chown borg /var/backups/borg
|
|
```
|
|
|
|
Configurer le `cron` dans `/etc/cron.d/backups` :
|
|
```
|
|
cp /srv/borg/models/cron /etc/cron.d/backups
|
|
cd /srv/borg/
|
|
ln -s /etc/cron.d/backups cron
|
|
```
|
|
|
|
# Configurer la sauvegarde du serveur de sauvegarde
|
|
|
|
Initialiser le contexte Borgmatic :
|
|
```
|
|
/srv/borg/bin/doinit-local
|
|
```
|
|
|
|
Lancer la première sauvegarde locale (dure moins d'une minutes) :
|
|
```
|
|
time /srv/borg/bin/dobackup-local
|
|
```
|
|
|
|
Afficher les informations du dépôt :
|
|
```
|
|
borgmatic -c /etc/borgmatic.d/$(hostname).yaml info
|
|
```
|
|
|
|
Afficher la liste des sauvegardes du dépôt :
|
|
```
|
|
borgmatic -c /etc/borgmatic.d/$(hostname).yaml list
|
|
```
|
|
|
|
Afficher le contenu de la sauvegarde :
|
|
```
|
|
borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --archive $(borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --short | tail -1)
|
|
```
|
|
|
|
Ajouter le déclenchement de la sauvegarde dans `/srv/borg/bin/dobackups` :
|
|
```
|
|
/srv/borg/bin/dobackup-local
|
|
```
|
|
|
|
# Configurer la sauvegarde d'une machine en remote
|
|
|
|
C'est le cas nominal. Le principe consiste à configurer le serveur de sauvegarde pour déclencher l'action de sauvegarde sur la machine à sauvegarder.
|
|
|
|
## Côté machine à sauvegarder
|
|
|
|
Ajouter les backports bullseye dans `/etc/apt/source.list.d` :
|
|
```
|
|
echo "deb http://ftp.fr.debian.org/debian/ bullseye-backports main" > /etc/apt/sources.list.d/backports.list
|
|
```
|
|
|
|
Installer les paquets nécessaires :
|
|
```
|
|
apt update
|
|
apt install -t bullseye-backports borgmatic borgbackup
|
|
```
|
|
|
|
Créer des clés `ssh` pour l'utilisateur `root` (si besoin) :
|
|
```
|
|
sudo ssh-keygen -t ed25519
|
|
```
|
|
|
|
Créer et peupler le dossier de configruation de Borgmatic :
|
|
```
|
|
mkdir -p /etc/borgmatic
|
|
cd /etc/borgmatic
|
|
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
|
|
wget -nv $URL/models/excludes
|
|
wget -nv $URL/models/model-conf-remote-client.yaml -O /etc/borgmatic/config.yaml
|
|
```
|
|
|
|
Configurer la passphrase dans `/etc/borgmatic/config.yaml` :
|
|
```
|
|
encryption_passphrase: 'XXXXXXXXXXXXXX'
|
|
```
|
|
|
|
Vérifier que la configuration Borgmatic est valide :
|
|
```
|
|
validate-borgmatic-config
|
|
```
|
|
|
|
Ajouter la clé `root` du serveur de sauvegarde dans `/home/admin666/.ssh/authorized_keys` :
|
|
```
|
|
ssh-ed25519 AAAAXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root@sauvkipeu.libre-en-communs.org
|
|
```
|
|
|
|
## Côté serveur de sauvegarde
|
|
|
|
Initialiser le contexte Borgmatic :
|
|
```
|
|
/srv/borg/bin/doinit-remote foo.bar.org
|
|
```
|
|
|
|
Ajouter un accès ssh restreint dans `/srv/borg/.ssh/authorized_keys` :
|
|
```
|
|
command="export BORG_PASSCOMMAND=/srv/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borg/foo.bar.org.repo/ --restrict-to-repository /var/backups/borg/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ root666@foo.bar.org
|
|
```
|
|
|
|
## Tester côté marchine à sauvegarder
|
|
|
|
Lancer une première sauvegarde (prévoir 2 min) :
|
|
```
|
|
time borgmatic create --stats --verbosity 1
|
|
```
|
|
|
|
## Tester côté serveur
|
|
|
|
Lancer une sauvegarde :
|
|
```
|
|
time sudo /srv/borg/bin/dobackup-remote foo.bar.org
|
|
```
|
|
|
|
Afficher les informations du dépôt :
|
|
```
|
|
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info
|
|
```
|
|
|
|
Afficher la liste des sauvegardes du dépôt :
|
|
```
|
|
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list
|
|
```
|
|
|
|
Afficher le contenu de la sauvegarde :
|
|
```
|
|
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX
|
|
```
|
|
|
|
Ajouter le lancement de la sauvegarde dans `/srv/borg/bin/dobackups` :
|
|
```
|
|
/srv/borg/bin/dobackup-remote foo.bar.org
|
|
```
|
|
|
|
# Configurer la sauvegarde d'une machine en rsync
|
|
|
|
Le principe consiste en deux étapes :
|
|
- création d'un miroir de la machine à sauvegarder ;
|
|
- sauvegarde borgmatic du miroir.
|
|
|
|
C'est notamment adapté aux cas des routeurs où le logiciel Borgmatic n'est pas déployable.
|
|
|
|
## Côté serveur de sauvegarde
|
|
STU
|
|
|
|
## Côté machine à sauvegarder
|
|
STU
|
|
|
|
## Tester côté serveur
|
|
STU
|
|
|
|
# Sauver les bases de données
|
|
STU
|
|
|
|
# Notes pour les mises à jour futures
|
|
|
|
Actuellement :
|
|
```
|
|
root@sauvkipeu:/var/backups/borg# borgmatic --version
|
|
1.5.13.dev0
|
|
root@sauvkipeu:/var/backups/borg# borg -V
|
|
borg 1.1.16
|
|
```
|
|
|
|
Or :
|
|
- [Borgmatic releases](https://projects.torsion.org/borgmatic-collective/borgmatic/releases) : 1.7.5
|
|
- [Borg release](https://github.com/borgbackup/borg/releases) : 1.2.3
|
|
|
|
Donc des précautions sont à prévoir dans le futur. Normalement, commme l'usage fait est relativment basique, cela devrait avoir des impactes limités.
|
|
|
|
Pour Borgmatic :
|
|
- [1.7.0](https://projects.torsion.org/borgmatic-collective/borgmatic/releases/tag/1.7.0) :
|
|
- #571: Add "--list" as alias for "--files" flag on "create" and "export-tar" actions.
|
|
- [1.6.1](https://projects.torsion.org/borgmatic-collective/borgmatic/releases/tag/1.6.1) :
|
|
- #402: Remove the error when "archive_name_format" is specified but a retention prefix isn't.
|
|
-
|
|
|
|
# Opérations sur les sauvegardes
|
|
|
|
## Rapport général
|
|
|
|
Résultat de `doreport` :
|
|
```
|
|
COMPUTER COUNT LAST Original size Compressed size Deduplicated size Duration
|
|
audio.a-lec.org 4 2023-01-22T00:11 24.80 GB 6.87 GB 1.70 GB 18.07 s
|
|
audio.chalec.org 8 2023-01-22T00:18 54.81 GB 15.39 GB 2.11 GB 25.38 s
|
|
ctrlv.chalec.org 4 2023-01-22T00:19 27.47 GB 8.26 GB 2.10 GB 24.22 s
|
|
dns.libre-en-communs.org 4 2023-01-22T00:10 16.12 GB 7.18 GB 1.80 GB 26.57 s
|
|
forge.chalec.org 3 2023-01-22T00:19 32.76 GB 16.33 GB 4.70 GB 1 min 10.38 s
|
|
gestion.a-lec.org 3 2023-01-22T00:11 43.42 GB 18.56 GB 5.74 GB 2 min 35.41 s
|
|
git.a-lec.org 3 2023-01-22T00:14 44.72 GB 22.87 GB 7.52 GB 1 min 14.41 s
|
|
isengard.libre-en-communs.org 3 2023-01-22T00:10 37.04 GB 15.26 GB 5.16 GB 35.08 s
|
|
libreverse.chalec.org 4 2023-01-22T00:20 40.64 GB 15.92 GB 4.68 GB 41.89 s
|
|
mail.a-lec.org 3 2023-01-22T00:16 32.69 GB 14.87 GB 4.29 GB 1 min 3.38 s
|
|
pad.chalec.org 4 2023-01-22T00:21 32.79 GB 12.19 GB 2.89 GB 43.64 s
|
|
petition.chalec.org 4 2023-01-22T00:22 25.17 GB 7.67 GB 1.86 GB 34.06 s
|
|
sauvkipeu.libre-en-communs.org 10 2023-01-22T00:59 13.10 GB 6.14 GB 650.40 MB 10.79 s
|
|
stats.chalec.org 8 2023-01-22T00:23 51.54 GB 14.63 GB 1.93 GB 21.06 s
|
|
status.chalec.org 11 2023-01-22T00:23 23.22 GB 9.91 GB 1.19 GB 15.34 s
|
|
visio.chalec.org 4 2023-01-22T00:23 28.73 GB 8.90 GB 2.21 GB 20.53 s
|
|
www.a-lec.org 3 2023-01-22T00:17 16.75 GB 7.41 GB 2.19 GB 25.36 s
|
|
www.chalec.org 4 2023-01-22T00:24 27.31 GB 9.71 GB 2.29 GB 21.57 s
|
|
xmpp.a-lec.org 4 2023-01-22T00:17 49.53 GB 27.44 GB 6.90 GB 41.97 s
|
|
xmpp.chalec.org 4 2023-01-22T00:24 46.55 GB 18.40 GB 4.71 GB 52.14 s
|
|
Total repository count: 20
|
|
Total archive count: 95
|
|
Total disk size: 68G .
|
|
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
|
|
/dev/sda1 229G 70G 147G 33% /
|
|
```
|
|
|
|
## Récupération
|
|
|
|
Explorer la sauvegarde :
|
|
```
|
|
|
|
```
|
|
|
|
Récupérer un fichier :
|
|
```
|
|
```
|
|
|
|
Récupérer un dossier :
|
|
```
|
|
|
|
```
|
|
|
|
Récupérer tout une sauvegarde :
|
|
```
|
|
|
|
```
|
|
|
|
## Suppression
|
|
|
|
TODO
|