sauvegardes/Plan Borg/README.md

| Plan Borg |
| --------- |

# Introduction

Le plan Borg est une solution de sauvegarde basée sur Borgmatic.

[[_TOC_]]

# Principes

Quelques pré-requis :
- l'adminsys d'une machine doit pouvoir régler lui-même certaines caractéristiques de la sauvegarde de sa machine : avec Borgmatic, il dispose d'un fichier de configuration où configurer des hooks (pour une base de données par exemple) ou définir les dossiers à sauver, définir les exclusions…
- l'adminsys de la sauvegarde doit pouvoir régler lui-même certaines caractérisiques des sauvegardes tels que rétention, horaire et autres : il dispose d'un fichier de configuration par machine sauvegardée et d'un script de déclenchement des sauvegardes.


Organisation des fichiers côté serveur de sauvegarde :
- /etc/borgmatic/
  - retention.yaml
  - excludes
- /etc/borgmatic.d/
  - fqdn1.yaml
  - fqdn2.yaml
  - …
- /var/backups/borg/
  - dobackups.log
  - dochecks.log
  - doprunes.log
  - fqdn1.repo
  - fqdn2.repo
  - …
- /srv/borg/bin/
  - doreport : TODO
  - dobackups
  - doprunes
  - dochecks
  - countbackups
  - dobackup-remote
  - doinit
  - doinit-remote
  - doprunesb
  - dochecksb
  - doinit-rsync
  - doinit-local
  - dobackup-local
  - lastbackups
  - dobackup-rsync
- /srv/borg/models/
  - cron
  - excludes
  - retention.yaml
- /srv/borg/.borg-passphrase
- /srv/borg/.ssh/

Organisation des fichiers côté machine sauvegardée en mode `remote` :
- /etc/borgmatic/
  - config.yaml
  - excludes

# Installation d'un serveur de sauvegarde

Ajouter les backports bullseye dans `/etc/apt/source.list` :
```
deb http://ftp.fr.debian.org/debian/ bullseye-backports main
```

Installer les paquets nécessaires :
```
apt update
apt install -t bullseye-backports borgmatic borgbackup
apt gawk bc
```

Créer un utilisateur dédié `borg` :
```
adduser --disabled-password --system --group --home /srv/borg/ --shell /bin/bash borg
```

Créer des clés `ssh` pour l'utilisateur `root` (si besoin) :
```
sudo ssh-keygen -t ed25519
```

Récupérer les scripts et modèles :
```
cd ~borg/
mkdir bin models
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
cd bin
wget -nv $URL/bin/countbackups
wget -nv $URL/bin/dobackup-server
wget -nv $URL/bin/dobackup-remote
wget -nv $URL/bin/dobackup-rsync
wget -nv $URL/bin/dobackups
wget -nv $URL/bin/dochecks
wget -nv $URL/bin/dochecksb
wget -nv $URL/bin/doinit
wget -nv $URL/bin/doprunes
wget -nv $URL/bin/doprunesb
wget -nv $URL/bin/lastbackups
cd ../models
wget -nv $URL/models/cron
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-local.yaml
wget -nv $URL/models/model-conf-remote.yaml
#wget -nv $URL/models/model-conf-remote-client.yaml
#wget -nv $URL/models/model-conf-rsync.yaml
wget -nv $URL/models/retention.yaml
cd .. ; find
```

Déployer la configuration générique de Borgmatic :
```
mkdir -p /etc/borgmatic/ /etc/borgmatic.d/
cp /srv/borg/models/retention.yaml /etc/borgmatic/
cp /srv/borg/models/excludes /etc/borgmatic/
```
Définir une passphrase générique : 
```
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXX" > ~borg/.borg-passphrase
```

Ajouter la ligne suivante dans `/root/.bashrc` (facilite la commande `borg` directe même si normalement on fait tout avec la commande `borgmatic`) :
```
export BORG_PASSCOMMAND="cat /srv/borg/.borg-passphrase"
```

Créer un dossier dédié aux sauvegardes du plan Borg :
```
mkdir -p /var/backups/borg
chown borg /var/backups/borg
```

Configurer le `cron` dans `/etc/cron.d/backups` :
```
cp /srv/borg/models/cron /etc/cron.d/backups
cd /srv/borg/
ln -s /etc/cron.d/backups cron
```

# Configurer la sauvegarde du serveur de sauvegarde

Initialiser le contexte Borgmatic :
```
/srv/borg/bin/doinit-local
```

Lancer la première sauvegarde locale (dure moins d'une minutes) :
```
time /srv/borg/bin/dobackup-local
```

Afficher les informations du dépôt :
```
borgmatic -c /etc/borgmatic.d/$(hostname).yaml info
```

Afficher la liste des sauvegardes du dépôt :
```
borgmatic -c /etc/borgmatic.d/$(hostname).yaml list
```

Afficher le contenu de la sauvegarde :
```
borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --archive $(borgmatic -c /etc/borgmatic.d/$(hostname).yaml list --short | tail -1)
```

Ajouter le déclenchement de la sauvegarde dans `/srv/borg/bin/dobackups` :
```
/srv/borg/bin/dobackup-local
```

# Configurer la sauvegarde d'une machine en remote

C'est le cas nominal. Le principe consiste à configurer le serveur de sauvegarde pour déclencher l'action de sauvegarde sur la machine à sauvegarder.

## Côté machine à sauvegarder

Ajouter les backports bullseye dans `/etc/apt/source.list.d` :
```
echo "deb http://ftp.fr.debian.org/debian/ bullseye-backports main" > /etc/apt/sources.list.d/backports.list
```

Installer les paquets nécessaires :
```
apt update
apt install -t bullseye-backports borgmatic borgbackup
```

Créer des clés `ssh` pour l'utilisateur `root` (si besoin) :
```
sudo ssh-keygen -t ed25519
```

Créer et peupler le dossier de configruation de Borgmatic :
```
mkdir -p /etc/borgmatic
cd /etc/borgmatic
URL=https://git.a-lec.org/a-lec/commissions/infrastructure/sauvegardes/-/raw/main/Plan%20Borg/
wget -nv $URL/models/excludes
wget -nv $URL/models/model-conf-remote-client.yaml -O /etc/borgmatic/config.yaml
```

Configurer la passphrase dans `/etc/borgmatic/config.yaml` :
```
     encryption_passphrase: 'XXXXXXXXXXXXXX'
```

Vérifier que la configuration Borgmatic est valide :
```
validate-borgmatic-config
```

Ajouter la clé `root` du serveur de sauvegarde dans `/home/admin666/.ssh/authorized_keys` :
```
ssh-ed25519 AAAAXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX root@sauvkipeu.libre-en-communs.org
```

## Côté serveur de sauvegarde

Initialiser le contexte Borgmatic :
```
/srv/borg/bin/doinit-remote foo.bar.org
```

Ajouter un accès ssh restreint dans `/srv/borg/.ssh/authorized_keys` :
```
command="export BORG_PASSCOMMAND=/srv/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borg/foo.bar.org.repo/ --restrict-to-repository /var/backups/borg/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ root666@foo.bar.org
```

## Tester côté marchine à sauvegarder

Lancer une première sauvegarde (prévoir 2 min) :
```
time borgmatic create --stats --verbosity 1
```

## Tester côté serveur

Lancer une sauvegarde :
```
time sudo /srv/borg/bin/dobackup-remote foo.bar.org
```

Afficher les informations du dépôt :
```
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info
```

Afficher la liste des sauvegardes du dépôt :
```
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list
```

Afficher le contenu de la sauvegarde :
```
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX
```

Ajouter le lancement de la sauvegarde dans `/srv/borg/bin/dobackups` :
```
/srv/borg/bin/dobackup-remote foo.bar.org
```

# Configurer la sauvegarde d'une machine en rsync

Le principe consiste en deux étapes :
- création d'un miroir de la machine à sauvegarder ;
- sauvegarde borgmatic du miroir.

C'est notamment adapté aux cas des routeurs où le logiciel Borgmatic n'est pas déployable.

## Côté serveur de sauvegarde
STU

## Côté machine à sauvegarder
STU

## Tester côté serveur
STU

# Sauver les bases de données
STU

# Notes pour les mises à jour futures

Actuellement :
```
root@sauvkipeu:/var/backups/borg# borgmatic --version
1.5.13.dev0
root@sauvkipeu:/var/backups/borg# borg -V
borg 1.1.16
```

Or :
- [Borgmatic releases](https://projects.torsion.org/borgmatic-collective/borgmatic/releases) : 1.7.5
- [Borg release](https://github.com/borgbackup/borg/releases) : 1.2.3

Donc des précautions sont à prévoir dans le futur. Normalement, commme l'usage fait est relativment basique, cela devrait avoir des impactes limités.

Pour Borgmatic :
- [1.7.0](https://projects.torsion.org/borgmatic-collective/borgmatic/releases/tag/1.7.0) :
  - #571: Add "--list" as alias for "--files" flag on "create" and "export-tar" actions.
- [1.6.1](https://projects.torsion.org/borgmatic-collective/borgmatic/releases/tag/1.6.1) :
  - #402: Remove the error when "archive_name_format" is specified but a retention prefix isn't.
-

# Opérations sur les sauvegardes

## Rapport général

Résultat de `doreport` :
```
COMPUTER                              COUNT    Original   Compressed   Deduplicat               Last         Diff    Duration
audio.a-lec.org                           6    37.21 GB     10.31 GB      1.72 GB   2023-01-23T00:11     11.05 MB    00:00:20
audio.chalec.org                         10    68.38 GB     19.18 GB      2.16 GB   2023-01-23T00:18     24.09 MB    00:00:24
aunt.libre-en-communs.org                 1    23.48 GB      2.35 GB      2.23 GB   2023-01-22T02:43      2.23 GB    00:03:31
ctrlv.chalec.org                          6    41.24 GB     12.39 GB      2.10 GB   2023-01-23T00:19      3.42 MB    00:00:22
dns.libre-en-communs.org                  6    24.18 GB     10.78 GB      1.83 GB   2023-01-23T00:10     22.79 MB    00:00:26
forge.chalec.org                          5    54.85 GB     27.66 GB      5.41 GB   2023-01-23T00:19    696.08 MB    00:01:46
gestion.a-lec.org                         5    72.35 GB     30.94 GB      5.78 GB   2023-01-23T00:11     23.53 MB    00:02:26
git.a-lec.org                             5    74.12 GB     38.07 GB      7.68 GB   2023-01-23T00:14    130.11 MB    00:01:18
isengard.libre-en-communs.org             5    61.74 GB     25.47 GB      5.37 GB   2023-01-23T00:10    130.18 MB    00:00:39
libreverse.chalec.org                     6    60.97 GB     23.88 GB      5.55 GB   2023-01-23T00:21    680.08 MB    00:00:47
mail.a-lec.org                            5    54.40 GB     24.77 GB      4.41 GB   2023-01-23T00:15     67.06 MB    00:01:11
pad.chalec.org                            6    49.18 GB     18.28 GB      2.98 GB   2023-01-23T00:22     77.97 MB    00:00:44
petition.chalec.org                       6    37.76 GB     11.50 GB      1.87 GB   2023-01-23T00:23      6.50 MB    00:00:33
sauvkipeu.libre-en-communs.org           12    15.73 GB      7.37 GB    661.52 MB   2023-01-23T00:10      6.04 MB    00:00:12
stats.chalec.org                         10    64.43 GB     18.29 GB      1.98 GB   2023-01-23T00:24     26.15 MB    00:00:22
status.chalec.org                        11    23.24 GB      9.91 GB      1.20 GB   2023-01-23T00:24     13.34 MB    00:00:18
visio.chalec.org                          6    43.08 GB     13.35 GB      2.23 GB   2023-01-23T00:24     12.38 MB    00:00:21
www.a-lec.org                             5    27.91 GB     12.35 GB      2.24 GB   2023-01-23T00:17     24.66 MB    00:00:25
www.chalec.org                            6    40.95 GB     14.57 GB      2.32 GB   2023-01-23T00:25     16.68 MB    00:00:24
xmpp.a-lec.org                            6    74.14 GB     41.13 GB      6.97 GB   2023-01-23T00:17     48.87 MB    00:00:45
xmpp.chalec.org                           6    69.83 GB     27.70 GB      5.31 GB   2023-01-23T00:25    556.20 MB    00:01:08
Total repository count: 21
Total archive count:    134
Total disk size:        73G .
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/sda1          229G     75G  142G  35% /
```

## Récupération

Explorer la sauvegarde :
```

```

Récupérer un fichier :
```
```

Récupérer un dossier :
```

```

Récupérer tout une sauvegarde :
```

```

## Suppression

TODO