Added plan b (step).

This commit is contained in:
Christian P. MOMON 2023-01-15 01:10:38 +01:00
parent c2fb193eb0
commit dd79dea284
9 changed files with 321 additions and 112 deletions

View File

@ -1,169 +1,242 @@
# Plan Borg | Plan Borg |
| --------- |
# Introduction
Le plan Borg est une solution de sauvegarde basée sur Borgmatic. Le plan Borg est une solution de sauvegarde basée sur Borgmatic.
__TOC__ [[_TOC_]]
## Installation d'un serveur de sauvegarde # Installation d'un serveur de sauvegarde
### Prérequis ## Prérequis
Ajouter les backports bullseye dans `/etc/apt/source.list` :
```
deb http://ftp.fr.debian.org/debian/ bullseye-backports main
```
Installer les paquets nécessaires : Installer les paquets nécessaires :
``` ```
apt install borgmatic apt install -t bullseye-backports borgmatic borgbackup
``` ```
Créer un utilisateur dédié : Créer un utilisateur dédié `borg` :
``` ```
adduseradd borgmaster adduser --disabled-password --system --group --home /srv/borg/ --shell /bin/bash borg
```
Créer des clés `ssh` pour l'utilisateur `borg` :
```
su - borg
mkdir ~/.ssh
chmod go-rwx ~/.ssh
ssh-keygen -t ed25519
``` ```
Créer un dossier pour les scripts maison : Créer un dossier pour les scripts maison :
``` ```
mkdir -p /home/borgmaster/bin mkdir -p ~borg/bin
``` ```
Déclarer ce dossier dans le `path` de `borgmaster` : Copier les scripts utilitaires dans `~borg/bin/` :
``` ```
export PATH=$PATH:~/bin/ cd ~borg/bin/
```
Copier les scripts utilitaires dans `~borgmaster/bin/` :
```
cd ~borgmaster/bin/
git clone truc ou cp git clone truc ou cp
``` ```
Ajouter le script d'initialisation de dépôt de sauvegarde `~borgmaster/bin/doborginit` : Créer les dossiers de configuration de Borgmatic :
``` ```
#!/bin/bash mkdir -p /etc/borgmatic/ /etc/borgmatic.d/
REPO_NAME="$1"
BORG_REPO_ZONE="/var/backups/borgzone"
borg init --encryption=repokey-blake2 ${BORG_REPO_ZONE}/${REPO_NAME}.repo
``` ```
Ajouter le script d'environnement `~borgmaster/bin/doborgenv` : Définir dans `/etc/borgmatic/retention.yaml` les valeurs de rétentions communes :
``` ```
#!/bin/bash keep_within: 14d
keep_daily: 7
REPO_NAME="$1" keep_weekly: 12
export BORG_REPO_ZONE="/var/backups/borgzone" keep_monthly: 11
export BORG_REPO="${BORG_REPO_ZONE}/{REPO_NAME}.repo"
``` ```
Ajouter le script de sauvegarde générale `~borgmaster/bin/dobackups` : Définir dans `/etc/borgmatic/excludes` les patterns d'exclusion :
``` ```
#!/bin/bash pp:var/cache/
pp:var/backups/vm/
# TODO pp:var/backups/borg/
sh root@$COMPUTER "borgmatic create $OPTIONS --stats --verbosity 1 --syslog-verbosity 1" fm:*/.gvfs
``` fm:*/.thumbnails
fm:*/.bkl-thumbnails
Ajouter le script de sauvegarde générale `~borgmaster/bin/checks` : fm:*/Cache
``` fm:*/.cache
#!/bin/bash fm:*/cache
fm:*/cache2
borgmatic -c $CONFIG check --verbosity 1 fm:*/.davfs2
borgmatic -c $CONFIG prune --stats --verbosity 1 fm:*/.local/share/Trash
fm:*/lost+found
# TODO fm:*/sharedfs
``` ```
Définir une passphrase générique : Définir une passphrase générique :
``` ```
echo "blablablablablabla" > ~borgmaster/.borg-passphrase echo "XXXXXXXXXXXXXXXXXXXXXXXXXXX" > ~borg/.borg-passphrase
``` ```
Créer un dossier des sauvegardes dédiées au plan Borg : Ajouter la ligne suivante dans `/root/.bashrc` (facilite la commande `borg` directe même si normalement on fait tout avec la commande `borgmatic`) :
``` ```
mkdir -p /var/backup/borgzone export BORG_PASSCOMMAND="cat /srv/borg/.borg-passphrase"
chown borgmaster /var/backup/borgzone ```
Créer un dossier dédié aux sauvegardes du plan Borg :
```
mkdir -p /var/backup/borg
chown borg /var/backup/borg
``` ```
Configurer le `cron` dans `/etc/cron.d/backups` : Configurer le `cron` dans `/etc/cron.d/backups` :
``` ```
10 0 * * * borgmaster /home/borgmaster/bin/dobackups >> /var/backups/borgzone/dobackups.log 2>&1 10 0 * * * borg /srv/borg/bin/dobackups >> /var/backups/borg/dobackups.log 2>&1
10 12 * * * borgmaster /home/borgmaster/bin/dochecks >> /var/backups/borgzone/dobackups.log 2>&1 10 12 * * * borg /srv/borg/bin/doprune >> /var/backups/borg/doprune.log 2>&1
10 5 * * 0 borg /srv/borg/bin/dochecks >> /var/backups/borg/dochecks.log 2>&1
``` ```
## Configurer une nouvelle machine sur le serveur de sauvegarde ## Configurer la sauvegarde de la machine locale.
Créer le dossier de dépôt (avec l'utilisateur `borgmaster`) : Créer une configuration pour la sauvegarde de la machine locale `/etc/borgmatic.d/sauvkipeu.yaml` :
``` ```
doborginit foo.bar.org cp /srv/borg/models/model-conf-local.yaml /etc/borgmatic.d/
``` ```
Configurer Borgmatic dans `/etc/borgmatic/foo.bar.org.conf` : Vérifier que la configuration Borgmatic est valide :
```
validate-borgmatic-config
``` ```
location:
source_directories: []
Initialiser le dépôt de la machine locale :
```
/srv/borg/bin/doinit sauvkipeu
```
Lancer la première sauvegarde locale (dure moins d'une minutes) :
```
time /srv/borg/bin/dobackup-local
```
Afficher les informations du dépôt :
```
borgmatic -c /etc/borgmatic.d/sauvkipeu.yaml info
```
Afficher la liste des sauvegardes du dépôt :
```
borgmatic -c /etc/borgmatic.d/sauvkipeu.yaml list
```
Afficher le contenu de la sauvegarde :
```
borgmatic -c /etc/borgmatic.d/sauvkipeu.yaml list --archive 2023-01-14T09:20
```
Ajouter le lancement de la sauvegarde dans `/srv/borg/bin/dobackups` :
```
/srv/borg/bin/dobackup-local
```
## Configurer la sauvegarde d'une machine en rsync
Le principe consiste en deux étapes :
- création d'un miroir de la machine à sauvegarder ;
- sauvegarde borgmatic du miroir.
C'est notamment adapté aux cas des routeurs où le logiciel Borgmatic n'est pas déployable.
## Configurer la sauvegarde d'une machine en remote
C'est le cas nominal. Le principe consiste à configurer le serveur de sauvegarde pour déclencher l'action de sauvegarde sur la machine à sauvegarder.
### Côté serveur de sauvegarde
Configurer Borgmatic dans `/etc/borgmatic.d/foo.bar.org.yaml` :
```
cp /srv/borg/models/model-conf-remote.yaml /etc/borgmatic.d/foo.bar.org.yaml
```
Modifier le chemin le chemin du dépôt :
```
repositories: repositories:
- /var/backups/borgzone/foo.bar.org.repo - /var/backups/borg/foo.bar.org.repo
retention:
keep_within: 14d
keep_daily: 7
keep_weekly: 12
keep_monthly: 6
keep_yearly: 1
prefix: 'foo.bar.org-'
consistency:
checks:
- repository
- archives
prefix: 'foo.bar.org-'
storage:
encryption_passphrase: blablabla
output:
color: false
``` ```
Autoriser un accès ssh restreint dans `/home/borgmaster/.ssh/authorized_keys` : Créer le dossier du nouveau dépôt de sauvegarde :
``` ```
command="export BORG_PASSCOMMAND=/home/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borgzone/foo.bar.org.repo/ --restrict-to-repository /var/backups/borgzone/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ root@foo.bar.org /srv/borg/bin/doinit foo.bar.org
``` ```
## Configurer une nouvelle machine sur le serveur de sauvegarde Ajouter un accès ssh restreint dans `/srv/borg/.ssh/authorized_keys` :
Installer des paquets nécessaires :
``` ```
apt install borgmatic command="export BORG_PASSCOMMAND=/srv/borg/.borg-passphrase; borg serve --restrict-to-path /var/backups/borg/foo.bar.org.repo/ --restrict-to-repository /var/backups/borg/foo.bar.org.repo --append-only",restrict ssh-rsa AAAAZZZZZ admin666@foo.bar.org
``` ```
Configurer Borgmatic dans `/etc/borgmatic/config.yaml` : ### Côté machine à sauvegarder
Ajouter les backports bullseye dans `/etc/apt/source.list` :
``` ```
location: deb http://ftp.fr.debian.org/debian/ bullseye-backports main
source_directories: ```
- /etc
- /home Installer les paquets nécessaires :
- /opt ```
- /root apt install -t bullseye-backports borgmatic borgbackup
- /srv ```
- /usr
- /var Créer et peupler le dossier de configruation de Borgmatic :
```
repositories: mkdir -p /etc/borgmatic
- borgmaster@sauvkipeu:/var/backups/borgzone/foo.bar.org.repo cd /etc/borgmatic
- borgmaster@gardefou:/var/backups/borgzone/foo.bar.org.repo wget htpps://.../retention.yaml
wget htpps://.../Plan B/models/excludes
exclude_from: wget htpps://.../Plan B/models/model-conf-remote2.yaml /etc/borgmatic/config.yaml
- /etc/borgmatic/excludes ```
storage: Vérifier que la configuration Borgmatic est valide :
ssh_command: ssh -p XXXXX ```
encryption_passphrase: blablabla validate-borgmatic-config
# archive_name_format: '{fqdn}-{now:%Y-%m-%dT%H:%M}' ```
archive_name_format: '{fqdn}-{now:%Y%m%d}'
Configurer la passphrase dans `/etc/borgmatic/config.yaml` :
retention: ```
prefix: '{fqdn}-' encryption_passphrase: XXXXXXXXXXXXXX
```
output:
color: false Ajouter des clés dans `/home/admin666/.ssh/authorized_keys` :
```
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIKUUCCsn2YK4j++wT+ZgQrHazAzW0g9B3tViyu1ByevV borg@sauvkipeu.libre-en-communs.org
ssh-ed25519 AAAACXXXXXXXXXXXXXXXXX borg@gardefou.libre-en-communs.org
```
### Tester côté serveur
Lancer une première sauvegarde :
```
time sudo /srv/borg/bin/dobackup-remote foo.bar.org
```
Afficher les informations du dépôt :
```
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml info
```
Afficher la liste des sauvegardes du dépôt :
```
borgmatic -c /etc/borgmatic.d/foo.bar.orgyaml list
```
Afficher le contenu de la sauvegarde :
```
borgmatic -c /etc/borgmatic.d/foo.bar.org.yaml list --archive 2023-XX-XXTXX:XX
```
Ajouter le lancement de la sauvegarde dans `/srv/borg/bin/dobackups` :
```
/srv/borg/bin/dobackup-remote foo.bar.org
``` ```

View File

@ -0,0 +1,27 @@
#!/bin/bash
help()
{
echo "Usage: doborgbackup [ -h | -help | --help | <MACHINE> ]"
}
#
help=0
if (( $# != 1)); then
help=1
else
for parameter in $@; do
if [ "$parameter" == "-h" ] || [ "$parameter" == "-help" ] || [ "$parameter" == "--help" ]; then
help=1
fi
done
fi
if (( $help )); then
help
else
MACHINE="$1"
BORG_REPOS="/var/backups/borg"
sh root@$COMPUTER "borgmatic create $OPTIONS --stats --verbosity 1 --syslog-verbosity 1"
fi

View File

@ -0,0 +1,28 @@
#!/bin/bash
help()
{
echo "Usage: doborgchecks [ -h | -help | --help | <MACHINE> ]"
}
#
help=0
if (( $# != 1)); then
help=1
else
for parameter in $@; do
if [ "$parameter" == "-h" ] || [ "$parameter" == "-help" ] || [ "$parameter" == "--help" ]; then
help=1
fi
done
fi
if (( $help )); then
help
else
MACHINE="$1"
BORG_REPOS="/var/backups/borg"
borgmatic -c $CONFIG check --verbosity 1
borgmatic -c $CONFIG prune --stats --verbosity 1
fi

5
Plan Borg/bin/doborgenv Normal file
View File

@ -0,0 +1,5 @@
#!/bin/bash
REPO_NAME="$1"
export BORG_REPOS="/var/backups/borg"
export BORG_REPO="${BORG_REPOS}/{REPO_NAME}.repo"

27
Plan Borg/bin/doborginit Normal file
View File

@ -0,0 +1,27 @@
#!/bin/bash
help()
{
echo "Usage: dobackupinit [ -h | -help | --help | <MACHINE> ]"
}
#
help=0
if (( $# != 1)); then
help=1
else
for parameter in $@; do
if [ "$parameter" == "-h" ] || [ "$parameter" == "-help" ] || [ "$parameter" == "--help" ]; then
help=1
fi
done
fi
if (( $help )); then
help
else
REPO_NAME="$1"
BORG_REPOS="/var/backups/borg"
borg init --encryption=repokey-blake2 ${BORG_REPOS}/${REPO_NAME}.repo
fi

View File

@ -0,0 +1,28 @@
location:
source_directories:
- /etc
- /home
- /opt
- /root
- /srv
- /usr
- /var
repositories:
- borgmaster@sauvkipeu:/var/backups/borg/foo.bar.org.repo
- borgmaster@gardefou:/var/backups/borg/foo.bar.org.repo
exclude_from:
- /etc/borgmatic/excludes
storage:
ssh_command: ssh -p XXXXX
encryption_passphrase: blablabla
# archive_name_format: '{fqdn}-{now:%Y-%m-%dT%H:%M}'
archive_name_format: '{fqdn}-{now:%Y%m%d}'
retention:
prefix: '{fqdn}-'
output:
color: false

2
Plan Borg/models/cron Normal file
View File

@ -0,0 +1,2 @@
10 0 * * * borgmaster /home/borgmaster/bin/dobackups >> /var/backups/borg/dobackups.log 2>&1
10 12 * * * borgmaster /home/borgmaster/bin/dochecks >> /var/backups/borg/dobackups.log 2>&1

13
Plan Borg/models/excludes Normal file
View File

@ -0,0 +1,13 @@
pp:var/cache/
pp:var/backups/vm/
pp:var/backups/borg/
fm:*/.gvfs
fm:*/.thumbnails
fm:*/.bkl-thumbnails
fm:*/Cache
fm:*/.cache
fm:*/cache
fm:*/cache2
fm:*/.davfs2
fm:*/.local/share/Trash
fm:*/lost+found

View File

@ -0,0 +1,6 @@
keep_within: 14d
keep_daily: 7
keep_weekly: 12
keep_monthly: 11
keep_yearly: -1
prefix: '20'