cominfra/infra-generale
cominfra
/
infra-generale
8
1
Fork 0
Code Issues 30 Pull Requests Activity

Panne générale du stockage sur le site leparc #163

New Issue
Closed
opened 2023-11-22 21:25:52 +01:00 by neox · 2 comments
neox commented 2023-11-22 21:25:52 +01:00
Owner
Copy Link

Le 17 novembre 2023 à 14h environ, une panne massive s'est produite sur le stockage des hyperviseurs mother et aunt du site leparc de Libre en Communs. La conséquence a été la perte totale du stockage des machines virtuelles du site leparc.

Les services touchés :

  • audio.chalec.org
  • xmpp.chalec.org
  • dns.libre-en-communs.org
  • forge.chalec.org
  • www.a-lec.org
  • forge.a-lec.org
  • pad.chalec.org
  • xmpp.a-lec.org
  • status.chalec.org
  • mail.a-lec.org
  • www.chalec.org
  • audio.a-lec.org
  • pad.a-lec.org
  • git.a-lec.org
  • toot.a-lec.org
  • gestion.a-lec.org
  • ctrlv.chalec.org
  • stats.a-lec.org
  • libreverse.chalec.org
  • visio.chalec.org
  • toot.chalec.org
  • nuage.chalec.org
  • isengard.libre-en-communs.org
  • petition.chalec.org
  • video.chalec.org

Cause : corruption du système de fichier de la partition /srv/vmverse en raison d'une coupure de courant en août 2023 non correctement résolue par fsck.ocfs2.

Résolution : suppression de la partition, recréation de la partition avec de nouveaux paramètres, restauration des disques des machines virtuelles à l'aide des sauvegardes effectuées.

Pour créer à nouveau la partition, la commande suivante a été utilisée :

mkfs.ocfs2 /dev/drbd1 -L vmverse -T vmstore --cluster-stack o2cb --cluster-name vmverse -F --verbose
tunefs.ocfs2 --fs-features=sparse,backup-super,strict-journal-super,extended-slotmap,inline-data,xatttr,indexed-dirs,refcount,discontig-bg,clusterinfo,append-dio,metaecc /dev/drbd1

Pour restaurer chaque machine virtuelle à partir de gardefou.libre-en-communs.org, la commande suivante est utilisée :

/srv/vmverse/outils/restore.sh {vm} /srv/vmverse/{chemin de vm} gardefou.libre-en-communs.org
Le 17 novembre 2023 à 14h environ, une panne massive s'est produite sur le stockage des hyperviseurs `mother` et `aunt` du site `leparc` de Libre en Communs. La conséquence a été la perte totale du stockage des machines virtuelles du site `leparc`. Les services touchés : - audio.chalec.org - xmpp.chalec.org - dns.libre-en-communs.org - forge.chalec.org - www.a-lec.org - forge.a-lec.org - pad.chalec.org - xmpp.a-lec.org - status.chalec.org - mail.a-lec.org - www.chalec.org - audio.a-lec.org - pad.a-lec.org - git.a-lec.org - toot.a-lec.org - gestion.a-lec.org - ctrlv.chalec.org - stats.a-lec.org - libreverse.chalec.org - visio.chalec.org - toot.chalec.org - nuage.chalec.org - isengard.libre-en-communs.org - petition.chalec.org - video.chalec.org **Cause :** corruption du système de fichier de la partition `/srv/vmverse` en raison d'une coupure de courant en août 2023 non correctement résolue par `fsck.ocfs2`. **Résolution :** suppression de la partition, recréation de la partition avec de nouveaux paramètres, restauration des disques des machines virtuelles à l'aide des sauvegardes effectuées. Pour créer à nouveau la partition, la commande suivante a été utilisée : ``` mkfs.ocfs2 /dev/drbd1 -L vmverse -T vmstore --cluster-stack o2cb --cluster-name vmverse -F --verbose tunefs.ocfs2 --fs-features=sparse,backup-super,strict-journal-super,extended-slotmap,inline-data,xatttr,indexed-dirs,refcount,discontig-bg,clusterinfo,append-dio,metaecc /dev/drbd1 ``` Pour restaurer chaque machine virtuelle à partir de `gardefou.libre-en-communs.org`, la commande suivante est utilisée : ``` /srv/vmverse/outils/restore.sh {vm} /srv/vmverse/{chemin de vm} gardefou.libre-en-communs.org ```
neox added the
matériel
bogue
en cours
 labels 2023-11-22 21:25:52 +01:00
neox commented 2023-11-22 22:09:46 +01:00
Author
Owner
Copy Link

État de la restauration :

  • audio.a-lec.org
  • audio.chalec.org
  • ctrlv.chalec.org
  • dns.libre-en-communs.org
  • forge.a-lec.org
  • forge.chalec.org
  • gestion.a-lec.org
  • git.a-lec.org
  • isengard.libre-en-communs.org
  • libreverse.chalec.org
  • mail.a-lec.org
  • nuage.chalec.org
  • pad.a-lec.org
  • pad.chalec.org
  • petition.chalec.org
  • stats.a-lec.org
  • stats.chalec.org
  • status.chalec.org
  • toot.a-lec.org
  • toot.chalec.org
  • video.chalec.org
  • visio.chalec.org
  • www.a-lec.org
  • www.chalec.org
  • xmpp.a-lec.org
  • xmpp.chalec.org
**État de la restauration :** - [x] audio.a-lec.org - [x] audio.chalec.org - [x] ctrlv.chalec.org - [x] dns.libre-en-communs.org - [x] forge.a-lec.org - [x] forge.chalec.org - [x] gestion.a-lec.org - [ ] git.a-lec.org - [x] isengard.libre-en-communs.org - [x] libreverse.chalec.org - [x] mail.a-lec.org - [x] nuage.chalec.org - [x] pad.a-lec.org - [x] pad.chalec.org - [x] petition.chalec.org - [x] stats.a-lec.org - [x] stats.chalec.org - [x] status.chalec.org - [x] toot.a-lec.org - [x] toot.chalec.org - [x] video.chalec.org - [x] visio.chalec.org - [x] www.a-lec.org - [x] www.chalec.org - [x] xmpp.a-lec.org - [x] xmpp.chalec.org
neox self-assigned this 2023-11-22 22:33:44 +01:00
lpoujoulat was assigned by neox 2023-11-22 22:33:45 +01:00
neox commented 2023-11-22 23:44:43 +01:00
Author
Owner
Copy Link

Note : les sauvegardes excluaient beaucoup de dossiers et notamment ceux contenant les termes "caches". Cela a posé de grave problèmes lors de la restauration, car d'importants dossiers n'ont pas pu être restaurés

Note : les sauvegardes excluaient beaucoup de dossiers et notamment ceux contenant les termes "caches". Cela a posé de grave problèmes lors de la restauration, car d'importants dossiers n'ont pas pu être restaurés
neox added
résolu
 and removed
en cours
 labels 2024-05-12 16:18:30 +02:00
neox closed this issue 2024-06-06 10:33:50 +02:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
main
Labels
Clear labels   
suivi
  
adhésion

concerne une nouvelle inscription

  
amont

Ce problème a été signalé au projet amont

  
bloqué

Des raisons extérieures au ticket empêchent son avancement

  
bogue

Il s'agit d'un problème empêchant le bon fonctionnement d'un service

  
déploiement

Concerne le déploiement d'un nouveau projet

  
en cours

Actuellement traité

  
FSDG/RYF/libre

Touche au sujet de l'amélioration de l'état de liberté de l'infrastructure

  
matériel

Tâche ou problème liée à du matériel informatique

  
planifié

planifié/décidé lors d'une réunion ou une discussion de la commission

  
radiation

Concerne la radiation d'une personne

  
rejeté

Non résolvable car inrésolvable, faux problème ou autre raison

  
résolu

Tâche terminée ou problème résolu

  
suivi

   
vie privée/sécurité

Touche à des sujets sensibles et donc prioritaire

No Label
suivi
adhésion
amont
bloqué
bogue
déploiement
en cours
FSDG/RYF/libre
matériel
planifié
radiation
rejeté
résolu
suivi
vie privée/sécurité
Milestone
Clear milestone
No items
No Milestone
Assignees
Clear assignees
No Assignees
neox
lpoujoulat
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: cominfra/infra-generale#163
No description provided.
Delete Branch "%!s(<nil>)"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?