Pannes de réseau récurrente (janvier 2024) #165

Closed
opened 2024-01-20 19:10:59 +01:00 by neox · 5 comments
Owner

Des pannes récurrentes ont lieu avec notre réseau sur le site leparc (mais également Fontainebleau). Cela est dû à des difficultés du côté de FDN avec leurs serveurs LNS censés assurer le routage d'Internet jusqu'à nos serveurs et inversement.

Ceci est un ticket afin d'en suivre l'évolution.

Des pannes récurrentes ont lieu avec notre réseau sur le site leparc (mais également Fontainebleau). Cela est dû à des difficultés du côté de FDN avec leurs serveurs LNS censés assurer le routage d'Internet jusqu'à nos serveurs et inversement. Ceci est un ticket afin d'en suivre l'évolution.
neox added the
bogue
en cours
amont
labels 2024-01-20 19:10:59 +01:00
Author
Owner

Panne significative le 20 janvier à 17h19, fin à 19h11. Cela concernait l'IPv6 mais ensuite également l'IPv4. La résolution a impliqué de redémarrer l'ensemble des machines virtuelles afin d'acquérir à nouveau une IP.

Panne significative le 20 janvier à 17h19, fin à 19h11. Cela concernait l'IPv6 mais ensuite également l'IPv4. La résolution a impliqué de redémarrer l'ensemble des machines virtuelles afin d'acquérir à nouveau une IP.
Author
Owner

FDN nous annonce une coupure de maintenance sur nos lignes par leur opérateur d'infrastructure (Ielo) :

  • Début (heure locale) : 2024-01-21 22:00:00 (CET / UTC+0100)
  • Fin (heure locale) : 2024-01-22 02:00:00 (CET / UTC+0100)
FDN nous annonce une coupure de maintenance sur nos lignes par leur opérateur d'infrastructure (Ielo) : * Début (heure locale) : 2024-01-21 22:00:00 (CET / UTC+0100) * Fin (heure locale) : 2024-01-22 02:00:00 (CET / UTC+0100)
Author
Owner

Nouvel incident confirmé par FDN :

  • Début (heure locale) : 2024-01-28 23:55:00 (CET / UTC+0100)
  • Fin (heure locale) : 2024-01-29 00:25:00 (CET / UTC+0100)

<neox[x]> Bonsoir ici, y a t'il un incident en cours ?
<neox[x]> Libre en Communs a perdu toute connectivité (IPv4 et 6) il y a environ 15/20 minutes
on a vu la session redémarrer à 23:55, c'est tout
là elle pingue
<neox[x]> youpi, ok merci pour l'info, notre routeur ne semble pas acquérir à nouveau de connexion, peut-être est-ce temporaire ?
de notre côté tout a l'air ok
les lcp echo sont bien répondus
<neox[x]> youpi, on a redémarré le routeur et ça a fonctionné
<neox[x]> Merci et bonne soirée à tout le monde ;)

Nouvel incident confirmé par FDN : - Début (heure locale) : 2024-01-28 23:55:00 (CET / UTC+0100) - Fin (heure locale) : 2024-01-29 00:25:00 (CET / UTC+0100) > <neox[x]> Bonsoir ici, y a t'il un incident en cours ? > <neox[x]> Libre en Communs a perdu toute connectivité (IPv4 et 6) il y a environ 15/20 minutes > <youpi> on a vu la session redémarrer à 23:55, c'est tout > <youpi> là elle pingue > <neox[x]> youpi, ok merci pour l'info, notre routeur ne semble pas acquérir à nouveau de connexion, peut-être est-ce temporaire ? > <youpi> de notre côté tout a l'air ok > <youpi> les lcp echo sont bien répondus > <neox[x]> youpi, on a redémarré le routeur et ça a fonctionné > <neox[x]> Merci et bonne soirée à tout le monde ;)
Author
Owner

Nouvelle coupure :

  • Début (heure locale) : 2024-02-13 02:00:00 (CET / UTC+0100)
  • Fin (heure locale) : 2024-02-13 11:35:00 (CET / UTC+0100)
Nouvelle coupure : - Début (heure locale) : 2024-02-13 02:00:00 (CET / UTC+0100) - Fin (heure locale) : 2024-02-13 11:35:00 (CET / UTC+0100)
Author
Owner

Afin d'aider au redémarrage automatique en cas de coupure de connexion, tentative de création d'un cron sur le routeur qui vérifie le ping d'un site internet connu toutes les 30 minutes, et si une perte de connexion est détectée alors on relance les interfaces.

Le cron (/sbin/check_connection) :

#!/bin/bash
result=$(/bin/ping fsf.org -q -w 10)
result=$(echo $result | cut -d "," -f 3 | cut -d "%" -f 1)

if [ $result -eq 0 ]; then
	logger "Connection OK"
else
	logger "Connection KO -- rebooting interface..."
	ifdown wan && ifup wan
	ifdown wan2 && ifup wan2
	logger "Interfaces rebooted sucessfully."
fi

Configuration de la crontab (/etc/crontabs/root) :

0 0 * * * /etc/init.d/acme start
54 23 * * *  /sbin/sysupgrade --create-backup /root/backup-config-${HOSTNAME}.tgz
55 23 * * *  /root/bin/push-mirror
*/30 * * * * /sbin/check_connection
Afin d'aider au redémarrage automatique en cas de coupure de connexion, tentative de création d'un cron sur le routeur qui vérifie le ping d'un site internet connu toutes les 30 minutes, et si une perte de connexion est détectée alors on relance les interfaces. Le cron (`/sbin/check_connection`) : ```bash #!/bin/bash result=$(/bin/ping fsf.org -q -w 10) result=$(echo $result | cut -d "," -f 3 | cut -d "%" -f 1) if [ $result -eq 0 ]; then logger "Connection OK" else logger "Connection KO -- rebooting interface..." ifdown wan && ifup wan ifdown wan2 && ifup wan2 logger "Interfaces rebooted sucessfully." fi ``` Configuration de la crontab (`/etc/crontabs/root`) : ``` 0 0 * * * /etc/init.d/acme start 54 23 * * * /sbin/sysupgrade --create-backup /root/backup-config-${HOSTNAME}.tgz 55 23 * * * /root/bin/push-mirror */30 * * * * /sbin/check_connection ```
neox added
résolu
and removed
en cours
labels 2024-04-02 20:50:36 +02:00
neox closed this issue 2024-04-03 10:03:58 +02:00
Sign in to join this conversation.
No description provided.