Objet:	[adsl] La backbone EU et le routeur gsw-1-a9
Date:	2015-07-29 17:11
De:	Octave Klaba <oles@ovh.net>
À:	"hosting@ml.ovh.net" <hosting@ml.ovh.net>, "sd-pro@ml.ovh.net" <sd-pro@ml.ovh.net>, "pcc@ml.ovh.net" <pcc@ml.ovh.net>, "<voip@ml.ovh.net>" <voip@ml.ovh.net>, "adsl@ml.ovh.net" <adsl@ml.ovh.net>, "vps@ml.ovh.net" <vps@ml.ovh.net>, "cloud@ml.ovh.net" <cloud@ml.ovh.net>
Répondre à:	adsl@ml.ovh.net


Bonjour,
Nous venons d'avoir un incident sur le routage sur l'un
de 2 routeurs de Paris: gsw-1-a9. L'erreur humaine est
à l'origine de la panne: l'un des ingénieurs de l'équipe
network (c'est mon équipe ..) a effacé par erreur la configuration
OSPF sur le routeur. Malgré la double confirmation de
l'application de la configuration, il a confirmé yes yes ..
des automatismes .. Et donc le routeur gsw-1-a9 est
parti dans les choux.

Mais cela tout doit continuer à fonctionner. Sauf que nous
avons eu un bug BGP sur le 3eme routeurs reflector,
rf-3-a1 qui n'a pas communiqué  au reste de la backbone
que gsw-1-a9 est down. rf-2-a1 l'a fait et rf-1-a1 a été
down durant la panne. Du coup la backbone continuait
à se comporter comme si le routeur gsw-1-a9 était UP.
On le voyait à travers les loops dans les traceroutes.

Nous avons redémarré toutes les sessions BGP sur
rf-3-a1 mais sachant que rf-1-a1 a été en panne avec
gsw-1-a9, et donc que seulement rf-2-a1 assurait la
synchronisation BGP entre tous les routeurs en Europe,
nous avons eu des yoyos dans le réseau en Europe:
ça pouvait pinger ou pas durant 60-120 secondes par
routeur.

En suite, tout est revenu puis nous avons remis la configuration
sur le routeur gsw-1-a9. La backbone est UP.

Nous sommes sincèrement désolés pour cette panne.
L'erreur humaine peut arriver et la backbone est preuve
pour faire face à ce genre de problèmes. On regarde
pour trouver le bug sur nos RR (ASR1002). Puis on va
déterrer la hache pour s'occuper des doigts de mes
gars ..

En savoir plus:
    http://travaux.ovh.net/?do=details&id=14176

Amicalement
Octave