Von:	manitu (Info) <info@manitu.de>
An:	sxxxxxxxxxx@gmail.com
Datum:	18.03.2019, 13:42
Betreff:	Probleme bei der Erreichbarkeit unsers Netzwerks
Gesendet von:	manitu.de
Sicherheit:	Standardverschlüsselung (TLS) Weitere Informationen

Anhänge13:42 (vor 8 Stunden)

an mich
Lieber Herr XXXXX,

ich schreibe Ihnen heute anlässlich der Probleme bei der Erreichbarkeit
unseres Netzwerks.

Ich möchte Ihnen an dieser Stelle bewusst einen eher technischen
Einblick in die Geschehnisse geben.


Was war geschehen?

Wir hatten vor ca. 9 Monaten damit begonnen, unser Netzwerk weiter zu
modernisieren und zu erweitern. Dies dient(e) dazu, die
Ausfallsicherheit weiter zu steigern sowie die Performance zu
verbessern.


Dazu mussten wir alle Netzwerk-Komponenten, insbesondere alle relevanten
Switches und alle Router, tauschen.


Unser gesamtes internes Netzwerk ist doppelt und gespiegelt vorhanden.
Dennoch gingen wir ursprünglich davon aus, dass es eher beim physischen
Tausch der beiden Netzwerk-Hälften (vor allem beim Tausch der Switches
und der Verkabelung) zu Problemen kommen könnte.

Diese beiden Tausche (der beiden Hälften) konnten wir jedoch quasi
unbemerkt und ohne Ausfälle durchführen - und das, obwohl wir dabei
sukzessive nahezu 100% des relevanten Netzwerks ersetzt haben.


Neben den Switches mussten wir ebenso alle unsere Router durch neue
Hardware ersetzen.

Wir hatten dazu bereits einen der neuen Router seit rund 9 Monaten in
einem Live-Test, in dem dieser absolut fehlerfrei lief.

Wir betrachteten die neue Hardware somit als reif für den
Produktiv-Einsatz und tauschten daher in einem letzten Schritt
sukzessive alle verbliebenen Router gegen die neuen Komponenten (samt
neuer Verkabelung).


Leider erwischte uns genau an dieser Stelle, an der wir es nicht
vermutet hätten, und für die alle bisherigen Tests ein anderes Bild
ergaben, Murphy's Law.

Wir stießen auf unerklärliche, nicht reproduzierbare, immer
wiederkehrende, aber nicht eindeutig zuordenbare Routing- und
Netzwerk-Probleme, die sich daher nur äußerst schwer debuggen ließen.

Eine kurzfristige Rück-Migration auf die alten Router war insbesondere
aufgrund der bereits geänderten neuen Verkabelung technisch praktisch
nicht mehr möglich.


Wir haben im gesamten Team fast 2 Wochen rund um die Uhr gearbeitet, bis
wir die Fehlerursache eingrenzen und die Fehler schließlich beheben
konnten.

Letztendlich stellte sich heraus, dass 2 Probleme gleichzeitig
zugeschlagen hatten, die dieses diffuse Fehlerbild ergaben:

1. Eine gewisse (leider die neueste) Versions-Reihe des Betriebssystems
der eingesetzten Router war fehlerhaft
2. Fehlerhaft produzierte Netzwerk-Komponenten eines bestimmten
Herstellers


Unser Routing-System befindet sich wieder in einem gewohnt stabilen
Zustand (mit geänderter Software und getauschten Netzwerk-Komponenten
eines anderen Herstellers).



Ich versichere Ihnen, dass die vergangenen Wochen für uns wie für Sie
mehr als (nerven-)aufreibend und frustrierend waren. Umso mehr freue ich
mich, dass wir die Probleme lösen konnten.


Ich bitte Sie an dieser Stelle aufrichtig um Entschuldigung für die
entstandenen Unannehmlichkeiten.

Mit freundlichen Grüßen
Ihr Manuel Schmitt