Stellungnahme zur Nichterreichbarkeit am
19. Juli 2018
Veröffentlicht am 23.07.2018 von DomainFactory
Am Donnerstag, den 19. Juli 2018, kam es zu einer Störung beim Zugriff auf unser Mailsystem und auf Domains, denen SSL-Zertifikate mit eigenen IP-Adressen zugewiesen sind. Wir möchten Ihnen hier nun die Ursache und unsere Gegenmaßnahmen erläutern.
In der Nacht zum 19. Juli 2018 haben wir geplante Wartungsarbeiten in unserem Netzwerk durchgeführt, um unsere Infrastruktur zu aktualisieren und um die Serverstabilität, die Performance und die Skalierbarkeit des Systems weiter zu verbessern. Primär bezogen sich unsere Arbeiten dabei auf Routingpolicies. Wir haben den Vorgang sorgfältig geplant und vorbereitet, und wir waren mit der Vorgehensweise durch mehrfache Durchführung in anderen Teilen unserer Umgebung bereits vertraut. Bislang konnten wir positive Ergebnisse ohne jegliche Beeinträchtigung dabei erzielen.
Dennoch kam es gegen 2:30 Uhr an zwei voneinander unabhängigen Stellen zu Fehlern in der Konfiguration, die zur Nichterreichbarkeit diverser Kundensysteme führten. Dies betraf nicht nur den Netzbereich, auf den sich unsere Arbeit beschränkte, sondern wirkte sich auch auf Fragmente anderer Netzbereiche aus.
Leider war der Fehler für uns nicht direkt ersichtlich, da innerhalb unseres Netzwerks alle Dienste erreichbar waren. Gegen 4:30 Uhr wurde der Fehler bei uns bekannt. Zu diesem Zeitpunkt war die Wartung bereits abgeschlossen, sodass ein Rollback – also ein komplettes Zurückrollen der Änderung – nicht mehr möglich war.
Sobald wir den Fehler erkannt hatten, haben wir mit der Fehleranalyse begonnen und konnten gegen 8 Uhr morgens die Verfügbarkeit der ersten betroffenen Netzbereiche wiederherstellen.
Gegen 9:30 Uhr haben wir den zweiten Fehler identifiziert. Die Behebung für alle betroffenen Netzbereiche hat etwa eine Stunde in Anspruch genommen – gegen 10:30 Uhr standen sämtliche Systeme wieder zur Verfügung.
Durch die Zwischenspeicherung von E-Mails, die während der Störung eingegangen sind, war unser Mailsystem anschließend noch für mehrere Stunden stark ausgelastet, sodass es zu einer verzögerten E-Mail-Zustellung kam.
Es sind keine E-Mails verloren gegangen.
Wir haben diesen Vorfall zum Anlass genommen, unsere Vorgehensweise bei Wartungsarbeiten insbesondere in Bezug auf unser Monitoring-System genau zu überprüfen, damit wir künftig schneller reagieren können.
Wir bedauern sehr, dass es zu dem Fehler kam und dass wir dadurch Ihr Tagesgeschäft beeinträchtigt haben. Daher möchten wir uns für die entstandenen Unannehmlichkeiten entschuldigen und werden daran arbeiten, dass es künftig nicht mehr zu solchen Vorfällen kommt.
