Am Donnerstag, 21.3.2024 \u00fcberraschte uns unsere Systen\u00fcberwachung, dass viele unserer Dienste nicht von extern verf\u00fcgbar waren. Die Ursache war letztlich, dass die DNS-Namenseintr\u00e4ge f\u00fcr die Domains und Subdomains unserer Dienste nicht aufl\u00f6sbar waren, die Dienste an sich (also die virt. Maschinen sowie Webservices) erfolgreich im Hintergrund weiterliefen. Die DNS-Eintr\u00e4ge f\u00fcr z.B. os4x.com, seon.de oder c-works.de sind bei unserem Hoster Server4you hinterlegt. In der WHOIS-Datenbank werden die genutzten DNS-Eintr\u00e4ge gespeichert, und diese DNS-Server (welche bei Server4you betrieben werden) waren nicht erreichbar. Wir haben direkt versucht den Hoster telefonisch zu erreichen, jedoch ohne Erfolg: „kein Anschluss unter dieser Nummer“, „besetzt“: keine M\u00f6glichkeit den Support zu erreichen. Mails an den Hoster wurden nicht zugestellt, da deren Mailserver auch offline war, sowie deren eigene Domain server4you.de keine Namensaufl\u00f6sung f\u00fcr den Mailserver bereithielt (der Nameserver war nicht verf\u00fcgbar, der den MX-Record h\u00e4tte liefern sollen). Da die Homepage des Hosters auch nicht verf\u00fcgbar war, war die Lage sehr unklar. Durch Recherchen via X\/Twitter konnten wir herausfinden, dass am selben Server-Standort mehrere Hoster ihren Platz haben (z.B. Plusserver, iNetSolutions, GoDaddy), das 2015 bezogene „Datadock“-Rechenzentrum (interessant: nur 7 Gehminuten vom 2022 abgebrannten OHV-Standort entfernten) weist eine kritische Situation auf, es wurde \u00fcber Wassereintritt spekuliert.<\/p>\n
Am Morgen des 22.3. um 7:47 Uhr wurde von Plusserver verk\u00fcndet, es g\u00e4be ein Problem in einem Batterie-Raum. Nachmittags um 14:51 verk\u00fcndete der Rechenzentrums-Betreiber, es gab am Donnerstag-Morgen einen kleinen Brand im Batterie-System, die Server sind unbeschadet, die Stromversorgung tempor\u00e4r ausgefallen, man arbeite an der Wiederherstellung der Stromversorgung. Dies zog sich bis ins Wochenende hin.<\/p>\n
Am Samstagvormittag, 23.3. konnte der Betreiber Server4you wieder telefonisch erreicht werden, jedoch ohne technischen Support, man m\u00fcsse sich gedulden. Ein Eskalations-Management g\u00e4be es nicht, auch keine M\u00f6glichkeit h\u00f6here Stellen zu kontaktieren. Auf unser Dr\u00e4ngen wurde ein Kontaktversuch aufgenommen, dass unsere Domaineintr\u00e4ge f\u00fcr wenigstens die wichtigsten Dienste umkonfiguriert werden, wir hatten am Freitag schon Cloudflare als m\u00f6gliche Alternative f\u00fcr DNS-Dienste auserkoren und Vorbereitungen getroffen. Dieser Vorschlag wurde am Samstag bis 20:37 Uhr von Server4you durch \u00c4nderung der WHOIS-Datenbank umgesetzt, sodass wir manuell alle Domains und Subdomains bei Cloudflare wieder aufsetzen konnten. Am Sonntag, 24.3. war dies bis um ca. 13 Uhr durchgef\u00fchrt, sodass alle Dienste wieder \u00fcber die DNS-Server von Cloudflare erreichbar sind und alle Kunden arbeitsf\u00e4hig werden.<\/p>\n
Wir haben aus diesem Vorfall gelernt, dass es keine versprochene Redundanz gibt (egal bei welchem Provider) und werden f\u00fcr zuk\u00fcnftige kritische Situationen geeignete Backup-Ma\u00dfnahmen vorbereiten. Die Kommunikation w\u00e4hrend dieses Ausfalls war nicht m\u00f6glich (weder unsere eigene noch die von Server4you), wir haben eine an einem weiteren Serverstandort gehostete Statusseite f\u00fcr Sie eingerichtet: https:\/\/www.c-works-status.com<\/a>.<\/p>\n Server4you arbeitet derzeit noch an der Wiederherstellung der Stromversorgung (derzeit muss ein 19to schweres Kabel per LKW geliefert werden, das wegen Sonntagsfahrverbot erst heute geliefert werden kann; Details sh. https:\/\/www.server4you.de<\/a>). Andere Firmen wie Plusserver haben den Standort eilig verlassen und verluden Ihre Server per LKW nach K\u00f6ln (sh. https:\/\/status.plusserver.com\/incidents\/s6lzkwsc3tbj<\/a>).<\/p>\n F\u00fcr technische Details stehen wir Ihnen gerne zur Verf\u00fcgung, wir versuchen Ihnen alles zu erkl\u00e4ren und hoffen, dass der Ausfall keinen elementaren Schaden bei Ihnen hinterlassen hat. Ma\u00dfnahmen wie autom. st\u00fcndliches Abholen zur Verf\u00fcgung gestellter Dateien per OFTP2 haben bei den von uns gehosteten System wenigstens f\u00fcr etwas Entspannung gesorgt.<\/p>\n","protected":false},"excerpt":{"rendered":" Am Donnerstag, 21.3.2024 \u00fcberraschte uns unsere Systen\u00fcberwachung, dass viele unserer Dienste nicht von extern verf\u00fcgbar waren. Die Ursache war letztlich, dass die DNS-Namenseintr\u00e4ge f\u00fcr die Domains und Subdomains unserer Dienste nicht aufl\u00f6sbar waren, die Dienste an sich (also die virt. Maschinen sowie Webservices) erfolgreich im Hintergrund weiterliefen. Die DNS-Eintr\u00e4ge f\u00fcr z.B. os4x.com, seon.de oder c-works.de […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4],"tags":[],"class_list":["post-1212","post","type-post","status-publish","format-standard","hentry","category-infrastruktur"],"aioseo_notices":[],"post_mailing_queue_ids":[],"_links":{"self":[{"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/posts\/1212","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/comments?post=1212"}],"version-history":[{"count":1,"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/posts\/1212\/revisions"}],"predecessor-version":[{"id":1213,"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/posts\/1212\/revisions\/1213"}],"wp:attachment":[{"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/media?parent=1212"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/categories?post=1212"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.os4x.com\/de\/wp-json\/wp\/v2\/tags?post=1212"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}