Wenn eine Region zusammenbricht: eine funktionierende Katastrophenrettung

Wolkenregionen sind unglaublich zuverlässig. Bis sie es nicht mehr sind. Große Ausfälle bei großen Anbietern passieren ab und zu, manchmal nehmen sie den Dienst für eine ganze Region für Stunden aus. Und Katastrophen sind nicht nur für Anbieter: eine gelöschte Produktionsdatenbank, ein Ransomware-Angriff, eine schlechte Bereitstellung, die Daten beschädigt, oder eine abgelaufene Zahlungsmethode, die ein Konto aussetzt.

Bei der Disaster Recovery geht es darum, eine Frage ehrlich zu beantworten: Wenn das Schlimmste passiert, wie schnell können wir zurück sein und wie viele Daten werden wir verlieren?

RPO und RTO, einfach

Zwei Zahlen definieren deine DR-Ziele:

• RPO (Recovery Point Objective) (Ziel für die Erholungspunkte)Wie viele Daten können Sie sich leisten zu verlieren? Wenn Ihr RPO eine Stunde dauert, benötigen Sie mindestens alle Stunde Backups oder Replikationen.
• RTO (Recovery Time Objective) (Ziel der Wiederherstellung der Zeit)Wie lange kannst du unten sein? Wenn Ihr RTO vier Stunden ist, müssen Sie innerhalb von vier Stunden wieder in Betrieb sein können.

Niedrigere Zahlen kosten mehr. Ein RPO von null und ein RTO von Minuten bedeuten aktive-aktive Systeme in mehreren Regionen, was teuer und komplex ist. Ein RPO von 24 Stunden und ein RTO von einem Tag könnten für ein internes Werkzeug in Ordnung sein.

Setzen Sie sie pro System, mit dem Geschäft. Nicht alles muss auf dem gleichen Niveau sein.

Vier Strategien

Von billigsten zu teuersten:

1. Die Sicherung und Wiederherstellung. Regelmäßige Backups, die in einer anderen Region oder einem anderen Konto gespeichert sind. Bei einer Katastrophe baut man die Infrastruktur wieder auf (mit Infrastruktur als Code) und stellt die Daten wieder her. Billig, aber die Genesung dauert Stunden. RPO hängt von der Backup-Frequenz ab.

2. Die Das ist ein Pilotlicht. Die Kernkomponenten (wie eine replizierte Datenbank) laufen in der zweiten Region mit einer minimalen Größe. Alles andere kann schnell aus Code erstellt werden. Schnellerer Erholung, moderate Kosten.

3. Die Warm in Bereitschaft. Eine verkleinerte, aber voll funktionsfähige Kopie des Systems läuft in der zweiten Region. Bei einer Katastrophe, man vergrößert es und wechselt den Verkehr. Erholung in Minuten bis einer Stunde.

4. Die Aktiv-aktiv (mehrere Stellen). Das System ist in mehreren Regionen gleichzeitig voll funktionsfähig und dient dem Verkehr. Ein Regionsfehler verlagert den Verkehr. Fast Null RTO, aber die teuerste und komplexeste, vor allem für die Datenkonsistenz.

Strategie	Typische RTO	Typische RPO	Kosten
Sicherung und Wiederherstellung	Stunden bis Tag	Stunden	Niedrig
Pilotlicht	Zehntausende von Minuten bis Stunden	Das Protokoll	Mittlere
Warmstandby	Das Protokoll	Sekunden bis Minuten	Höher
Aktiv-aktiv	Nahezu null	Nahezu null	Höchste

Die Notfallhilfe ist kein Dokument. Es ist eine Fähigkeit, und Fähigkeiten brauchen Übung.

Die Grundlagen

Was auch immer Sie tun, diese Grundlagen sind wichtig:

• Infrastruktur als Code Für alles. Die manuelle Wiederherstellung der Infrastruktur ist langsam und fehleranfällig.
• Backups in einer anderen Region und einem anderen Konto, idealerweise mit Unveränderlichkeit (Objektverschluss), so dass Ransomware oder ein kompromittierter Administrator sie nicht löschen kann.
• Automatisierte, überwachte Sicherungen: Alarmiert, wenn ein Backup fehlt oder ausfällt.
• DNS und Datenverkehrsmanagement die schnell von Region zu Region wechseln können (niedrige TTL, gesundheitsüberprüfte Fehlerübergangsergebnisse, globale Lastbalancer).
• Geheimnisse, Zertifikate und Containerbilder Die Kommission hat die Kommission aufgefordert, die Eine häufige Überraschung: Die Bilderregister oder das Geheimgeschäft existierten nur in der gescheiterten Region.
• Runbooks dass jemand anderes als der Original-Autor folgen kann.

Kubernetes-Sicherung mit Velero

Für Kubernetes, - Das ist Velero. ist das Standard-Open-Source-Tool. Es sichert Kubernetes-Ressourcen (Bereitstellungen, Services, Config) und persistente Volumes (mit Snapshots oder Dateiniveau-Backup) auf Objektspeicher und stellt sie wieder her, auch in einen anderen Cluster.

# Daily backup of the shop namespace, kept for 30 days
velero schedule create shop-daily \
  --schedule="0 2 * * *" \
  --include-namespaces shop \
  --ttl 720h

# Restore into a new cluster
velero restore create --from-backup shop-daily-20261020020000

Mit GitOps sind Ihre Kubernetes Ressourcen bereits in Git, also ist der kritische Teil, den Velero hinzufügt, Dauerhafte Daten- Ich weiß . Für Datenbanken bevorzugen Sie die eigenen Backup-Tools der Datenbank (oder einen Operator wie CloudNativePG) für eine konsistente, zeitgenaue Wiederherstellung und verwenden Sie Velero als zusätzliche Ebene.

Ich teste es wirklich .

Das ist der Teil, den die meisten Teams überspringen, und der Teil, der am wichtigsten ist.

• Regelmäßige Sicherungssysteme wiederherstellen in eine Testumgebung, wenn möglich automatisch. Überprüfen Sie, ob die Daten tatsächlich nutzbar sind.
• DR-Übungen durchführenDie Ergebnisse der Studie zeigen, dass die Entwicklung von Technologien, die in der Praxis nicht nur für die Entwicklung von Zeit es. Vergleichen Sie mit Ihrem RTO.
• Beginnen Sie klein: eine Datenbank wiederherstellen, dann einen Dienst, dann eine ganze Umgebung.
• Schreib jede Überraschung auf . während einer Bohrung und reparieren. Es wird Überraschungen geben: fehlende Berechtigungen, vergessene Abhängigkeiten, veraltete Laufbücher, Quoten in der Wiederherstellungsregion.
• Chaos-Experimente Wie das Versagen einer Verfügbarkeitszone hilft auch Vertrauen zu schaffen.

Also, wo fange ich an?

RPO und RTO für Ihre drei wichtigsten Systeme. Überprüfen Sie, ob die Sicherungen existieren, in einer anderen Region und einem anderen Konto sind und unveränderlich sind. Dann bring einen in eine neue Umgebung zurück und zeichne ihn ab. Diese einzige Übung wird Ihnen mehr über Ihre wahre DR-Bereitschaft sagen als jedes Dokument.

Meine Meinung: Es gibt keine Notfallwiederherstellung, bis man sich von einer Katastrophe erholt hat, selbst einer Scheinkatastrophe.

Desly