Kann AI um 3 Uhr morgens helfen? KI bei der Reaktion auf Vorfälle

In Nimmt mir KI meinen DevOps-Job weg? Ich sagte zwei Dinge über Vorfälle. KI ist sehr gut darin, Protokolle zu lesen. Und die Menschen müssen immer noch die Entscheidung übernehmen. Dieser Beitrag geht tiefer in die Praxis ein, Schritt für Schritt durch einen Vorfall.

Ein typischer Vorfall, mit KI im Kreislauf.

Lassen Sie uns ein realistisches Szenario durchgehen. Die Fehlerquote bei der Kasse steigt um 03:12. Der Diensttechniker wird angerufen.

Minute 0 bis 5: Verständnis, was passiert. Ohne KI bedeutet das, Dashboards zu öffnen, aktuelle Einsätze zu überprüfen, Logs zu erfassen. Mit einem KI-Assistenten, der mit Beobachtungswerkzeugen verbunden ist (über MCP oder eine Anbieterintegration), können Sie fragen: "Was hat sich im Kassendienst in der letzten Stunde geändert, und was sagen die Fehlerprotokolle?"

Ein guter Assistent wird mit etwas wie: einer Bereitstellung um 03:05, einem neuen Fehler, der um 03:11 erscheint (Verbindungszeitlimits zur Zahlungsdatenbank) und einem Anstieg der Datenbankverbindungszahl zurückkommen. In wenigen Sekunden machte es, was früher zehn Minuten dauerte.

Minute 5 bis 15: Eine Hypothese bilden. Die KI deutet darauf hin, dass die neue Version die Verbindungspool-Einstellungen verändert hat. Das zeigt den Unterschied. Das ist nützlich und vielleicht auch richtig.

Minute 15: Die Entscheidung. Verlängern Sie die Freigabe oder erhöhen Sie das Datenbankverbindungslimit? Das Datenbank-Team aufwecken? - Die Kunden? Hier übernimmt der Mensch die Kontrolle. Die KI kann Optionen und deren Risiken auflisten. Es kann keine Verantwortung für die Wahl übernehmen.

KI verkürzt die Zeit, um einen Vorfall zu verstehen. Es verkürzt nicht die Zeit, die es braucht, um für die Reparatur verantwortlich zu sein.

Was KI wirklich gut in Zwischenfällen kann

• Eine Zusammenfassung riesiger Datenmengen. Tausende von Log-Zeilen, Dutzende von Warnungen, mehrere Dashboards, zusammengefasst in "Hier ist was ungewöhnlich ist".
• Korrelation mit Veränderungen. Verknüpfung von Fehlern mit jüngsten Bereitstellungen, Konfigurationsänderungen oder Funktionsflaggenwechseln.
• Ich suche nach vergangenen Vorfällen. "Haben wir diesen Fehler schon mal gesehen?" Über alte Leichenunterlagen und Tickets.
• Ich halte die Zeitlinie. Aufzeichnen, was passiert ist, wer was getan hat und wann, während sich die Leute darauf konzentrieren, es zu reparieren.
• Ich erstelle Statusaktualisierungen. Eine klare, ruhige, kundenorientierte Botschaft, die ein Mensch genehmigen kann.

Was geht schief

Ich habe gesehen, wie KI die gleichen Fehler macht in Zwischenfallsszenarien:

• Die Schuld für die jüngste Änderung Selbst wenn es ein Zufall ist. Korrelation ist keine Ursache.
• Die wahre Ursache vergisst er außerhalb seiner Sicht. Wenn es nur Anwendungsprotokolle sieht, wird es das Netzwerkproblem des Cloud-Anbieters nicht bemerken.
• Halluzinierende Details: ein Konfigurationswert oder eine Metrik, die nicht existiert.
• Klingt sicher Wenn die Beweise dünn sind.

Die Regel für Anrufingenieure: Verhalten Sie sich mit KI-Entscheidungen als Hypothesen, die überprüft werden müssen, nicht als Antworten, auf die wir reagieren können. Bitten Sie ihn, die Beweise zu zeigen: die Logarithmuslinie, die Metrik, die Differenz.

Überprüfung der Schlussfolgerungen der KI

Eine einfache Routine, die gut funktioniert:

1. Fragen Sie die KI, was sie für passiert hält.
2. Fragen Sie nach den konkreten Beweisen für jede Behauptung.
3. Überprüfen Sie die Beweise selbst im Originalwerkzeug.
4. Fragen Sie, was sonst noch die gleichen Symptome erklären könnte.

Diese vierte Frage ist unterschätzt. Es hilft, sich nicht auf die erste Theorie zu beschränken, die auch bei Unfällen ein klassischer menschlicher Fehler ist.

Wir schreiben die Obduktion zusammen .

Nach dem Vorfall ist KI eine große Hilfe bei dem Teil, den niemand genießt: das Aufschreiben.

Geben Sie ihm den Vorfallkanal, die Zeitlinie und die relevanten Grafiken und bitten Sie um einen ersten Entwurf einer schuldlosen Nachbefragung: Zusammenfassung, Auswirkungen, Zeitlinie, Ursache, beitragende Faktoren, Aktionspunkte. Dann bearbeiten Sie es richtig. Die KI gibt Ihnen Struktur, aber die Einblicke, warum das System dies zulassen konnte, erfordern menschliches Denken.

Werkzeuge, die einen Blick wert sind

Viele Vorfall- und Beobachtungsplattformen enthalten jetzt KI-Funktionen: incident.io, Rootly, PagerDuty, Datadog, Grafana, New Relic und andere. Es gibt auch eine neue Welle von "AI SRE"-Produkten, die Alarme selbstständig untersuchen. Versuchen Sie es zuerst mit vergangenen Vorfällen: Wiederholen Sie einen alten Vorfall und sehen Sie, ob die KI die Ursache gefunden hätte.

Kann KI um 3 Uhr morgens helfen?

Ja, sehr viel. Es macht die ersten 15 Minuten eines Vorfalls viel schneller und weniger stressig. Aber die Person, die den Pieper hält, ruft immer noch an, und so sollte es sein.

Meine Meinung: Lassen Sie KI das Lesen machen und lassen Sie sich selbst entscheiden. Besonders um 3 Uhr morgens .

Desly