Zu viele Alarme: Kann KI den Lärm abschneiden?

Jeder Dienstingenieur kennt das Gefühl. Dein Handy klingelt. Sie überprüfen es: CPU bei 85% auf einem Knoten, der seit einem Jahr bei 85% ist. Wieder ein Summen: eine Diskenwarnung, die sich in zwei Minuten löst. Buzz: zehn Warnungen für dasselbe Datenbankproblem, eine von jedem Service, der es benutzt.

Nach ein paar Wochen reagieren die Leute nicht mehr. Die einzige Warnung, die wirklich zählt, wird dann auch ignoriert. Das ist Alarmmüdigkeit, und es ist gefährlich.

AIOps-Tools versprechen, es mit maschinellem Lernen zu beheben. - Ist das wahr?

Warum statische Schwellenwerte fehlschlagen

Die meisten Warnungen sind so aufgebaut: "Wenn die Kennzahl X für Z Minuten über Y liegt, rufen Sie jemanden". Einfach und vorhersehbar. Auch häufig falsch:

• Normaler Wandel im Laufe der Zeit. Um 15 Uhr ist Verkehr. Montag sieht gar nicht aus wie drei Uhr morgens. - Ich bin hier. Eine Schwelle kann nicht beide passen.
• Schwellen sind Vermutungen. Jemand hat vor Jahren 80% ausgesucht und niemand weiß, warum.
• Ursachen, keine Symptome. Hohe CPU ist kein Problem, wenn die Benutzer zufrieden sind. Langsamer Auszahlung ist ein Problem, auch wenn die CPU in Ordnung ist.
• Ein Versagen, viele Alarme. Ein Datenbank-Ausfall löst Alarme in jedem abhängigen Dienst aus.

Was AIOps-Tools versprechen

"AIOps" ist ein breiter Marketingbegriff, der jedoch in der Regel einige reale Merkmale umfasst:

• Anomalie-Erkennung. Anstelle von festen Schwellenwerten lernt das Tool, was für jede Metrik normal ist, einschließlich täglicher und wöchentlicher Muster und Warnungen bei ungewöhnlichem Verhalten.
• Korrelation und Gruppierung. Verwandte Warnungen von verschiedenen Diensten werden in einem Vorfall gruppiert, idealerweise mit einer Vermutung der Ursache.
• Entduplizierung und Unterdrückung. Alarme und Duplikate werden zusammengeführt oder gedämpft.
• Zusammenfassungen. Mit LLM schreiben viele Tools nun eine einfache Erklärung dessen, was vor sich geht.

Datadog, Dynatrace, New Relic, Grafana, PagerDuty, BigPanda und andere bieten alle eine Version dieser Funktionen an.

Was sie tatsächlich liefern

Aus meiner Erfahrung, ehrlich gesagt: etwas echten Wert, und weniger Magie als das Verkaufsschiff.

Gruppierung und Korrelation ist, wo ich den größten Nutzen sehe. 40 Alarme in einen Vorfall mit einer Zeitlinie zu verwandeln, ist eine große Verbesserung für den, der auf Warteschirm steht.

Anomalieerkennung ist nützlich für Metriken mit starken Mustern, wie Verkehr und Geschäftszahlen, und laut für alles andere. "Anomal" bedeutet nicht "schlecht". Eine Marketingkampagne ist auch eine Anomalie.

Zusammenfassungen der IA Sie helfen, sich schneller zu orientieren, mit dem üblichen Vorbehalt: Überprüfen Sie die Beweise.

KI kann den Lärm sortieren, aber nicht entscheiden, was Sie interessieren sollte. Das ist immer noch dein Job.

Zuerst die Grundlagen reparieren

Bevor man etwas kauft, können die meisten Teams die Hälfte ihres Alarmgeräuschs mit Disziplin beseitigen:

• Warnung über die Symptome, die Benutzer empfindenDie Daten sind in der Regel in der Regel nicht verfügbar. Idealerweise basierend auf SLO und Verbrennungsraten.
• Jede Seite braucht jetzt eine menschliche Handlung. Wenn nicht, dann machen Sie es zu einem Ticket oder einem Armaturenbrett, nicht zu einer Seite.
• Jede Alarmmeldung hat einen Besitzer und ein Fahrbuch.
• Gruppe und Hemmung in Ihrem Alarmgerät. Der Alertmanager kann nachgelagerte Warnungen unterdrücken, wenn die vorgelagerte schießt.
• Überprüfen Sie die Alarme monatlich. Welche haben abgefeuert? Was war nützlich? Löschen oder reparieren Sie den Rest.

AIOps auf einer unordentlichen Alarmanlage gibt dir nur organisiertes Durcheinander.

Beurteilung, ob eine Warnung sich lohnt

Die Metrik, die ich am meisten mag, ist Aktionierbarkeitsrate: von allen Seiten im letzten Monat, wie viele führten zu jemandem, der tatsächlich etwas tat? Wenn es unter etwa der Hälfte liegt, haben Sie ein Lärmproblem.

Weitere nützliche Nummern: Seiten pro Dienstzeit, Seiten außerhalb der Arbeitszeit und Zeit, die zu bestätigen ist. Wenn diese Richtung richtig ist, funktioniert alles, was Sie geändert haben, mit oder ohne KI.

Kann KI den Lärm reduzieren?

Teilweise. Es ist wirklich gut darin, Gruppen zu gruppieren und zusammenzufassen. Aber die größten Erfolge kommen immer noch, wenn man als Team entscheidet, was es verdient, jemanden aufzuwecken. Mach das zuerst, dann lass die KI mit dem Rest helfen.

Meine Meinung: Der leiseste Pieper kommt von einer guten Alarmkonstruktion. KI ist ein hilfreicher Filter, kein Ersatz für die Entscheidung, was zählt.

Desly