Wo sollen Baumröcke leben? Loki, Elasticsearch oder ClickHouse

Logs sind die älteste Form der Beobachtbarkeit und immer noch diejenige, die jeder als Erster sucht, wenn etwas bricht. Sie sind auch oft der teuerste Teil einer Beobachtungsmöglichkeit, weil es so viele davon gibt.

Wo man die Protokolle speichert, entscheidet, wie schnell man sie durchsuchen kann, wie viel man bezahlt und wie viel Arbeit es kostet, das System am Laufen zu halten. Heute dominieren drei Ansätze, die auf sehr unterschiedlichen Ideen basieren.

Wie sie sich unterscheiden

Elasticsearch / OpenSearch: alles indexieren

Der Klassiker. Elasticsearch (und seine Open-Source-Fork) OpenSearch) errichtet eine Volltextindex von jeder Logarithmuslinie. Jedes Wort wird schnell durchsuchbar.

• Stärken: leistungsstarke Volltextsuche, umfangreiche Abfragen und Aggregationen, ausgereiftes Ökosystem (Kibana, OpenSearch Dashboards), ideal für Sicherheitsanalysen.
• Schwächen: alles zu indexieren ist teuer in Speicher, Speicher und CPU. Die Cluster müssen sorgfältig abgestimmt werden (Scherben, Repliken, Stapelgrößen). Bei großen Mengen steigen Kosten und Betriebsaufwand schnell.

Grafana Loki: nur für die Verzeichnisse

Loki geht den entgegengesetzten Weg: nicht den Login-Inhalt indexiert, nur ein kleiner Satz von Etiketten (wie Namespace, App, Pod, Level). Die Loglinien selbst werden komprimiert und in billigen Objektlagern gelagert. Wenn Sie suchen, findet Loki die richtigen Streams nach Etiketten und scannt dann ihren Inhalt.

• Stärken: viel günstiger für die Lagerung und viel einfacher für den Betrieb. Passt natürlich zu Prometheus (selbe Marke) und Grafana. Das funktioniert toll für "Zeig mir die Protokolle von diesem Dienst um diese Zeit".
• Schwächen: die Suche nach einer zufälligen Zeichenfolge über alle Protokolle über einen langen Zeitrahmen ist langsamer. Hochkardinale Etiketten (wie Benutzer-ID) beeinträchtigen die Leistung stark. Die Etiketten müssen sorgfältig ausgewählt werden.

ClickHouse: Spaltenanalyse

ClickHouse ist ein Kolumnenanalytikdatenbank, die für schnelle Abfragen über riesige Mengen an strukturierten Daten entwickelt wurde. Es ist sehr beliebt für Logs und Spuren geworden, direkt oder durch Tools wie - Das ist nicht wahr., HyperDX (jetzt Teil von ClickHouse), Aufsteigen und andere.

• Stärken: ausgezeichnete Komprimierung, sehr schnelle Aggregation und Filterung auf strukturierten Feldern, SQL-Abfragen. Ideal für strukturierte Protokolle, bei denen Sie Analysen ("Fehlerquote pro Endpunkt pro Kunden im letzten Monat") benötigen.
• Schwächen: Sie müssen über Schema und Tabellendesign nachdenken. Eine reine Volltextsuche ist gut, aber nicht auf Elasticsearch-Ebene. Die Ausführung von ClickHouse-Clustern im großen Stil erfordert Fachwissen.

Elasticsearch fragt "welche Wörter sind in deinen Logs?" Loki fragt "woher kommen sie?" ClickHouse fragt "was ist in jedem Feld?"

Was kostet es

Grober relativer Vergleich für das gleiche Volumen an Logs (die tatsächliche Zahl hängt stark von der Konfiguration und dem Aufbewahrungsgrad ab):

	Elasticsearch / OpenSearch	Ich bin Loki.	ClickHouse
Lagerkosten	Hohe (Index + Daten)	Niedrig (komprimiert, Objektspeicher)	Niedrig (Säulenkompression)
Berechnung der Einnahme	Hoch	Niedrig	Mittlere
Geschwindigkeit der Volltextsuche	Sehr gut.	Fair über lange Strecken	- Das ist gut.
Aggregationen / Analysen	- Das ist gut.	Grundlegende (LogQL-Messwerte)	Sehr gut.
Betriebsanstrengung	Hoch	Niedrig bis mittlerer	Mittlere

Für alle drei gibt es verwaltete Versionen: Elastic Cloud, Amazon OpenSearch Service, Grafana Cloud Logs, ClickHouse Cloud, und viele Observability-Anbieter bauen auf einem dieser unterhalb.

Strukturelle Protokolle machen alles besser

Was auch immer du wählst, Strukturelle Baumstämme (JSON oder logfmt) sehr hilfreich:

{"ts":"2026-10-20T09:14:02Z","level":"error","service":"shop-api","trace_id":"4bf92f3577b34da6","route":"/orders","status":500,"duration_ms":1834,"msg":"payment provider timeout"}

• Die Felder können direkt gefiltert und aggregiert werden.
• trace_id Links Logs zu Traces, so dass Sie von einer Logzeile zur vollständigen Anfrage springen können.
• Durch konsistente Feldnamen für alle Dienste können Dienstleistungsübergreifende Suchanfragen durchgeführt werden.
• Vermeiden Sie das Einfügen von Variablendaten in den Nachrichtestext, wenn es sich um ein Feld handeln kann.

Wie lange soll ich sie behalten?

Die Aufbewahrungskarte kostet mehr als alles andere. Denken Sie in Stufen:

• Heiß (Tage bis ein paar Wochen): schnell, durchsuchbar, zum Debugg.
• Warm oder kalt (Wochen bis Monate): günstigere Lagerung, langsamere Abfragen, für Untersuchungen.
• Archive (Monate bis Jahre): Objektspeicherung, nur zur Einhaltung der Vorschriften.

Überprüfen Sie die gesetzlichen Anforderungen (Sicherheitsprotokolle, Prüfprotokolle und Finanzsysteme) und stellen Sie sicher, dass Personenbezogene Daten in den Protokollen auf ein Minimum reduziert und im Zeitplan gelöscht wird. Die DSGVO gilt auch für Protokolle.

Meine Empfehlungen

• Kubernetes-Heavy-Team bereits mit Grafana und PrometheusBeginnen Sie mit: Ich bin Loki.- Ich weiß . Billig, einfach, integriert sich wunderbar.
• Sicherheitsanalysen, Volltextsuche überall, vorhandene Elastic-Expertise: Elasticsearch oder OpenSearch.
• Große Mengen strukturierter Protokolle, Analysenfragen oder ein einheitliches Speicher für Protokolle und SpurenSieh dir das an. ClickHouse-basierte Werkzeuge.

Und sammeln Sie Logs mit einer herstellerneutralen Pipeline (der OpenTelemetry Collector, Vector oder Fluent Bit), damit Sie den Speicher später ändern können, ohne jede Anwendung zu berühren.

Also, wo sollen deine Baumstämme wohnen?

Irgendwo, wo man sie tatsächlich sucht, zu einem Preis, mit dem man sich wohl fühlt. Für die meisten Teams, die neu auf Kubernetes anfangen, ist das Loki. Für Teams mit starken Such- oder Analyseanforderungen verdienen die anderen zwei ihre zusätzlichen Kosten oder Anstrengungen.

Mein Tipp: Wählen Sie Ihre Log-Speicher nach dem, wie Sie Fragen stellen, nicht nach Gewohnheit. Und denk daran, dass das billigste Protokoll immer noch das ist, das du nie geschrieben hast.

Desly