Die Überwachung von Kafka in der Produktion ist entscheidend für die Zuverlässigkeit von Datenpipelines. Diese Anleitung beschreibt die Einrichtung von Prometheus zur Erfassung wichtiger Kafka-Metriken, einschließlich Broker-Durchsatz, Anforderungsraten und Verbrauchergruppenverzögerung. Sie erklärt die Konfiguration von Exporteuren, die Definition von Alarmregeln und die Erstellung von Dashboards für Echtzeit-Beobachtbarkeit. Der Ansatz ist anbieterneutral und funktioniert sowohl mit lokalen als auch mit Cloud-Bereitstellungen. Der Fokus auf Verbraucherverzögerung ist besonders wertvoll, um Engpässe frühzeitig zu erkennen.
Ein praktischer Leitfaden zur Überwachung von Kafka-Clustern mit Prometheus, der wichtige Metriken wie Durchsatz und Verbraucherverzögerung abdeckt.