Die Überwachung der Kafka-Leistung ist angesichts des exponentiellen Wachstums und der zunehmenden Komplexität von Implementierungen von entscheidender Bedeutung für die Gewährleistung einer optimalen Leistung und Verfügbarkeit Ihrer Kafka-Cluster. Da Kafka auf mehreren Partitionen auf verschiedenen Knoten läuft, dynamisch skaliert wird und große Datenmengen verarbeitet, kann die Verwaltung und Überwachung dieser Cluster eine Herausforderung darstellen. Das Kafka-Monitoring trägt zu einer besseren Verfügbarkeit und Cluster-Leistung bei, indem wichtige Metriken verfolgt, Probleme in Echtzeit identifiziert und eine schnelle Behebung gewährleistet wird.
Applications Manager bietet eine produktionsreife Kafka-Monitoring-Suite, die das Kafka-Messaging-Ökosystem effektiv überwacht und Unternehmen dabei hilft, eine hohe Verfügbarkeit und Effizienz bei Messaging und Datenübertragung für einen reibungslosen Geschäftsbetrieb sicherzustellen. Unser Kafka-Monitoring-Tool wurde für die Anforderungen von Unternehmen entwickelt und hilft Ihnen, Produktionsprobleme schneller zu beheben, sodass die technischen Teams bei der Systembereitstellung effektiver arbeiten können.
Unabhängig davon, ob Sie ein erfahrener Kafka-Administrator oder ein Neuling in diesem Ökosystem sind, kann eine Kafka-Monitoring-Software wie Applications Manager die Transparenz und Kontrolle bieten, die Sie benötigen, um Ihre Kafka-Cluster reibungslos zu betreiben. Mit dem Kafka monitor von Applications Manager können Sie die folgenden Metriken in unserem Kafka monitoring dashboardim Blick behalten:
Sie benötigen detaillierte Einblicke in die Ressourcennutzung Ihrer Kafka-Server, um eine klare Vorstellung von der Auslastung zu bekommen. Mit dem Kafka-Monitoring von Applications Manager können Sie die wichtigsten Metriken zur Ressourcennutzung überwachen, z. B. den physischen Speicher, den virtuellen Speicher und den Swap-Speicher, um herauszufinden, wie viel RAM der Kafka-Server verbraucht, und um im Falle eines plötzlichen Anstiegs des Ressourcenverbrauchs benachrichtigt zu werden. Außerdem erhalten Sie detaillierte Statistiken über den JVM-Heap- und Nicht-Heap-Speicher des Kafka-Servers. So können Sie feststellen, wie viele Daten gespeichert werden, und etwaige Speicherlecks erkennen.
Behalten Sie die Threads genau im Auge, die in Ihren Kafka-Servern verwendet werden, um mehrere Messaging-Anfragen gleichzeitig zu verarbeiten und Engpässe wie Speicherüberlastung, Thread Deadlocks und Thread Starvation zu vermeiden. Das Kafka-Monitoring von Applications Manager hilft Ihnen bei der Analyse von Thread-Details, indem Metriken wie Daemon-, Peak- und Live-Thread-Anzahl verfolgt werden, um im Falle von Leistungsanomalien festzustellen, welcher Thread die Probleme verursacht.
Überwachen Sie die wichtigsten Metriken Ihrer Kafka-Cluster über das Kafka-Dashboard und verschaffen Sie sich durch das Monitoring der Kafka-Cluster einen detaillierten Einblick in die Leistung der unten aufgeführten Komponenten:
Sie erhalten umfassende Informationen über die Topics, die innerhalb des Brokers eines Kafka-Clusters ausgeführt werden, und können Warnungen konfigurieren, falls ein Topic abnormal arbeitet. Behalten Sie die wichtigsten Metriken Ihrer Topics genau im Auge, z. B. eingehende oder ausgehende Bytes, eingehende Nachrichten und fehlgeschlagene Fetch- oder Produce-Anfragen, und vergleichen Sie die Leistung der einzelnen Topics, um fundierte Entscheidungen über die Zuweisung von Ressourcen oder den Lastausgleich zwischen den Topics zu treffen.
Applications Manager verfolgt durch das Monitoring der Kafka-Topics die folgenden Schlüsselmetriken:
| Parameter | Beschreibung |
|---|---|
| Log Details | |
| Log Flush Rate | Log Flush Rate Die asynchrone Leerungsrate des Festplattenprotokolls. |
| Metriken zu Broker-Topics | |
| Bytes In / Min | Die aggregierte Rate eingehender Bytes (in das Topic dieses Brokers geschriebene Datenmenge) pro Minute. |
| Bytes Out / Min | Die aggregierte Rate ausgehender Bytes pro Minute. |
| Bytes Rejected / Min | Bytes Rejected/Min Die Datenmenge der vom Broker abgelehnten Nachrichten pro Minute. |
| Failed Fetch Requests / Min | Die Anzahl der Datenleseanfragen von Consumern, die von Brokern für dieses Topic pro Minute nicht verarbeitet werden konnten. |
| Failed Produce Requests / Min | Die Anzahl der fehlgeschlagenen Anfragen von Producern. |
| Messages In / Min | Messages In/Min Die Anzahl der Nachrichten, die beim Kafka-Broker eingehen. |
| Replikationsmanager | |
| IsrExpands / Min | Die Anzahl der „In-Sync-Replica“-Erweiterungen. |
| IsrShrinks / Min | IsrShrinks/Min Die Anzahl der entfernten „In-Sync-Replicas“. |
| Leader Count | Leader Count Die Anzahl der Partitionen, für die ein bestimmter Host der Leader ist. |
| Partition Count | Die Anzahl der Partitionen im Cluster. |
| Under Replicated Partitions | Die Anzahl der Partitionen im Cluster, die nicht ausreichend repliziert sind. |
| RequestHandlerAvgIdlePercent | Der durchschnittliche Anteil der Zeit, in der die Request-Handler-Threads im Leerlauf sind. |
Sie erhalten detaillierte Informationen zu den Kafka-Brokern, die als Controller für die Verwaltung der Partitionen, Leader und Replikate in einem Kafka-Cluster dienen. Verschaffen Sie sich einen Überblick über die aktiven Controller, um den Broker zu identifizieren, der zum Zeitpunkt des Problems im Cluster Leader war, sowie die genaue Anzahl der Offline-Partitionen, damit Sie Fehler schnell beheben und Probleme lösen können.
Dies sind die wichtigsten Metriken eines Kafka-Controllers, die Sie im Auge behalten sollten:
| Parameter | Beschreibung |
|---|---|
| Details zum Kafka-Controller | |
| Active Controller Count | Die Anzahl der aktiven Controller im Cluster. |
| Offline Partitions Count | Die Anzahl der nicht verfügbaren Partitionen. |
| Leader Election Rate | Die Rate der Leader-Wahlen. |
| Unclean Leader Election Rate | Unclean Leader Election Rate Die Rate der nicht bereinigten Leader-Wahlen. |
Sie können sich einen umfassenden Überblick über die Messaging-Details Ihres Kafka-Servers verschaffen und den Anfragedurchsatz oder die Gesamtrate der ein- und ausgehenden Bytes zu Ihren Broker-Topics überwachen, um mögliche Engpässe zu erkennen und geeignete Maßnahmen zu ergreifen, z. B. die Implementierung einer End-to-End-Komprimierung von Nachrichten.
Im Folgenden finden Sie eine Liste der wichtigsten Metriken, die in Ihrem Kafka-Netzwerk überwacht werden müssen:
| Parameter | Beschreibung |
|---|---|
| Anfragebearbeitungsrate | |
| Request Produce / Min | Die Anzahl der Nachrichten, die an das Topic auf diesem Broker geschrieben wurden. |
| Request Fetch Consumer / Min | Die Menge der Daten, die die Consumer aus dem Topic auf diesem Broker abgerufen haben. |
| Request Fetch Follower / Min | Die Anfragen von Brokern, die Follower einer Partition sind, um neue Daten abzurufen. |
| Für Anfragen benötigte Zeit | |
| Total Time Produce / Min | Die Gesamtzeit für die Zustellung der Anfrage. |
| Total Time Fetch Consumer / Min | Die Gesamtzeit, in der die Consumer Daten aus dem Topic auf diesem Broker abgerufen haben. |
| Total Time Fetch Follower / Min | Die Gesamtzeit, die von den Followern einer Partition benötigt wird, um neue Daten abzurufen. |
| Netzwerkprozessorrate | |
| Network Processor Avg Idle Percent/Min | Die durchschnittliche freie Kapazität der Netzwerkprozessoren pro Minute. |
Sie erhalten umfassende Informationen über die Topics, die innerhalb des Brokers eines Kafka-Clusters ausgeführt werden, und können Warnungen konfigurieren, falls ein Topic abnormal arbeitet. Behalten Sie die wichtigsten Metriken Ihrer Topics genau im Auge, z. B. eingehende oder ausgehende Bytes, eingehende Nachrichten und fehlgeschlagene Fetch- oder Produce-Anfragen, und vergleichen Sie die Leistung der einzelnen Topics, um fundierte Entscheidungen über die Zuweisung von Ressourcen oder den Lastausgleich zwischen den Topics zu treffen.
Applications Manager überwacht die folgenden wichtigen Metriken zu Kafka-Topics:
| Parameter | Beschreibung |
|---|---|
| Topic Details | |
| Topic Name | Gibt den Namen des Topics an. |
| Bytes in / Min | Die aggregierte Rate eingehender Bytes (in das Topic dieses Brokers geschriebene Datenmenge) pro Minute. |
| Bytes Out / Min | Die aggregierte Rate ausgehender Bytes pro Minute. |
| Failed Fetch Requests / Min | Failed Fetch Requests/Min Die Gesamtzahl der fehlgeschlagenen Fetch-Anfragen pro Minute. |
| Failed Produce Requests / Min | Die Gesamtzahl der fehlgeschlagenen Produce-Anfragen. |
| Messages In / Min | Die Anzahl der Nachrichten, die beim Kafka-Broker eingehen. |
Sie können Kafka-Cluster mit Apache ZooKeeper verwalten, indem Sie Cluster, Broker und Topic-Konfigurationen beobachten und sich auch um die Wahl von Partitions-Leadern kümmern. Da ZooKeeper Metadaten über die Kafka-Broker, -Topics und -Partitionen speichert und sich mit administrativen Aufgaben wie der Wahl von Partitions-Leadern befasst, sollten Sie die ZooKeeper-Metriken genau im Auge behalten, um Ausfälle oder Verlangsamungen zu vermeiden und dafür zu sorgen, dass der Kafka-Cluster fehlerfrei arbeitet.
Rationalisieren Sie die Erkennung und Behebung von Vorfällen, indem Sie Leistungsprobleme in Kafka-Clustern, z. B. Consumer-Verzögerungen oder Offline-Partitionen, erkennen und sofortige Benachrichtigungen per E-Mail, SMS oder Slack erhalten. Sie können diese Warnungen an externe Tools für das Vorfallmanagement wie ServiceNow oder ManageEngine ServiceDesk Plus senden. Durch das Automatisieren von Korrekturmaßnahmen, z. B. mithilfe von Webhooks zum Starten externer Aktionen, können Sie außerdem schnell auf Vorfälle reagieren.
Nutzen Sie die Möglichkeiten des maschinellen Lernens für prädiktive Berichte über die Leistung von Kafka-Clustern sowie KI-gesteuerte Warn- und Berichtsfunktionen, um die Überwachung der Kafka-Leistung und die Fehlerbehebung zu vereinfachen und so einen unterbrechungsfreien Geschäftsbetrieb zu gewährleisten.
Applications Manager ermöglicht ein nahtloses Kafka-Monitoring. Sie können alle wichtigen Kafka-Leistungsindikatoren zusammen mit dem Rest des Anwendungs-Stacks verfolgen. Holen Sie sich jetzt die neueste Version!
30 Tage kostenlose TestversionBeim Kafka-Monitoring werden die Ressourcennutzung und die zugrunde liegenden Vorgänge in Kafka überwacht, um sicherzustellen, dass die Leistung nicht beeinträchtigt wird. Da Kafka sowohl in Bezug auf das Volumen als auch die Komplexität erheblich gewachsen ist und eine wesentliche Komponente der IT-Infrastruktur darstellt, ist es notwendig, eine spezielle Software für das Kafka-Monitoring wie ManageEngine Applications Manager zu implementieren, um den Betrieb zu überwachen, Engpässe zu identifizieren und zu beheben sowie die Leistung zu optimieren.
Das Kafka-Monitoring trägt dazu bei, die Systemverfügbarkeit und optimale Effizienz sicherzustellen. Detaillierte Einblicke in Metriken wie Durchsatz, Latenz und Ressourcenverbrauch in Echtzeit unterstützen Administratoren dabei, Leistungsanomalien zu erkennen und umgehend zu beheben. Die Transparenz auf Code-Ebene hilft bei der schnelleren Behebung von Problemen. Dadurch wird die Verfügbarkeit der Kafka-Cluster verbessert und die Zufriedenheit der Endbenutzer steigt. Die Nutzung historischer Analysen zur Vorhersage der Kafka-Leistung fördert ein proaktives Kafka-Management und ist bei der Kapazitäts- und Wachstumsplanung hilfreich, um einen reibungslosen Betrieb von Kafka-Clustern zu gewährleisten.
Das Tool von Applications Manager für das Kafka-Monitoring kostet ab 395 USD/Jahr für die Überwachung von bis zu zehn Kafka-Clustern. Dies ist eine der kostengünstigsten Kafka-Überwachungslösungen für Unternehmen. Sie ermöglicht es Ihnen, das Monitoring zu skalieren, wenn Ihre Kafka-Bereitstellung wächst.
Das Einrichten des Apache Kafka-Monitorings mit Applications Manager ist ganz einfach. Aktivieren Sie einfach JMX auf dem Kafka-Broker und richten Sie den Kafka-Monitor in Applications Manager ein, indem Sie die JMX-Anmeldeinformationen angeben, einschließlich Benutzername, Passwort, JMX-Port und JNDI-Pfad.
Sie können detaillierte Kafka-Monitoring-Metriken zum Zustand und der Leistung der folgenden Kafka-Komponenten erfassen:
Weitere Informationen finden Sie auf unserer Hilfeseite zum Kafka-Monitoring.