Managed Service for Apache Kafka erfasst Messwerte, mit denen Sie Ihre Kafka-Cluster überwachen können. Auf dieser Seite wird beschrieben, wie Sie diese Messwerte in der Google Cloud Console aufrufen.
Übersicht
Managed Service for Apache Kafka exportiert mehrere Messwerte, die in der Open-Source-Kafka-Distribution verfügbar sind, sowie dienstspezifische Messwerte wie den Offset-Lag der Consumer-Gruppe.
Die Messwerte sind in vier Ressourcenkategorien unterteilt:
Cluster: Diese Messwerte sind nützlich, um die allgemeine Integrität eines Clusters aufrechtzuerhalten.
Thema: Diese Messwerte umfassen Raten und Fehler für Publisher und Nutzer. Sie überwachen den allgemeinen Zustand von Kafka-Anwendungen und Probleme, die sich auf einen bestimmten Broker beziehen.
Themenpartition: Diese Messwerte sind für die Überwachung und Fehlerbehebung von Leistungsproblemen vorgesehen, die sich auf einzelne Partitionen beziehen, z. B. eine ungleichmäßige Schlüsselverteilung.
Verbrauchergruppe für Themenpartition: Mit diesen Messwerten wird der Zustand von Verbraucheranwendungen überwacht, insbesondere die Verzögerung bei Verbrauchern. Open-Source-Kafka-Fehlermesswerte für Nutzergruppen sind nicht nach Partition, sondern nur auf Themaebene verfügbar.
Einige Messwerte können nach Brokerindex gruppiert werden. Anhand des Brokerindex können Sie die Zone ermitteln, in der der Broker bereitgestellt wird. Weitere Informationen finden Sie unter Broker ansehen.
Messwerte für einen Kafka-Cluster ansehen
Sie haben folgende Möglichkeiten, die Messwerte aufzurufen:
Die Seite Clusterdetails enthält Monitoring-Dashboards für Cluster, Themen und Consumer-Gruppen. Diese Dashboards enthalten vordefinierte Diagramme, mit denen Sie den Gesamtzustand und die Leistung Ihres Clusters sehen können.
Mit dem Metrics Explorer können Sie alle verfügbaren Messwerte ansehen, benutzerdefinierte Diagramme erstellen oder Messwerte für mehrere Cluster zusammenfassen.
Erforderliche Rollen und Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Viewer (roles/managedkafka.Viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Monitoring-Diagrammen benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Monitoring-Dashboards verwenden
So rufen Sie die Monitoring-Dashboards für einen Managed Service for Apache Kafka-Cluster auf:
Rufen Sie in der Google Cloud Console die Seite Cluster auf.
Klicken Sie auf den Namen des Clusters.
Wenn Sie Messwerte für den Cluster aufrufen möchten, wählen Sie den Tab Monitoring aus.
So rufen Sie Messwerte für ein Thema im Cluster auf:
Wählen Sie den Tab Ressourcen aus.
Klicken Sie in der Liste Themen auf den Namen des Themas.
Wählen Sie auf der Seite Themendetails den Tab Monitoring aus.
So rufen Sie Messwerte für eine Verbrauchergruppe im Cluster auf:
Wählen Sie den Tab Ressourcen aus.
Klicken Sie in der Liste Nutzergruppen auf den Namen der Nutzergruppe.
Wählen Sie auf der Seite Details zur Verbrauchergruppe den Tab Monitoring aus.
Weitere Informationen finden Sie unter Kafka-Cluster ansehen.
Metrics Explorer verwenden
So rufen Sie Messwerte für Managed Service for Apache Kafka mit dem Metrics Explorer auf:
Wechseln Sie in der Google Cloud Console zur Seite Metrics Explorer.
Klicken Sie im Bereich Konfiguration auf Messwert auswählen.
Geben Sie im Filter
Apache Kafkaein.Wählen Sie unter Aktive Ressourcen eine der folgenden Optionen aus:
Apache Kafka-Cluster
Apache Kafka-Thema
Apache Kafka-Themenpartition
Apache Kafka-Themenpartitions-Nutzergruppe
Wählen Sie einen Messwert aus und klicken Sie auf Übernehmen.
Weitere Informationen zum Metrics Explorer finden Sie unter Diagramme mit dem Metrics Explorer erstellen.
Messwerte für Managed Service for Apache Kafka
In den folgenden Tabellen sind häufig verwendete Messwerte für die Überwachung Ihres Kafka-Clusters und Ihrer Clusterressourcen aufgeführt. Eine vollständige Liste der verfügbaren Messwerte finden Sie unter Google Cloud -Messwerte.
Der Managed Service for Apache Kafka-Dienst wird durch die Dienst-URL
managedkafka.googleapis.com identifiziert.
Clustermesswerte
Die folgenden Messwerte gelten für Cluster. Wenn Sie die Messwerte für einen bestimmten Cluster aufrufen möchten, filtern Sie nach dem Label cluster_id.
| Messwert | Beschreibung | Entsprechender MBean-Name |
|---|---|---|
cpu/core_usage_time |
Kumulative CPU-Nutzung des Clusters in vCPU. Das kann hilfreich sein, um die Gesamtbetriebskosten für den Cluster zu ermitteln. | – |
cpu/limit |
Aktuelle Anzahl der CPUs, die für den Cluster konfiguriert sind. Kann verwendet werden, um die CPU-Auslastung als Verhältnis mit dem Messwert cpu/usage zu überwachen. |
– |
memory/usage |
Aktuelle RAM-Nutzung im Cluster. Kann verwendet werden, um die RAM-Auslastung als Verhältnis mit dem Messwert memory/limit zu überwachen. |
– |
memory/limit |
Aktuell konfigurierte RAM-Größe des Clusters. Kann verwendet werden, um die RAM-Auslastung als Verhältnis mit dem Messwert memory/usage zu überwachen. |
– |
jvm/memory_area/bytes_used |
Verwendete Byte eines bestimmten JVM-Speicherbereichs (z. B. Heap oder Non-Heap) für Broker und Controller. | java.lang:type=Memory,HeapMemoryUsage.usedjava.lang:type=Memory,NonHeapMemoryUsage.used |
jvm/memory_area/bytes_committed |
Zugesicherte Byte eines bestimmten JVM-Speicherbereichs (z. B. Heap oder Non-Heap) für Broker und Controller. | java.lang:type=Memory,HeapMemoryUsage.committedjava.lang:type=Memory,NonHeapMemoryUsage.committed |
cluster_byte_in_count |
Die Gesamtzahl der Byte, die von Clients an alle Themen gesendet wurden. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec |
cluster_byte_out_count |
Die Gesamtzahl der Byte, die von allen Themen an Clients gesendet wurden. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec |
cluster_message_in_count |
Die Gesamtzahl der Nachrichten, die für alle Themen veröffentlicht wurden. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec |
request_count |
Die Gesamtzahl der Anfragen, die an den Broker gesendet wurden | kafka.network:type=RequestMetrics,name=RequestsPerSec,request=
{Produce|FetchConsumer|FetchFollower},version=([0-9]+) |
request_byte_count |
Die Gesamtgröße der Anfragen an den Cluster in Byte. | kafka.network:type=RequestMetrics,name=RequestBytes,request=
([-.\w]+) |
partitions |
Die aktuelle Anzahl der Partitionen, die von diesem Cluster verarbeitet werden, aufgeschlüsselt nach Broker. | kafka.server:type=ReplicaManager,name=PartitionCount |
request_latencies |
Die Anzahl der Millisekunden, die für jede Anfrage benötigt wurden, in verschiedenen Perzentilen | kafka.network:type=RequestMetrics,name=TotalTimeMs,request=
{Produce|FetchConsumer|FetchFollower} |
consumer_groups |
Die aktuelle Anzahl der Consumer-Gruppen, die Daten vom Broker abrufen | kafka.server:type=GroupMetadataManager,name=NumGroups |
offline_partitions |
Die Anzahl der Offline-Themenpartitionen, die vom Controller beobachtet wurden. | kafka.controller:type=KafkaController,name=OfflinePartitionCount |
Messwerte zu Themen
Die folgenden Messwerte gelten für Themen. Wenn Sie die Messwerte für ein bestimmtes Thema aufrufen möchten, filtern Sie nach den Labels cluster_id und topic_id.
| Messwert | Beschreibung | Entsprechender MBean-Name |
|---|---|---|
message_in_count |
Die Gesamtzahl der für das Thema veröffentlichten Nachrichten. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,
topic=([-.\w]+) |
byte_in_count |
Die Gesamtzahl der Byte, die von Clients an das Thema gesendet wurden. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+) |
topic_request_count |
Die Gesamtzahl der Anfragen zum Erstellen und Abrufen, die für das Thema gestellt wurden. | kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+) |
topic_error_count |
Die Gesamtzahl der fehlgeschlagenen Produce- und Fetch-Anfragen, die für das Thema gestellt wurden. | kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+) |
byte_out_count |
Die Gesamtzahl der an Clients gesendeten Bytes. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec,
topic=([-.\w]+) |
Partitionsmesswerte
Die folgenden Messwerte gelten für Partitionen. Wenn Sie die Messwerte für eine bestimmte Partition in einem Thema aufrufen möchten, filtern Sie nach den Labels cluster_id, topic_id und partition_index.
| Messwert | Beschreibung | Entsprechender MBean-Name |
|---|---|---|
consumer_lag |
Replikationsverzögerung in Nachrichten zwischen dem Leader und jedem Follower-Replikat. |
kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
|
log_segments |
Die aktuelle Anzahl der Logsegmente. Das ist nützlich, um sicherzustellen, dass die Speicherklassifizierung einwandfrei funktioniert. | kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+) |
first_offset |
Der erste Offset für jede Partition im Thema. In Kombination mit last_offset kann damit eine Obergrenze für die Gesamtzahl der gespeicherten Nachrichten überwacht und der tatsächliche Offset der ältesten Nachricht ermittelt werden. |
kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+) |
last_offset |
Der letzte Offset in der Partition. Damit lässt sich der jeweils aktuelle Offset für jede Partition im Zeitverlauf ermitteln. Das kann hilfreich sein, um den spezifischen Offset zu ermitteln, der erforderlich ist, um Daten ab einem bestimmten Zeitpunkt in der Vergangenheit neu zu verarbeiten. | kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+) |
byte_size |
Die Größe der Partition auf der Festplatte in Byte. | – |
Messwerte für Nutzergruppen
Die folgenden Messwerte gelten für Verbrauchergruppen. Wenn Sie die Messwerte für eine bestimmte Verbrauchergruppe aufrufen möchten, filtern Sie nach dem Label consumer_group_id.
| Messwert | Beschreibung | Entsprechender MBean-Name |
|---|---|---|
offset_lag |
Die Differenz zwischen dem letzten Offset und dem letzten committeten Offset für die Consumer-Gruppe für jede Partition. Dieser Messwert schätzt, wie viele erstellte Nachrichten der Empfänger noch nicht erfolgreich verarbeitet hat. | – |