Monitorare un cluster Google Cloud Managed Service per Apache Kafka

Managed Service per Apache Kafka raccoglie metriche che puoi utilizzare per monitorare i tuoi cluster Kafka. Questa pagina descrive come visualizzare queste metriche nella console Google Cloud .

Panoramica

Managed Service per Apache Kafka esporta diverse metriche disponibili nella distribuzione Kafka open source, nonché metriche specifiche del servizio come il ritardo dell'offset del gruppo di consumer.

Le metriche sono organizzate in quattro categorie di risorse:

  • Cluster: queste metriche sono utili per mantenere l'integrità generale di un cluster.

  • Argomento: queste metriche includono tariffe ed errori di editori e consumatori. Monitorano lo stato generale delle applicazioni Kafka e i problemi specifici di un broker.

  • Partizione dell'argomento: queste metriche sono destinate al monitoraggio e al debug dei problemi di rendimento specifici delle singole partizioni, come la distribuzione non uniforme delle chiavi.

  • Gruppo di consumatori di partizioni di argomenti: queste metriche monitorano lo stato delle applicazioni consumer, principalmente il ritardo dei consumatori. Le metriche di errore di Kafka open source per i gruppi di consumatori non sono disponibili per partizione, ma solo a livello di argomento.

Alcune metriche possono essere raggruppate in base all'indice del broker. In base all'indice dei broker, puoi cercare la zona in cui viene eseguito il provisioning del broker. Per saperne di più, consulta Visualizzare i broker.

Visualizzare le metriche per un cluster Kafka

Puoi visualizzare le metriche nei seguenti modi:

  • La pagina Dettagli cluster include dashboard di monitoraggio per cluster, argomenti e gruppi di consumer. Queste dashboard contengono grafici predefiniti che ti consentono di visualizzare l'integrità e il rendimento complessivi del cluster.

  • Puoi utilizzare Esplora metriche per visualizzare tutte le metriche disponibili, creare grafici personalizzati o aggregare le metriche in più cluster.

Ruoli e autorizzazioni richiesti

Per ottenere le autorizzazioni necessarie per visualizzare i grafici di monitoraggio, chiedi all'amministratore di concederti il ruolo IAM Managed Kafka Viewer (roles/managedkafka.Viewer) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su questo ruolo, consulta Ruoli predefiniti di Managed Service per Apache Kafka.

Utilizzare le dashboard di monitoraggio

Per visualizzare le dashboard di monitoraggio per un cluster Managed Service per Apache Kafka, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Cluster.

    Vai a Cluster

  2. Fai clic sul nome del cluster.

  3. Per visualizzare le metriche del cluster, seleziona la scheda Monitoraggio.

  4. Per visualizzare le metriche per un argomento nel cluster:

    1. Seleziona la scheda Risorse.

    2. Nell'elenco Argomenti, fai clic sul nome dell'argomento.

    3. Nella pagina Dettagli argomento, seleziona la scheda Monitoraggio.

  5. Per visualizzare le metriche per un gruppo di consumatori nel cluster:

    1. Seleziona la scheda Risorse.

    2. Nell'elenco Gruppi di consumatori, fai clic sul nome del gruppo di consumatori.

    3. Nella pagina Dettagli gruppo di consumatori, seleziona la scheda Monitoraggio.

Per saperne di più, consulta Visualizzare un cluster Kafka.

Utilizzare Esplora metriche

Per visualizzare le metriche di Managed Service per Apache Kafka utilizzando Metrics Explorer, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Nella sezione Configurazione, fai clic su Seleziona una metrica.

  3. Nel filtro, inserisci Apache Kafka.

  4. In Risorse attive, seleziona una delle seguenti opzioni:

    • Cluster Apache Kafka

    • Argomento Apache Kafka

    • Partizione dell'argomento Apache Kafka

    • Gruppo di consumer di partizioni di argomenti Apache Kafka

  5. Seleziona una metrica e fai clic su Applica.

Per ulteriori informazioni su Metrics Explorer, consulta Crea grafici con Esplora metriche.

Metriche di Managed Service per Apache Kafka

Le tabelle seguenti elencano le metriche di uso comune per monitorare il cluster Kafka e le risorse del cluster. Per l'elenco completo delle metriche disponibili, consulta metriche diGoogle Cloud .

Il servizio Managed Service per Apache Kafka è identificato dall'URL del servizio managedkafka.googleapis.com.

Metriche del cluster

Le seguenti metriche si applicano ai cluster. Per visualizzare le metriche per un cluster specifico, filtra in base all'etichetta cluster_id.

Metrica Descrizione Equivalent MBean Name
cpu/core_usage_time Utilizzo cumulativo della CPU del cluster in vCPU. Questi dati possono essere utili per comprendere il costo complessivo dell'operazione per il cluster. N/D
cpu/limit Numero attuale di CPU configurate per il cluster. Può essere utilizzato per monitorare l'utilizzo della CPU come rapporto con la metrica cpu/usage. N/D
memory/usage Utilizzo attuale della RAM sul cluster. Può essere utilizzato per monitorare l'utilizzo della RAM come rapporto con la metrica memory/limit. N/D
memory/limit Dimensione RAM configurata attuale del cluster. Può essere utilizzato per monitorare l'utilizzo della RAM come rapporto con la metrica memory/usage. N/D
cluster_byte_in_count Il numero totale di byte inviati dai client a tutti gli argomenti. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
cluster_byte_out_count Il numero totale di byte inviati ai client da tutti gli argomenti. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec
cluster_message_in_count Il numero totale di messaggi pubblicati in tutti gli argomenti. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
request_count Il numero totale di richieste effettuate al broker kafka.network:type=RequestMetrics,name=RequestsPerSec,request= {Produce|FetchConsumer|FetchFollower},version=([0-9]+)
request_byte_count Le dimensioni totali, in byte, delle richieste effettuate al cluster. kafka.network:type=RequestMetrics,name=RequestBytes,request= ([-.\w]+)
partitions Il numero attuale di partizioni gestite da questo cluster, suddivise per broker. kafka.server:type=ReplicaManager,name=PartitionCount
request_latencies Il numero di millisecondi impiegati per ogni richiesta, a vari percentili kafka.network:type=RequestMetrics,name=TotalTimeMs,request= {Produce|FetchConsumer|FetchFollower}
consumer_groups Il numero attuale di gruppi di consumatori che utilizzano il broker kafka.server:type=GroupMetadataManager,name=NumGroups
offline_partitions Il numero di partizioni di argomenti offline osservate dal controller. kafka.controller:type=KafkaController,name=OfflinePartitionCount

Metriche degli argomenti

Le seguenti metriche si applicano agli argomenti. Per visualizzare le metriche per un argomento specifico, filtra in base alle etichette cluster_id e topic_id.

Metrica Descrizione Nome MBean equivalente
message_in_count Il numero totale di messaggi pubblicati nell'argomento. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec, topic=([-.\w]+)
byte_in_count Il numero totale di byte inviati dai client all'argomento. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+)
topic_request_count Il numero totale di richieste di produzione e recupero effettuate all'argomento. kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+)
topic_error_count Il numero totale di richieste di produzione non riuscite e di richieste di recupero non riuscite effettuate all'argomento. kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+)
byte_out_count Il numero totale di byte inviati ai client. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec, topic=([-.\w]+)

Metriche di partizione

Le seguenti metriche si applicano alle partizioni. Per visualizzare le metriche per una partizione specifica di un argomento, filtra in base alle etichette cluster_id, topic_id e partition_index.

Metrica Descrizione Nome MBean equivalente
consumer_lag Ritardo della replica nei messaggi tra il leader e ogni replica follower. kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
log_segments Il numero attuale di segmenti di log. Ciò è utile per assicurarsi che il tiering dello spazio di archiviazione rimanga integro. kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+)
first_offset Il primo offset per ogni partizione nell'argomento. In combinazione con last_offset, può essere utilizzato per monitorare un limite superiore al numero totale di messaggi archiviati e per trovare l'offset effettivo del messaggio meno recente. kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+)
last_offset L'ultimo offset nella partizione. Può essere utilizzato per trovare l'offset più recente per ogni partizione nel tempo. Questo può essere utile per identificare l'offset specifico necessario per rielaborare i dati a partire da un determinato momento del passato. kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+)
byte_size Le dimensioni della partizione sul disco in byte. N/D

Metriche dei gruppi di consumer

Le seguenti metriche si applicano ai gruppi consumer. Per visualizzare le metriche per un gruppo di consumatori specifico, filtra in base all'etichetta consumer_group_id.

Metrica Descrizione Nome MBean equivalente
offset_lag La differenza tra l'ultimo offset e l'ultimo offset di commit per il gruppo di consumatori per ogni partizione. Questa metrica stima il numero di messaggi prodotti che il consumer non ha ancora elaborato correttamente. N/D

Passaggi successivi