Surveiller un cluster Google Cloud Managed Service pour Apache Kafka

Managed Service pour Apache Kafka collecte des métriques que vous pouvez utiliser pour surveiller vos clusters Kafka. Cette page explique comment afficher ces métriques dans la console Google Cloud .

Présentation

Managed Service pour Apache Kafka exporte plusieurs métriques disponibles dans la distribution Kafka Open Source, ainsi que des métriques spécifiques au service, comme le décalage du groupe de consommateurs.

Les métriques sont réparties en quatre catégories de ressources :

  • Cluster : ces métriques sont utiles pour maintenir l'état général d'un cluster.

  • Thème : ces métriques incluent les taux et les erreurs des éditeurs et des consommateurs. Ils surveillent l'état général des applications Kafka et les problèmes spécifiques à un courtier.

  • Partition de topic : ces métriques sont destinées à la surveillance et au débogage des problèmes de performances spécifiques à des partitions individuelles, comme une distribution inégale des clés.

  • Groupe de consommateurs de partitions de sujets : ces métriques surveillent l'état des applications de consommateur, principalement le décalage des consommateurs. Les métriques d'erreur Kafka Open Source pour les groupes de consommateurs ne sont pas disponibles par partition, mais uniquement au niveau du sujet.

Certaines métriques peuvent être regroupées par index de courtier. En fonction de l'index du courtier, vous pouvez rechercher la zone dans laquelle ce courtier est provisionné. Pour en savoir plus, consultez Afficher les courtiers.

Afficher les métriques d'un cluster Kafka

Vous pouvez afficher les métriques de différentes manières :

  • La page Détails du cluster inclut des tableaux de bord de surveillance pour les clusters, les sujets et les groupes de consommateurs. Ces tableaux de bord contiennent des graphiques prédéfinis qui vous permettent de voir l'état et les performances globales de votre cluster.

  • Vous pouvez utiliser l'explorateur de métriques pour afficher toutes les métriques disponibles, créer des graphiques personnalisés ou agréger des métriques sur plusieurs clusters.

Rôles et autorisations nécessaires

Pour obtenir les autorisations nécessaires pour afficher les graphiques de surveillance, demandez à votre administrateur de vous accorder le rôle IAM Lecteur Kafka géré (roles/managedkafka.Viewer) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Utiliser les tableaux de bord de surveillance

Pour afficher les tableaux de bord de surveillance d'un cluster Managed Service pour Apache Kafka, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Clusters.

    accéder aux clusters

  2. Cliquez sur le nom du cluster.

  3. Pour afficher les métriques du cluster, sélectionnez l'onglet Surveillance.

  4. Pour afficher les métriques d'un thème dans le cluster :

    1. Sélectionnez l'onglet Ressources.

    2. Dans la liste Sujets, cliquez sur le nom du sujet.

    3. Sur la page Informations sur le thème, sélectionnez l'onglet Surveillance.

  5. Pour afficher les métriques d'un groupe de consommateurs dans le cluster :

    1. Sélectionnez l'onglet Ressources.

    2. Dans la liste Groupes de consommateurs, cliquez sur le nom du groupe de consommateurs.

    3. Sur la page Détails du groupe de consommateurs, sélectionnez l'onglet Surveillance.

Pour en savoir plus, consultez Afficher un cluster Kafka.

Utiliser l'explorateur de métriques

Pour afficher les métriques Managed Service for Apache Kafka à l'aide de l'explorateur de métriques, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Explorateur de métriques.

    Accéder à l'explorateur de métriques

  2. Dans la section Configuration, cliquez sur Sélectionner une métrique.

  3. Dans le filtre, saisissez Apache Kafka.

  4. Dans Ressources actives, sélectionnez l'une des options suivantes :

    • Cluster Apache Kafka

    • Sujet Apache Kafka

    • Partition de sujet Apache Kafka

    • Groupe de consommateurs de partition de sujet Apache Kafka

  5. Sélectionnez une métrique, puis cliquez sur Appliquer.

Pour en savoir plus sur l'explorateur de métriques, consultez Créer des graphiques avec l'explorateur de métriques.

Métriques Managed Service pour Apache Kafka

Les tableaux suivants listent les métriques couramment utilisées pour surveiller votre cluster Kafka et ses ressources. Pour obtenir la liste complète des métriques disponibles, consultez MétriquesGoogle Cloud .

Le service Managed Service pour Apache Kafka est identifié par l'URL du service managedkafka.googleapis.com.

Métriques de cluster

Les métriques suivantes s'appliquent aux clusters. Pour afficher les métriques d'un cluster spécifique, filtrez-les par libellé cluster_id.

Métrique Description Nom MBean équivalent
cpu/core_usage_time Utilisation cumulative du processeur du cluster en vCPU. Cela peut être utile pour comprendre le coût global de fonctionnement du cluster. N/A
cpu/limit Nombre actuel de processeurs configurés pour le cluster. Peut être utilisé pour surveiller l'utilisation du processeur sous forme de ratio avec la métrique cpu/usage. N/A
memory/usage Utilisation actuelle de la RAM sur le cluster. Peut être utilisé pour surveiller l'utilisation de la RAM sous forme de ratio avec la métrique memory/limit. N/A
memory/limit Taille de la RAM actuellement configurée pour le cluster. Peut être utilisé pour surveiller l'utilisation de la RAM sous forme de ratio avec la métrique memory/usage. N/A
cluster_byte_in_count Nombre total d'octets envoyés par les clients à tous les thèmes. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
cluster_byte_out_count Nombre total d'octets envoyés aux clients depuis tous les sujets. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec
cluster_message_in_count Nombre total de messages publiés dans tous les sujets. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
request_count Nombre total de requêtes envoyées au courtier kafka.network:type=RequestMetrics,name=RequestsPerSec,request= {Produce|FetchConsumer|FetchFollower},version=([0-9]+)
request_byte_count Taille totale, en octets, des requêtes envoyées au cluster. kafka.network:type=RequestMetrics,name=RequestBytes,request= ([-.\w]+)
partitions Nombre actuel de partitions gérées par ce cluster, ventilé par courtier. kafka.server:type=ReplicaManager,name=PartitionCount
request_latencies Nombre de millisecondes nécessaires pour chaque requête, à différents centiles kafka.network:type=RequestMetrics,name=TotalTimeMs,request= {Produce|FetchConsumer|FetchFollower}
consumer_groups Nombre actuel de groupes de consommateurs qui consomment des données de l'agent kafka.server:type=GroupMetadataManager,name=NumGroups
offline_partitions Nombre de partitions de sujets hors connexion observées par le contrôleur. kafka.controller:type=KafkaController,name=OfflinePartitionCount

Métriques sur les thèmes

Les métriques suivantes s'appliquent aux thèmes. Pour afficher les métriques d'un thème spécifique, filtrez par les libellés cluster_id et topic_id.

Métrique Description Nom MBean équivalent
message_in_count Nombre total de messages publiés dans le sujet. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec, topic=([-.\w]+)
byte_in_count Nombre total d'octets envoyés au sujet par les clients. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+)
topic_request_count Nombre total de requêtes de production et de récupération effectuées pour le thème. kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+)
topic_error_count Nombre total de requêtes de production et de récupération ayant échoué pour le thème. kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+)
byte_out_count Nombre total d'octets envoyés aux clients. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec, topic=([-.\w]+)

Métriques de partition

Les métriques suivantes s'appliquent aux partitions. Pour afficher les métriques d'une partition spécifique d'un thème, filtrez par les libellés cluster_id, topic_id et partition_index.

Métrique Description Nom MBean équivalent
consumer_lag Délai de réplication en messages entre le réplica principal et chaque réplica subordonné. kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
log_segments Nombre actuel de segments de journaux. Cela permet de s'assurer que la hiérarchisation du stockage reste opérationnelle. kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+)
first_offset Premier décalage pour chaque partition du sujet. En combinaison avec last_offset, il peut être utilisé pour surveiller une limite supérieure du nombre total de messages stockés et pour trouver le décalage réel du message le plus ancien. kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+)
last_offset Dernier décalage de la partition. Elle permet de trouver le dernier décalage pour chaque partition au fil du temps. Cela peut être utile pour identifier le décalage spécifique nécessaire pour retraiter les données à partir d'un moment précis dans le passé. kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+)
byte_size Taille de la partition sur le disque en octets. N/A

Métriques des groupes de consommateurs

Les métriques suivantes s'appliquent aux groupes de consommateurs. Pour afficher les métriques d'un groupe de consommateurs spécifique, filtrez par le libellé consumer_group_id.

Métrique Description Nom MBean équivalent
offset_lag Différence entre le dernier décalage et le dernier décalage validé pour le groupe de consommateurs pour chaque partition. Cette métrique estime le nombre de messages produits que le consommateur n'a pas encore traités. N/A

Étapes suivantes