Supervisa un clúster de Google Cloud Managed Service para Apache Kafka

Managed Service para Apache Kafka recopila métricas que puedes usar para supervisar tus clústeres de Kafka. En esta página, se describe cómo ver estas métricas en la Google Cloud consola de Google Cloud.

Descripción general

Managed Service para Apache Kafka exporta varias métricas disponibles en la distribución de Kafka de código abierto, así como métricas específicas del servicio, como el retraso de compensación del grupo de consumidores.

Las métricas se organizan en cuatro categorías de recursos:

  • Clúster: Estas métricas son útiles para mantener el estado general de un clúster.

  • Tema: Estas métricas incluyen las tasas y los errores de publicador y consumidor. Supervisan el estado general de las aplicaciones de Kafka y los problemas específicos de un agente.

  • Partición del tema: Estas métricas están diseñadas para supervisar y depurar problemas de rendimiento específicos de particiones individuales, como la distribución desigual de claves.

  • Grupo de consumidores de partición del tema: Estas métricas supervisan el estado de las aplicaciones de consumidores, principalmente el retraso del consumidor. Las métricas de error de Kafka de código abierto para grupos de consumidores no están disponibles por partición, sino solo a nivel del tema.

Algunas métricas se pueden agrupar por índice de agente. Según el índice de agente, puedes buscar la zona en la que se aprovisiona ese agente. Para obtener más información, consulta Visualiza agentes.

Visualiza las métricas de un clúster de Kafka

Puedes ver las métricas de las siguientes maneras:

  • La página Detalles del clúster incluye paneles de supervisión para clústeres, temas y grupos de consumidores. Estos paneles contienen gráficos predefinidos que te permiten ver el estado y el rendimiento generales de tu clúster.

  • Puedes usar el Explorador de métricas para ver todas las métricas disponibles, crear gráficos personalizados o agregar métricas en varios clústeres.

Roles y permisos requeridos

Para obtener los permisos que necesitas para ver los gráficos de supervisión, pídele a tu administrador que te otorgue el rol de IAM Lector de Kafka administrado (roles/managedkafka.Viewer) en tu proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Usa los paneles de supervisión

Para ver los paneles de supervisión de un clúster de Managed Service para Apache Kafka, sigue estos pasos:

  1. En la Google Cloud consola de Google Cloud, ve a la página Clústeres.

    Ir a los clústeres

  2. Haz clic en el nombre del clúster.

  3. Para ver las métricas del clúster, selecciona la pestaña Supervisión.

  4. Para ver las métricas de un tema en el clúster, haz lo siguiente:

    1. Selecciona la pestaña Recursos.

    2. En la lista Temas, haz clic en el nombre del tema.

    3. En la página Detalles del tema, selecciona la pestaña Supervisión.

  5. Para ver las métricas de un grupo de consumidores en el clúster, haz lo siguiente:

    1. Selecciona la pestaña Recursos.

    2. En la lista Grupos de consumidores, haz clic en el nombre del grupo de consumidores.

    3. En la página Detalles del grupo de consumidores, selecciona la pestaña Supervisión.

Para obtener más información, consulta Visualiza un clúster de Kafka.

Usa el Explorador de métricas

Para ver las métricas de Managed Service para Apache Kafka con el Explorador de métricas, sigue estos pasos:

  1. En la Google Cloud consola de Google Cloud, ve a la página Explorador de métricas.

    Dirígete al Explorador de métricas

  2. En la sección Configuración, haz clic en Seleccionar una métrica.

  3. En el filtro, ingresa Apache Kafka.

  4. En Recursos activos, selecciona una de las siguientes opciones:

    • Clúster de Apache Kafka

    • Tema de Apache Kafka

    • Partición del tema de Apache Kafka

    • Grupo de consumidores de partición del tema de Apache Kafka

  5. Selecciona una métrica y haz clic en Aplicar.

Para obtener más información sobre el Explorador de métricas, consulta Crea gráficos con el Explorador de métricas.

Métricas de Managed Service para Apache Kafka

En las siguientes tablas, se enumeran las métricas de uso frecuente para supervisar tu clúster de Kafka y los recursos del clúster. Para obtener la lista completa de las métricas disponibles, consulta las Google Cloud métricas.

El servicio de Managed Service para Apache Kafka se identifica con la URL del servicio managedkafka.googleapis.com.

Métricas del clúster

Las siguientes métricas se aplican a los clústeres. Para ver las métricas de un clúster específico, filtra por la etiqueta cluster_id.

Métrica Descripción Nombre de MBean equivalente
cpu/core_usage_time Uso acumulado de CPU del clúster en vCPU. Esto puede ser útil para comprender el costo general de operación del clúster. N/A
cpu/limit Cantidad actual de CPU configurada para el clúster. Se puede usar para supervisar la utilización de CPU como una proporción con la métrica cpu/usage. N/A
memory/usage Uso actual de RAM en el clúster. Se puede usar para supervisar la utilización de RAM como una proporción con la métrica memory/limit. N/A
memory/limit Tamaño actual de RAM configurado del clúster. Se puede usar para supervisar la utilización de RAM como una proporción con la métrica memory/usage. N/A
cluster_byte_in_count Cantidad total de bytes de clientes enviados a todos los temas. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
cluster_byte_out_count Cantidad total de bytes enviados a los clientes desde todos los temas. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec
cluster_message_in_count Cantidad total de mensajes que se publicaron en todos los temas. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
request_count Cantidad total de solicitudes realizadas al agente kafka.network:type=RequestMetrics,name=RequestsPerSec,request= {Produce|FetchConsumer|FetchFollower},version=([0-9]+)
request_byte_count Tamaño total, en bytes, de las solicitudes realizadas al clúster. kafka.network:type=RequestMetrics,name=RequestBytes,request= ([-.\w]+)
partitions Cantidad actual de particiones que controla este clúster, desglosada por agente. kafka.server:type=ReplicaManager,name=PartitionCount
request_latencies Cantidad de milisegundos que tarda cada solicitud, en varios percentiles kafka.network:type=RequestMetrics,name=TotalTimeMs,request= {Produce|FetchConsumer|FetchFollower}
consumer_groups Cantidad actual de grupos de consumidores que consumen del agente kafka.server:type=GroupMetadataManager,name=NumGroups
offline_partitions Cantidad de particiones de temas sin conexión que observa el controlador. kafka.controller:type=KafkaController,name=OfflinePartitionCount

Métricas del tema

Las siguientes métricas se aplican a los temas. Para ver las métricas de un tema específico, filtra por las etiquetas cluster_id y topic_id.

Métrica Descripción Nombre de MBean equivalente
message_in_count Cantidad total de mensajes publicados en el tema. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec, topic=([-.\w]+)
byte_in_count Cantidad total de bytes de clientes enviados al tema. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+)
topic_request_count Cantidad total de solicitudes de producción y recuperación realizadas al tema. kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+)
topic_error_count Cantidad total de solicitudes de producción y recuperación fallidas realizadas al tema. kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+)
byte_out_count Cantidad total de bytes enviados a los clientes. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec, topic=([-.\w]+)

Métricas de partición

Las siguientes métricas se aplican a las particiones. Para ver las métricas de una partición específica en un tema, filtra por las etiquetas cluster_id, topic_id y partition_index.

Métrica Descripción Nombre de MBean equivalente
consumer_lag Retraso de replicación en mensajes entre el líder y cada seguidor. kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
log_segments Cantidad actual de segmentos de registro. Esto es útil para asegurarse de que la estratificación del almacenamiento siga siendo correcta. kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+)
first_offset Primer desplazamiento para cada partición del tema. En combinación con last_offset, se puede usar para supervisar un límite superior en la cantidad total de mensajes almacenados, así como para encontrar el desplazamiento real del mensaje más antiguo. kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+)
last_offset Último desplazamiento en la partición. Se puede usar para encontrar el desplazamiento más reciente de cada partición a lo largo del tiempo. Esto puede ser útil para identificar el desplazamiento específico necesario para volver a procesar los datos a partir de un momento determinado en el pasado. kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+)
byte_size Tamaño de la partición en el disco en bytes. N/A

Métricas de grupo de consumidores

Las siguientes métricas se aplican a los grupos de consumidores. Para ver las métricas de un grupo de consumidores específico, filtra por la etiqueta consumer_group_id.

Métrica Descripción Nombre de MBean equivalente
offset_lag Diferencia entre el desplazamiento más reciente y el último desplazamiento confirmado para el grupo de consumidores de cada partición. Esta métrica estima cuántos mensajes producidos aún no procesó correctamente el consumidor. N/A

¿Qué sigue?