Supervisa un clúster de Google Cloud Managed Service para Apache Kafka

Managed Service para Apache Kafka recopila métricas que puedes usar para supervisar tus clústeres de Kafka. En esta página, se describe cómo ver estas métricas en la consola de Google Cloud .

Descripción general

Managed Service para Apache Kafka exporta varias métricas disponibles en la distribución de Kafka de código abierto, así como métricas específicas del servicio, como el rezago del desplazamiento del grupo de consumidores.

Las métricas se organizan en cuatro categorías de recursos:

  • Clúster: Estas métricas son útiles para mantener el estado general de un clúster.

  • Tema: Estas métricas incluyen las tasas y los errores de los publicadores y los consumidores. Supervisan el estado general de las aplicaciones de Kafka y los problemas específicos de un agente.

  • Partición de tema: Estas métricas están diseñadas para supervisar y depurar problemas de rendimiento específicos de particiones individuales, como la distribución desigual de claves.

  • Grupo de consumidores de particiones de temas: Estas métricas supervisan el estado de las aplicaciones de consumidores, principalmente el retraso del consumidor. Las métricas de error de Kafka de código abierto para los grupos de consumidores no están disponibles por partición, sino solo a nivel del tema.

Algunas métricas se pueden agrupar por índice de intermediario. Según el índice de agentes, puedes buscar la zona en la que se aprovisiona ese agente. Para obtener más información, consulta Cómo ver los agentes.

Consulta las métricas de un clúster de Kafka

Puedes ver las métricas de las siguientes maneras:

  • La página Detalles del clúster incluye paneles de supervisión para clústeres, temas y grupos de consumidores. Estos paneles contienen gráficos predefinidos que te permiten ver el estado y el rendimiento generales de tu clúster.

  • Puedes usar el Explorador de métricas para ver todas las métricas disponibles, crear gráficos personalizados o agregar métricas en varios clústeres.

Roles y permisos requeridos

Para obtener los permisos que necesitas para ver los gráficos de supervisión, pídele a tu administrador que te otorgue el rol de IAM de Visualizador de Kafka administrado (roles/managedkafka.Viewer) en tu proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre este rol, consulta Roles predefinidos de Managed Service para Apache Kafka.

Usa los paneles de supervisión

Para ver los paneles de supervisión de un clúster de Managed Service para Apache Kafka, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Clústeres.

    Ir a los clústeres

  2. Haz clic en el nombre del clúster.

  3. Para ver las métricas del clúster, selecciona la pestaña Monitoring.

  4. Para ver las métricas de un tema en el clúster, haz lo siguiente:

    1. Selecciona la pestaña Recursos.

    2. En la lista Temas, haz clic en el nombre del tema.

    3. En la página Detalles del tema, selecciona la pestaña Supervisión.

  5. Para ver las métricas de un grupo de consumidores en el clúster, haz lo siguiente:

    1. Selecciona la pestaña Recursos.

    2. En la lista Consumer groups, haz clic en el nombre del grupo de consumidores.

    3. En la página Detalles del grupo de consumidores, selecciona la pestaña Supervisión.

Para obtener más información, consulta Cómo ver un clúster de Kafka.

Usa el Explorador de métricas

Para consultar las métricas de Managed Service para Apache Kafka con el Explorador de métricas, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Explorador de métricas.

    Dirígete al Explorador de métricas

  2. En la sección Configuración, haz clic en Seleccionar una métrica.

  3. En el filtro, ingresa Apache Kafka.

  4. En Recursos activos, selecciona una de las siguientes opciones:

    • Clúster de Apache Kafka

    • Tema de Apache Kafka

    • Partición de tema de Apache Kafka

    • Grupo de consumidores de particiones de temas de Apache Kafka

  5. Selecciona una métrica y haz clic en Aplicar.

Para obtener más información sobre el Explorador de métricas, consulta Crea gráficos con el Explorador de métricas.

Métricas de Managed Service para Apache Kafka

En las siguientes tablas, se enumeran las métricas de uso frecuente para supervisar tu clúster de Kafka y los recursos del clúster. Para obtener la lista completa de las métricas disponibles, consulta Métricas deGoogle Cloud .

El servicio de Managed Service para Apache Kafka se identifica con la URL del servicio managedkafka.googleapis.com.

Métricas del clúster

Las siguientes métricas se aplican a los clústeres. Para ver las métricas de un clúster específico, filtra por la etiqueta cluster_id.

Métrica Descripción Nombre de MBean equivalente
cpu/core_usage_time Uso acumulado de CPU del clúster en CPU virtuales. Esto puede ser útil para comprender el costo general de operación del clúster. N/A
cpu/limit Es la cantidad actual de CPU configuradas para el clúster. Se puede usar para supervisar el uso de CPU como una proporción con la métrica cpu/usage. N/A
memory/usage Uso actual de RAM en el clúster. Se puede usar para supervisar la utilización de la RAM como una proporción con la métrica memory/limit. N/A
memory/limit Es el tamaño de RAM configurado actualmente del clúster. Se puede usar para supervisar la utilización de la RAM como una proporción con la métrica memory/usage. N/A
cluster_byte_in_count Es la cantidad total de bytes de los clientes que se enviaron a todos los temas. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
cluster_byte_out_count Es la cantidad total de bytes enviados a los clientes desde todos los temas. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec
cluster_message_in_count Es la cantidad total de mensajes que se publicaron en todos los temas. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
request_count Cantidad total de solicitudes realizadas al agente kafka.network:type=RequestMetrics,name=RequestsPerSec,request= {Produce|FetchConsumer|FetchFollower},version=([0-9]+)
request_byte_count Es el tamaño total, en bytes, de las solicitudes realizadas al clúster. kafka.network:type=RequestMetrics,name=RequestBytes,request= ([-.\w]+)
partitions Es la cantidad actual de particiones que controla este clúster, desglosada por broker. kafka.server:type=ReplicaManager,name=PartitionCount
request_latencies Cantidad de milisegundos que tardó cada solicitud, en varios percentiles kafka.network:type=RequestMetrics,name=TotalTimeMs,request= {Produce|FetchConsumer|FetchFollower}
consumer_groups Cantidad actual de grupos de consumidores que consumen del agente kafka.server:type=GroupMetadataManager,name=NumGroups
offline_partitions Es la cantidad de particiones de temas sin conexión que observa el controlador. kafka.controller:type=KafkaController,name=OfflinePartitionCount

Métricas de temas

Las siguientes métricas se aplican a los temas. Para ver las métricas de un tema específico, filtra por las etiquetas cluster_id y topic_id.

Métrica Descripción Nombre de MBean equivalente
message_in_count Es la cantidad total de mensajes publicados en el tema. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec, topic=([-.\w]+)
byte_in_count Es la cantidad total de bytes de los clientes que se enviaron al tema. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+)
topic_request_count Es la cantidad total de solicitudes de producción y recuperación realizadas en el tema. kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+)
topic_error_count Es la cantidad total de solicitudes de producción y recuperación con errores que se realizaron en el tema. kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+)
byte_out_count Es la cantidad total de bytes enviados a los clientes. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec, topic=([-.\w]+)

Métricas de partición

Las siguientes métricas se aplican a las particiones. Para ver las métricas de una partición específica en un tema, filtra por las etiquetas cluster_id, topic_id y partition_index.

Métrica Descripción Nombre de MBean equivalente
consumer_lag Es el retraso de replicación en mensajes entre el líder y cada réplica de seguidor. kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
log_segments Es la cantidad actual de segmentos de registro. Esto es útil para garantizar que la jerarquización del almacenamiento se mantenga en buen estado. kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+)
first_offset Es el primer desplazamiento para cada partición del tema. En combinación con last_offset, se puede usar para supervisar un límite superior en la cantidad total de mensajes almacenados, así como para encontrar el desplazamiento real del mensaje más antiguo. kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+)
last_offset Es el último desplazamiento en la partición. Se puede usar para encontrar el desplazamiento más reciente de cada partición a lo largo del tiempo. Esto puede ser útil para identificar el desplazamiento específico necesario para volver a procesar los datos a partir de un momento determinado en el pasado. kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+)
byte_size Es el tamaño de la partición en el disco en bytes. N/A

Métricas del grupo de consumidores

Las siguientes métricas se aplican a los grupos de consumidores. Para ver las métricas de un grupo de consumidores específico, filtra por la etiqueta consumer_group_id.

Métrica Descripción Nombre de MBean equivalente
offset_lag Es la diferencia entre el desplazamiento más reciente y el último desplazamiento confirmado para el grupo de consumidores de cada partición. Esta métrica estima cuántos mensajes producidos aún no procesó correctamente el consumidor. N/A

¿Qué sigue?