Supervisa VMs de TPU

En esta guía, se explica cómo usar Cloud Monitoring para supervisar tus VMs de TPU. Cloud Monitoring recopila de forma automática métricas y registros de tu TPU y su VM host. Estos datos se pueden usar para supervisar el estado de tu TPU y Compute Engine.

Las métricas te permiten hacer un seguimiento de una cantidad numérica a lo largo del tiempo, por ejemplo, el uso de CPU y la red, o la duración de inactividad de TensorCore. Los registros capturan eventos en un momento específico. Las entradas de registro las escriben tu propio código, los servicios deGoogle Cloud , las aplicaciones de terceros y la infraestructura deGoogle Cloud . También puedes generar métricas a partir de los datos presentes en una entrada de registro creando una métrica basada en registros. También puedes establecer políticas de alertas basadas en valores de métricas o entradas de registro.

Para supervisar las TPU, también puedes usar el Planificador de capacidad (versión preliminar). Con el Planificador de capacidad, puedes ver los datos de uso y previsión de la TPU para tu proyecto, organización o carpeta. Estos datos se actualizan cada 24 horas y puedes usarlos para analizar las tendencias de uso y planificar las necesidades de capacidad futuras. Para obtener más información, consulta la Descripción general del Planificador de capacidad.

Accede a las métricas de TPU

Compute Engine genera dos tipos de métricas de TPU: métricas del entorno de ejecución de TPU y métricas de la infraestructura de la VM de TPU. Puedes obtener las métricas de dos maneras:

  • Biblioteca de supervisión de TPU: Obtén métricas del entorno de ejecución de TPU desde el SDK de LibTPU con la biblioteca de supervisión de TPU. Esto permite que tus aplicaciones obtengan telemetría en tiempo real desde el entorno de invitado. Para obtener más información, consulta Biblioteca de supervisión de TPU.

  • AI Telemetry Collector: Obtén métricas de tiempo de ejecución y de infraestructura de VM a través de AI Telemetry Collector. El recopilador de telemetría de IA se ejecuta dentro de la VM de TPU y te permite acceder a las métricas a través de Cloud Monitoring o de tu propia canalización de supervisión basada en Prometheus. Para obtener más información, consulta Recopilador de telemetría de IA.

Métricas de TPU

Las métricas deGoogle Cloud para Cloud TPU se generan de forma automática en las VMs de Compute Engine y el entorno de ejecución de Cloud TPU. Las métricas de las siguientes tablas se generan con las VMs de Compute Engine. Para obtener una lista completa de las métricas que genera Compute Engine, consulta Métricas de Compute Engine.

Las cadenas de "tipo de métrica" de esta tabla deben tener el prefijo compute.googleapis.com/. Este prefijo se omitió en las entradas de la tabla. Cuando consultes una etiqueta, usa el prefijo metric.labels. Por ejemplo, metric.labels.LABEL="VALUE".

Disponibilidad general (DG)

Tipo de métrica Etapa de lanzamiento (niveles de jerarquía de recursos)
Nombre visible
Clase, tipo, unidad
Recursos supervisados		 Descripción
Etiquetas
instance/tpu/active_chips GA  (proyecto)
Recuento de chips TPU activos
GAUGE, INT64, 1
gce_instance 		Es el recuento actual de chips que se están usando de forma activa (es decir, que no están inactivos).
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.
block_id: Es el ID del bloque dentro del clúster que aloja la VM.
subblock_id: Es el ID del subbloque que aloja la VM.
is_exr: (BOOL) Indica si el chip forma parte de una reserva extendida.
instance/tpu/scheduled_chips GA  (proyecto)
Recuento de chips TPU programados
GAUGE, INT64, 1
gce_instance 		Es el recuento actual de chips asignados a una VM que está en BUEN ESTADO y NO ESTÁ INHABILITADA por mantenimiento.
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.
block_id: Es el ID del bloque dentro del clúster que aloja la VM.
subblock_id: Es el ID del subbloque que aloja la VM.
is_exr: (BOOL) Indica si el chip forma parte de una reserva extendida.
tpu/slice/capacity/available_chips GA  (proyecto)
Recuento de chips TPU disponibles
GAUGE, INT64, 1
compute.googleapis.com/AcceleratorSlice 		Es el recuento actual de chips TPU de la reserva extendida que están disponibles de forma activa y listos para usarse. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 360 segundos.
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
block_id: Es el ID del bloque asociado con la porción.
subblock_id: Es el ID del subbloque asociado con la porción.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.
tpu/slice/capacity/committed_chips GA  (proyecto)
Recuento de chips TPU comprados
GAUGE, INT64, 1
compute.googleapis.com/AcceleratorSlice 		Es el recuento actual de chips TPU comprados de la reserva extendida. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 360 segundos.
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
block_id: Es el ID del bloque asociado con la porción.
subblock_id: Es el ID del subbloque asociado con la porción.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.

Beta

Tipo de métrica Etapa de lanzamiento (niveles de jerarquía de recursos)
Nombre visible
Clase, tipo, unidad
Recursos supervisados		 Descripción
Etiquetas
instance/tpu/accelerator/duty_cycle BETA  (proyecto)
Ciclo de trabajo del acelerador
GAUGE, DOUBLE, %
gce_instance 		Es el porcentaje de tiempo durante el período de muestra en el que el acelerador se procesaba de forma activa. Los valores se encuentran en el rango de [0,100].
accelerator_id: Es el ID de dispositivo del acelerador.
instance/tpu/accelerator/memory_bandwidth_utilization BETA  (proyecto)
Uso de ancho de banda de memoria del acelerador
GAUGE, DOUBLE, %
gce_instance 		Es el porcentaje actual del ancho de banda de la memoria del acelerador que se usa. Se calcula dividiendo el ancho de banda de memoria usado durante un período de muestra por el ancho de banda máximo admitido durante el mismo período de muestra.
accelerator_id: Es el ID de dispositivo del acelerador.
instance/tpu/accelerator/memory_total BETA  (proyecto)
Memoria total del acelerador
GAUGE, INT64, By
gce_instance 		Es la memoria total del acelerador asignada actualmente en bytes.
accelerator_id: Es el ID de dispositivo del acelerador.
instance/tpu/accelerator/memory_used BETA  (proyecto)
Memoria del acelerador usada
GAUGE, INT64, By
gce_instance 		Es la memoria total del acelerador que se usa actualmente en bytes.
accelerator_id: Es el ID de dispositivo del acelerador.
instance/tpu/accelerator/tensorcore_utilization BETA  (proyecto)
Uso de TensorCore en el acelerador
GAUGE, DOUBLE, %
gce_instance 		Porcentaje actual del TensorCore que se usa. Se calcula dividiendo las operaciones de TensorCore que se realizaron durante un período de muestra por la cantidad admitida de operaciones de TensorCore durante el mismo período de muestra.
accelerator_id: Es el ID de dispositivo del acelerador.
instance/tpu/chip_state BETA  (proyecto)
Recuento de estados de chips TPU
GAUGE, INT64, 1
gce_instance 		Es el recuento de chips TPU en varios estados, como En buen estado, En mal estado y Desconocido.
state: Es el estado del chip.
accelerator_type: Es el tipo y la generación del acelerador.
block_id: Es el ID del bloque dentro del clúster que aloja la VM.
subblock_id: Es el ID del subbloque que aloja la VM.
reservation_id: Es el ID de la reserva de la máquina física.
is_exr: (BOOL) Indica si el chip forma parte de una reserva extendida.
instance/tpu/infra_health BETA  (proyecto)
Estado de la instancia de TPU
GAUGE, INT64, 1
gce_instance 		Indica el estado general de una instancia de TPU. Las etiquetas de métricas ayudan a identificar el estado de salud específico y los motivos de los problemas en las instancias de TPU degradadas o en mal estado, y se enfocan principalmente en el hardware de TPU y el estado del sistema. Los cambios en el estado de funcionamiento pueden tardar varios minutos en reflejarse en esta métrica. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 420 segundos.
health_status: Es el estado general de la instancia de TPU. Valores posibles: HEALTHY (funciona según lo esperado), UNHEALTHY (se detectó un problema crítico), DEGRADED (problema que afecta el rendimiento), UNKNOWN (no se puede determinar el estado).
unhealthy_category: Es la explicación del estado de la VM en mal estado. Esta etiqueta solo se propaga cuando el valor de la métrica es En mal estado.
machine_type: Es el tipo de máquina de la instancia (p.ej., ct6e-standard-4t-tpu).
machine_id: Es el ID de la máquina física que aloja la VM.
block_id: Es el ID del bloque dentro del clúster que aloja la VM.
cluster_id: Es el ID del clúster que aloja la VM.
reservation_id: Es el ID de la reserva de la máquina física.
subblock_id: Es el ID del subbloque que aloja la VM.
instance/tpu/runtime/uptime BETA  (proyecto)
Tiempo de actividad del entorno de ejecución
GAUGE, INT64, s
gce_instance 		Es el tiempo de actividad del entorno de ejecución de AA desde que el trabajo de AA inicializó la biblioteca del entorno de ejecución (libtpu.so). Durante este período, la biblioteca del entorno de ejecución bloquea los dispositivos TPU para que los use el trabajo de AA.
ml_framework_name: Es el nombre del framework de AA.
ml_framework_version: Es la versión del framework de AA.
instance/tpu/utilized_chips BETA  (proyecto)
Chips TPU utilizados
GAUGE, DOUBLE, 1
gce_instance 		Es la capacidad agregada actual utilizada expresada como una cantidad efectiva de chips activos. Equivale a la suma del uso fraccionario (de 0.0 a 1.0) de todos los chips activos.
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.
block_id: Es el ID del bloque dentro del clúster que aloja la VM.
subblock_id: Es el ID del subbloque que aloja la VM.
is_exr: (BOOL) Indica si el chip forma parte de una reserva extendida.
tpu/multislice/accelerator/device_to_host_transfer_latencies BETA  (proyecto)
Latencias de transferencia del dispositivo al host
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Distribución acumulativa de la latencia de transferencia de dispositivo a host para cada fragmento de datos. La latencia comienza cuando se emite la solicitud de transferencia de datos al host y finaliza cuando se recibe una confirmación de que se completó la transferencia de datos.
buffer_size: Es el tamaño del búfer.
tpu/multislice/accelerator/host_to_device_transfer_latencies BETA  (proyecto)
Latencias de transferencia del host al dispositivo
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Distribución acumulativa de la latencia de transferencia de host a dispositivo para cada fragmento de datos del tráfico de Multislice. La latencia comienza cuando se emite la solicitud de transferencia de datos al dispositivo y finaliza cuando se recibe una confirmación de que se completó la transferencia de datos.
buffer_size: Es el tamaño del búfer.
tpu/multislice/network/collective_end_to_end_latencies BETA  (proyecto)
Latencias colectivas de extremo a extremo
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Es la distribución acumulativa de la latencia colectiva de extremo a extremo para el tráfico de varias porciones. La latencia comienza cuando se emite la solicitud para el colectivo y finaliza cuando se recibe un acuse de recibo de que se completó la transferencia de datos.
input_size: Es el tamaño de entrada de la operación colectiva.
collective_type: Es el tipo de operación colectiva.
tpu/multislice/network/dcn_transfer_latencies BETA  (proyecto)
Latencias de transferencia de DCN
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Es la distribución acumulativa de las latencias de transferencia de red para el tráfico de Multislice. La latencia comienza cuando se emite la solicitud de transferencia de datos a través de la DCN y finaliza cuando se recibe una confirmación de que se completó la transferencia de datos.
buffer_size: Es el tamaño del búfer.
type: Tipo.
tpu/multislice/network/grpc_client_call_latencies BETA  (proyecto)
Latencias de llamadas de clientes de gRPC
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Es la distribución acumulativa de las latencias de transferencia de red que tarda la biblioteca de gRPC en completar una RPC desde la perspectiva del emisor.
buffer_size: Es el tamaño del búfer.
tpu/multislice/network/grpc_server_call_latencies BETA  (proyecto)
Latencias de llamadas del servidor de gRPC
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Es la distribución acumulativa de las latencias de transferencia de red para que el servidor de gRPC complete una RPC en la perspectiva de transporte.
buffer_size: Es el tamaño del búfer.
tpu/multislice/network/grpc_tcp_delivery_rates BETA  (proyecto)
Tasas de entrega de TCP de gRPC
CUMULATIVE, DISTRIBUTION, Mb/s
gce_instance 		Es la distribución acumulativa de las tasas de transferencia de datos de las conexiones TCP. Cada muestra es la tasa de transferencia de datos promedio más reciente para una conexión TCP determinada durante el último intervalo de ACK de TCP. Las muestras de las tasas de transferencia de datos se extraen del kernel de TCP de Linux cada 20 s, por lo que se puede esperar que cada conexión TCP cree aproximadamente 3 muestras por intervalo de 60 s.
tpu/multislice/network/grpc_tcp_min_round_trip_times BETA  (proyecto)
Tiempos mínimos de ida y vuelta de TCP de gRPC
CUMULATIVE, DISTRIBUTION, us
gce_instance 		Es la distribución acumulativa de las latencias mínimas de transferencia de red por conexión TCP.
tpu/multislice/network/grpc_tcp_packets_retransmitted_count BETA  (project)
Recuento de paquetes TCP de gRPC retransmitidos
CUMULATIVE, INT64, 1
gce_instance 		Es el recuento total de paquetes retransmitidos.
tpu/multislice/network/grpc_tcp_packets_sent_count BETA  (proyecto)
Recuento de paquetes TCP de gRPC enviados
CUMULATIVE, INT64, 1
gce_instance 		Es el recuento total de paquetes que envía TCP.
instance/tpu/accelerator/core_temperature BETA  (proyecto)
Temperatura del núcleo
GAUGE, DOUBLE, Cel
gce_instance 		Temperatura del núcleo de la TPU.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/core_throttling_indicator BETA  (proyecto)
Indicador de limitación de núcleos
GAUGE, DOUBLE, 1
gce_instance 		Es la cantidad de ciclos de reloj omitidos por segundo sobre el total de ciclos de reloj por núcleo de TPU.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/hbm_power_draw BETA  (proyecto)
Consumo de energía de HBM
GAUGE, DOUBLE, W
gce_instance 		Suma de la potencia en el módulo de HBM en vatios (W).
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/hbm_temperature BETA  (proyecto)
Temperatura de HBM
GAUGE, DOUBLE, Cel
gce_instance 		Temperatura de la memoria de alto ancho de banda (HBM) de la TPU.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
hbm_id: Es el identificador del módulo de memoria de alto ancho de banda (HBM). Por lo general, solo tiene el valor superior, por ejemplo: hbm_0.
instance/tpu/accelerator/hbm_uncorrectable_count BETA  (proyecto)
Recuento de errores incorregibles de HBM
CUMULATIVE, INT64, 1
gce_instance 		Recuento de errores no corregibles en la HBM (grave).
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/mxu_temperature BETA  (proyecto)
Temperatura de la MXU
GAUGE, DOUBLE, Cel
gce_instance 		Temperatura de la unidad de multiplicación de matrices (MXU) de la TPU.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
die_id: Es el índice de ranura del acelerador. Por lo general, solo tiene el valor superior, por ejemplo: die_0.
GAUGE, INT64, 1
gce_instance 		Es la frecuencia de los cambios de estado entre los estados de actividad y de inactividad en un vínculo de ICI.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
GAUGE, INT64, 1
gce_instance 		Es un indicador numérico (del 0 al 10) que representa el estado del vínculo de ICI. Los valores más altos indican niveles crecientes de inestabilidad del vínculo, desde un aleteo menor y temporal (1-5) hasta un rendimiento degradado persistente (6-9). Un valor de 10 representa una falla fatal del vínculo que expulsa automáticamente las cargas de trabajo activas.
port_id: Es el ID del puerto.
instance/tpu/accelerator/network/ici_packets_received_count BETA  (project)
Recuento de paquetes de ICI recibidos
CUMULATIVE, INT64, 1
gce_instance 		Es la cantidad total de paquetes que recibió el acelerador de TPU a través de sus vínculos de interconexión entre chips (ICI).
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/network/ici_packets_sent_count BETA  (proyecto)
Recuento de paquetes de ICI enviados
CUMULATIVE, INT64, 1
gce_instance 		Es la cantidad total de paquetes que transmitió el acelerador de TPU a través de sus vínculos de interconexión entre chips (ICI).
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/pcie_fatal_error_count BETA  (proyecto)
Recuento de errores graves de PCIe
CUMULATIVE, INT64, 1
gce_instance 		Es la cantidad de errores graves de PCIe que se producen en la interfaz de PCIe.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/pcie_nonfatal_error_count BETA  (project)
Recuento de errores no graves de PCIe
CUMULATIVE, INT64, 1
gce_instance 		Cantidad de errores de PCIe no graves que se producen en la interfaz de PCIe.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/power_draw BETA  (proyecto)
Consumo de energía
GAUGE, DOUBLE, W
gce_instance 		Es el consumo de energía del acelerador medido en vatios (W).
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/tray_power BETA  (proyecto)
Potencia de la bandeja
GAUGE, DOUBLE, W
gce_instance 		Es la energía total que se consume en la bandeja de TPU.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/accelerator/tray_temperature BETA  (proyecto)
Temperatura de la bandeja
GAUGE, DOUBLE, Cel
gce_instance 		Temperatura de la bandeja de la TPU.
accelerator_id: Es el ID de dispositivo del acelerador. Los valores válidos son 0, 1, 2 y 3.
instance/tpu/failure_prediction_status BETA  (proyecto)
Estado de degradación de la TPU
GAUGE, INT64, 1
gce_instance 		Esta métrica indica la probabilidad de que una máquina de TPU entre en un estado degradado en las próximas 5 horas, según lo predicho por nuestro algoritmo patentado. La etiqueta de valor para esta métrica es NO_DEGRADATION_PREDICTED, DEGRADATION_PREDICTED, POSSIBLE_DEGRADATION_PREDICTED. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 540 segundos.
cluster_id: Es el ID ofuscado del clúster que aloja la VM.
block_id: Es el ID de bloque ofuscado dentro del clúster que aloja la VM.
subblock_id: Es el ID del subbloque ofuscado que aloja la VM.
machine_id: Es el nombre ofuscado de la máquina que aloja la VM.
reservation_id: Es el ID de la reserva.
Value: Es el estado de una máquina de TPU que entra en un estado degradado en las próximas 5 horas, según lo predicho por nuestro algoritmo patentado. Los valores posibles son "NO_DEGRADATION_PREDICTED", "DEGRADATION_PREDICTED", "POSSIBLE_DEGRADATION_PREDICTED".
tpu/capacity/available_chips BETA  (proyecto)
Recuento de chips TPU disponibles
GAUGE, INT64, 1
compute.googleapis.com/Location 		Es el recuento actual de chips TPU que están disponibles y listos para usar.
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.
is_exr: Indica si el chip TPU forma parte de una reserva extendida.
tpu/capacity/committed_chips BETA  (proyecto)
Recuento de chips TPU comprados
GAUGE, INT64, 1
compute.googleapis.com/Location 		Es el recuento actual de chips TPU comprados.
accelerator_type: Es el tipo y la generación del acelerador.
reservation_id: Es el ID de la reserva de la máquina física.
provisioning_model: Es el modelo de aprovisionamiento asociado.
protection_tier: Es el modelo de protección asociado.
is_exr: Indica si el chip TPU forma parte de una reserva extendida.
tpu/network/nic_packets_dropped_count_rx BETA  (proyecto)
Recuento de paquetes descartados de NIC Rx
CUMULATIVE, INT64, 1
gce_instance 		Es la cantidad total de paquetes entrantes que descartó la NIC del host. Esto incluye los paquetes que la NIC descarta de forma intencional, como los paquetes sin una ruta coincidente.
nic_id: ID de la NIC.
tpu/network/nic_packets_dropped_count_tx BETA  (proyecto)
Recuento de paquetes descartados de NIC Tx
CUMULATIVE, INT64, 1
gce_instance 		Es la cantidad total de paquetes salientes que descartó la NIC del host. Esto incluye los paquetes que la NIC descarta de forma intencional, como los paquetes sin una ruta coincidente, por lo que una tasa pequeña distinta de cero es normal incluso cuando no se ejecuta ninguna carga de trabajo.
nic_id: ID de la NIC.
tpu/network/nic_packets_received_count BETA  (proyecto)
Recuento de paquetes de NIC recibidos
CUMULATIVE, INT64, 1
gce_instance 		Es el recuento total de paquetes que recibió la NIC del host. Esto incluye todo el tráfico del host, no solo el tráfico de la carga de trabajo, por lo que el recuento sigue aumentando incluso cuando no se ejecuta ninguna carga de trabajo.
nic_id: ID de la NIC.
tpu/network/nic_packets_sent_count BETA  (proyecto)
Recuento de paquetes de NIC enviados
CUMULATIVE, INT64, 1
gce_instance 		Es el recuento total de paquetes enviados por la NIC del host. Esto incluye todo el tráfico del host, no solo el de las cargas de trabajo, por lo que el recuento sigue aumentando incluso cuando no se ejecuta ninguna carga de trabajo.
nic_id: ID de la NIC.

Alfa

Tipo de métrica Etapa de lanzamiento (niveles de jerarquía de recursos)
Nombre visible
Clase, tipo, unidad
Recursos supervisados		 Descripción
Etiquetas
quota/tpus_per_tpu_family/exceeded ALFA  (proyecto)
Recuento de TPU por familia de TPU. Error de cuota excedida
DELTA, INT64, 1
compute.googleapis.com/Location 		Cantidad de intentos para superar el límite de la métrica de cuota compute.googleapis.com/tpus_per_tpu_family. Luego del muestreo, los datos no son visibles durante un máximo de 150 segundos.
limit_name: Es el nombre del límite.
tpu_family: Dimensión personalizada de la familia de TPU.
quota/tpus_per_tpu_family/limit ALFA  (proyecto)
Cantidad de TPU por familia de TPU. Límite de cuota
GAUGE, INT64, 1
compute.googleapis.com/Location 		Límite actual de la métrica de cuota compute.googleapis.com/tpus_per_tpu_family. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 150 segundos.
limit_name: Es el nombre del límite.
tpu_family: Dimensión personalizada de la familia de TPU.
quota/tpus_per_tpu_family/usage ALFA  (proyecto)
Uso de la cuota de cantidad de TPU por familia de TPU
GAUGE, INT64, 1
compute.googleapis.com/Location 		Uso actual de la métrica de cuota compute.googleapis.com/tpus_per_tpu_family. Luego del muestreo, los datos no son visibles durante un máximo de 150 segundos.
limit_name: Es el nombre del límite.
tpu_family: Dimensión personalizada de la familia de TPU.

Recopilador de telemetría de IA

AI Telemetry Collector recopila y publica métricas de TPU en el espacio de nombres compute.googleapis.com para las TPU creadas con la API de Compute Engine. Estas métricas son métricas del sistema integradas, que proporcionan visibilidad del estado y el rendimiento.

La arquitectura del recopilador de telemetría de IA está diseñada como un recopilador de OpenTelemetry (OTEL) ligero y especializado. Utiliza dos receptores principales para capturar datos:

  • Receptor del entorno de ejecución de TPU: Extrae las métricas del entorno de ejecución y de la carga de trabajo (como el ciclo de trabajo y el uso de memoria) directamente del entorno de ejecución de TPU cuando una carga de trabajo de aprendizaje automático está activa.
  • Receptor de host de TPU: Captura las métricas de uso de hardware, como el uso de TensorCore y el uso del ancho de banda de la memoria, directamente desde el dispositivo, sin importar si se está ejecutando una carga de trabajo.

Luego, el recopilador de telemetría de IA usa procesadores para aplicar automáticamente las etiquetas de recursos necesarias (como project_id, instance_id y zone) y exporta de forma segura la telemetría directamente a Cloud Monitoring.

El recopilador de telemetría de IA viene preinstalado en las imágenes de Ubuntu LTS optimizadas para TPU de Google y se ejecuta automáticamente cuando se inicia la VM. Para usar esta configuración, especifica el proyecto y la familia de imágenes del acelerador oficial de Google cuando crees una instancia de VM de TPU o una plantilla de instancias. Una vez que se inicia la VM, el recopilador de telemetría de IA envía automáticamente métricas a los paneles de Cloud Monitoring.

Si compilas imágenes de sistemas operativos personalizados, puedes usar el recopilador de telemetría de IA después de instalar y ejecutar la imagen de Docker de ai-telemetry-collector. Para obtener más información, consulta Usa una imagen de SO personalizada.

Configuración

El recopilador de telemetría de IA envía automáticamente métricas a los paneles de Cloud Monitoring y no requiere ningún paso de configuración adicional. Sin embargo, puedes configurar el paquete Snap o la imagen de Docker para agregar destinos de exportación externos, modificar los intervalos de recopilación de métricas y, además, incluir opciones de depuración.

Puedes reemplazar la configuración predeterminada por un archivo de configuración nuevo o agregar un archivo de configuración adicional a la configuración predeterminada existente. Cuando se agregan parámetros de configuración, se agregan las claves que aún no existen y se reemplazan las que ya existen. Sin embargo, los arrays y las listas no son aditivos, por lo que las listas nuevas deben incluir los valores existentes y los nuevos.

El siguiente archivo YAML configura AI Telemetry Collector para enviar métricas a Prometheus, un kit de herramientas de supervisión y alertas de sistemas de código abierto. También habilita la opción de depuración, que imprime métricas en la consola.

exporters:
  prometheus:
    endpoint: 0.0.0.0:8889

service:
  pipelines:
    metrics:
      exporters:
      -   prometheus # For more: https://prometheus.io/docs/introduction/overview/
      -   googlecloud # If you do not include this, you'll lose Google Cloud Monitoring
      -   debug # print metrics within the console

SO predeterminado

Si usas las imágenes de Ubuntu LTS optimizadas para TPU de Google, ejecuta el siguiente comando de Snap para agregar el archivo de configuración nuevo a la configuración existente:

sudo snap set \
  ai-telemetry-collector \
  extra-flags="--config /home/username/additional-config.yaml"

Si quieres reemplazar la configuración existente, usa la marca config-path en lugar de extra-flags:

sudo snap set \
  ai-telemetry-collector \
  config-path="/home/username/new-config.yaml"

El comando snap set debería activar un reinicio automático del recopilador de telemetría de IA. Para verificar que el recopilador se haya reiniciado y haya aplicado correctamente tus parámetros de configuración, usa el siguiente comando para ver los registros:

sudo snap logs -f ai-telemetry-collector

SO personalizado

Si usas un SO personalizado, ejecuta el siguiente comando de Docker para agregar el nuevo archivo de configuración a la configuración existente:

# First apply the default configs via `--config=/etc/ai-telemetry-collector/config.yaml`
# Then apply your additional config by volume mount.

docker run --privileged --net=host                                                                   \
  -v <path>/additional-config.yaml:/etc/ai-telemetry-collector/additional-config.yaml \
  ai-telemetry-collector:latest                                                       \
  --config=/etc/ai-telemetry-collector/config.yaml                                    \
  --config=/etc/ai-telemetry-collector/additional-config.yaml

Si quieres reemplazar la configuración existente, usa el siguiente comando de Docker:

# Mount a volume (your config file) to `/etc/ai-telemetry-collector/config.yaml`
# The binary automatically picks up this file.

docker run --privileged --net=host                                               \
  -v <path>/my-config.yaml:/etc/ai-telemetry-collector/config.yaml   \
  ai-telemetry-collector:latest

Registros de auditoría

Los servicios deGoogle Cloud generan registros de auditoría que registran las actividades administrativas y de acceso dentro de tus recursos de Google Cloud . Para obtener más información, consulta Registro de auditoría de Compute Engine.