Consulta las métricas automáticas de AI de Vertex AI Inference

En este documento, se describe cómo usar AI AutoMetrics para supervisar tus cargas de trabajo de IA en Gemini Enterprise Agent Platform.

AI AutoMetrics te permite supervisar el rendimiento y el estado de tus modelos con una configuración mínima. Esta función está diseñada para brindarte información inmediata sobre tus contenedores y modelos personalizados que se ejecutan en Vertex AI Inference.

Antes de comenzar

  1. Asegúrate de tener un extremo de Gemini Enterprise Agent Platform con un modelo implementado que use un contenedor con frameworks compatibles.
  2. Asegúrate de que tu proyecto tenga habilitado Cloud Monitoring. Consulta Habilita la API de Cloud Monitoring para obtener más información.

Usa AutoMetrics con IA

Para ver las AI AutoMetrics en el Explorador de métricas, sigue estos pasos:

  1. Ve a la página Explorador de métricas en la consola de Google Cloud .

    Ir al Explorador de métricas

  2. En Selecciona una métrica, elige Destino de Prometheus.

  3. En Categorías de métricas activas, selecciona Vertex.

  4. En Métricas activas, selecciona la métrica que desees.

  5. Haz clic en Aplicar.

También puedes consultar métricas con Grafana, o la API o la IU de Prometheus.

Frameworks compatibles

AI AutoMetrics admite los siguientes frameworks:

Framework Extremo calificado Métricas calificadas
vLLM Extremo de /metrics compatible con Prometheus Métricas con el prefijo vllm:

Cómo funciona

Gemini Enterprise Agent Platform extrae automáticamente el extremo /metrics de tu contenedor en un intervalo predefinido. Luego, todas las métricas calificadas se exportan a Google Cloud Google Cloud Managed Service para Prometheus, donde puedes analizarlas y visualizarlas.

Nombres y etiquetas de las métricas

Las métricas que recopila AI AutoMetrics se transfieren a Cloud Monitoring con la convención de nombres vertex_*.

Para facilitar el filtrado y la agrupación, AI AutoMetrics adjunta automáticamente las siguientes etiquetas adicionales de Gemini Enterprise Agent Platform a cada métrica:

  • deployed_model_id: Es el ID de un modelo implementado que entrega solicitudes de inferencia.
  • model_display_name: Es el nombre visible de un modelo implementado.
  • replica_id: Es el ID único que corresponde a la réplica del modelo implementado (nombre del Pod).
  • endpoint_id: Es el ID de un extremo del modelo.
  • endpoint_display_name: Es el nombre visible de un extremo del modelo.
  • product: Es el nombre de la función en Gemini Enterprise Agent Platform. Siempre es Inferencia en línea.

¿Qué sigue?