Conferir o AutoMetrics de inferência da Vertex AI

Neste documento, descrevemos como usar as AI AutoMetrics para monitorar suas cargas de trabalho de IA na Gemini Enterprise Agent Platform.

Com as métricas automáticas de IA, é possível monitorar o desempenho e a integridade dos seus modelos com o mínimo de configuração. Esse recurso foi projetado para fornecer insights imediatos sobre seus contêineres e modelos personalizados em execução na Vertex AI Inference.

Antes de começar

  1. Verifique se você tem um endpoint da Gemini Enterprise Agent Platform com um modelo implantado que usa um contêiner com frameworks compatíveis.
  2. Verifique se o projeto ativou o Cloud Monitoring. Para mais informações, consulte Ativar a API Cloud Monitoring.

Usar as AutoMetrics de IA

Para conferir as AutoMetrics de IA no Metrics Explorer, faça o seguinte:

  1. Acesse a página do Metrics Explorer no console do Google Cloud .

    Acessar o Metrics Explorer

  2. Em Selecionar uma métrica, escolha Destino do Prometheus.

  3. Em Categorias de métricas ativas, selecione Vertex.

  4. Em Métricas ativas, selecione a métrica desejada.

  5. Clique em Aplicar.

Também é possível consultar métricas usando o Grafana ou a API ou interface do Prometheus.

Frameworks compatíveis

As Métricas Automáticas de IA são compatíveis com os seguintes frameworks:

Framework Endpoint qualificado Métricas qualificadas
vLLM Endpoint /metrics compatível com o Prometheus Métricas com o prefixo vllm:

Como funciona

A Gemini Enterprise Agent Platform coleta automaticamente o endpoint /metrics do seu contêiner em um intervalo predefinido. Todas as métricas qualificadas são exportadas para o Google Cloud Serviço gerenciado do Google Cloud para Prometheus, em que é possível analisá-las e visualizá-las.

Nomenclatura e rótulos de métricas

As métricas coletadas pela AI AutoMetrics são ingeridas no Cloud Monitoring com a convenção de nomenclatura vertex_*.

Para facilitar a filtragem e o agrupamento, as métricas automáticas de IA anexam automaticamente os seguintes rótulos da Gemini Enterprise Agent Platform a cada métrica:

  • deployed_model_id: o ID de um modelo implantado que atende a solicitações de inferência.
  • model_display_name: o nome de exibição de um modelo implantado.
  • replica_id: o ID exclusivo correspondente à réplica do modelo implantado (nome do pod).
  • endpoint_id: o ID de um endpoint de modelo.
  • endpoint_display_name: o nome de exibição de um endpoint de modelo.
  • product: o nome do recurso na Gemini Enterprise Agent Platform. É sempre Inferência on-line.

A seguir