Monitorar modelos

Neste documento, explicamos como monitorar o comportamento, a integridade e o desempenho dos modelos totalmente gerenciados na Gemini Enterprise Agent Platform. Ele descreve como usar o painel de observabilidade de modelo pré-criado para receber insights sobre o uso do modelo, identificar problemas de latência e solucionar erros.

Você vai aprender a:

  • Acessar e interpretar o painel de observabilidade do modelo.
  • Ver as métricas de monitoramento disponíveis.
  • Monitorar o tráfego do endpoint do modelo usando o Metrics Explorer.

Acessar e interpretar o painel de observabilidade do modelo

A plataforma de agentes oferece um painel de observabilidade de modelos pré-criado para visualizar o comportamento, a integridade e o desempenho de modelos totalmente gerenciados. Os modelos totalmente gerenciados, também conhecidos como modelo como serviço (MaaS, na sigla em inglês), são fornecidos pelo Google e incluem os modelos do Gemini do Google e modelos de parceiros com endpoints gerenciados. As métricas de modelos auto-hospedados não estão incluídas no painel.

A plataforma de agentes coleta e informa automaticamente as atividades dos modelos de MaaS para ajudar você a resolver rapidamente problemas de latência e monitorar a capacidade.

Um exemplo de painel de observabilidade de modelos no console do Cloud
Exemplo de painel de observabilidade de modelos

Caso de uso

Como desenvolvedor de aplicativos, você pode ver como os usuários estão interagindo com os modelos que você expôs. Por exemplo, é possível ver como o uso do modelo (solicitações por segundo) e a intensidade de computação dos comandos do usuário (latências de invocação do modelo) estão evoluindo ao longo do tempo. Como essas métricas estão relacionadas ao uso do modelo, também é possível estimar os custos de execução de cada modelo.

Quando um problema surge, você pode resolver problemas rapidamente no painel. Para verificar se os modelos estão respondendo de maneira confiável e em tempo hábil, confira as taxas de erro da API, as latências do primeiro token e a capacidade de processamento de tokens.

Métricas de monitoramento disponíveis

O painel de observabilidade do modelo exibe um subconjunto de métricas coletadas pelo Cloud Monitoring, como solicitação de modelo por segundo (QPS), capacidade de token e latências do primeiro token. Acesse o painel para conferir todas as métricas disponíveis.

Limitações

A Agent Platform captura métricas do painel apenas para chamadas de API para o endpoint de um modelo. Google Cloud O uso do console, como métricas do Agent Studio, não é adicionado ao painel.

Ver o painel

  1. Na seção "Plataforma de agente" do console do Google Cloud , acesse a página Painel.

Acessar a Agent Platform 1. No painel, em "Observabilidade do modelo", clique em Mostrar todas as métricas para ver o painel de observabilidade do modelo no console do Google Cloud Observability.

  1. Para ver as métricas de um modelo específico ou em um local específico, defina um ou mais filtros na parte de cima da página do painel.

    Para ver uma descrição de cada métrica, consulte a seção "aiplatform" na página de métricas doGoogle Cloud .

Ver resolução de 1 segundo

O painel de observabilidade do modelo adiciona opções de resolução de 1 segundo aos gráficos atuais quando a geração de registros de metadados de solicitação de inferência está ativada. As opções de 1 segundo leem os registros de metadados de solicitação de inferência em vez de métricas agregadas de um minuto. Assim, elas mostram picos que uma média de um minuto oculta.

As opções de 1 segundo precisam de registro de metadados de solicitação de inferência no projeto e um bucket de registros _Default atualizado para a Análise de Observabilidade. Para ativar a geração de registros, consulte Ativar registros de metadados de solicitação de inferência.

Para conferir, clique em Mostrar todas as métricas para abrir o painel de observabilidade do modelo. Os gráficos que aceitam resolução de 1 segundo têm um menu suspenso no cabeçalho: solicitações de modelo por segundo (QPS), contagem de tokens por modelo, invocações de modelo por código de resposta, taxa de erro de invocações de modelo (%) e os gráficos na seção Tokens. Cada menu suspenso mantém a opção Resolução de 1 minuto das métricas como padrão e adiciona uma opção Resolução de 1 segundo dos registros. Selecione a opção de 1 segundo e defina o período como 200 segundos ou menos para ver um ponto por segundo. Em períodos mais longos, cada ponto é a média por segundo no bucket. Até que a geração de registros seja ativada, as opções de 1 segundo mostram "Nenhum registro de solicitação de inferência nesta janela. Ative a geração de registros para ver dados de 1 segundo" na legenda do gráfico, e as opções de 1 minuto funcionam como antes.

Um gráfico de observabilidade do modelo com a opção de resolução de 1 segundo selecionada
Um gráfico de observabilidade de modelo com o menu suspenso definido como uma opção de resolução de 1 segundo com base nos registros.

Monitorar o tráfego do endpoint do modelo

Siga as instruções abaixo para monitorar o tráfego para seu endpoint no Metrics Explorer.

  1. No console do Google Cloud , acesse a página do Metrics Explorer.

    Acesse o Metrics Explorer

  2. Selecione o projeto com as métricas que você quer ver.

  3. No menu suspenso Métrica, clique em Selecionar uma métrica.

  4. Na barra de pesquisa Filtrar por nome do recurso ou da métrica, digite Gemini Enterprise Agent Platform Endpoint.

  5. Selecione a categoria de métrica Endpoint da Agent Platform > Previsão. Em Métricas ativas, selecione uma das seguintes métricas:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Clique em Aplicar. Para adicionar mais de uma métrica, clique em Adicionar consulta.

    É possível filtrar ou agregar as métricas usando os seguintes menus suspensos:

    • Para selecionar e visualizar um subconjunto dos seus dados com base em critérios específicos, use o menu suspenso Filtro. Por exemplo, para filtrar o modelo gemini-2.0-flash-001, use endpoint_id = gemini-2p0-flash-001. O . na versão do modelo é substituído por p.

    • Para combinar vários pontos de dados em um único valor e ver uma visualização resumida das suas métricas, use o menu suspenso Agregação. Por exemplo, é possível agregar a Soma de response_code.

  6. Se quiser, configure alertas para o endpoint. Para mais informações, consulte Gerenciar políticas de alertas.

Para ver as métricas adicionadas ao projeto usando um painel, consulte Visão geral dos painéis.

A seguir