Ver recursos de IA com o Application Monitoring

Use o Application Monitoring para monitorar a integridade, o desempenho e o custo dos recursos de IA usados pelos aplicativos, serviços e cargas de trabalho registrados no App Hub. As consultas do Application Monitoring rastreiam dados que contêm rótulos e eventos específicos do aplicativo que seguem as convenções semânticas de IA generativa do OpenTelemetry para gerar métricas agregadas e granulares, como taxa de erros, latência e uso de tokens.

O painel a seguir mostra informações de recursos de IA para um aplicativo registrado:

Painel que mostra informações sobre recursos de IA.

Antes de começar

Os procedimentos neste documento exigem um projeto Google Cloud com recursos de IA ativos para análise. Além disso, é necessário que seus recursos de IA estejam associados a aplicativos, serviços e cargas de trabalho registrados no App Hub. O Application Monitoring precisa de dados de telemetria e rastreamento para gerar resultados significativos.

Configurar papéis e APIs e configurar o Application Monitoring

  1. Conclua as etapas definidas em Investigar aplicativos, serviços e cargas de trabalho: antes de começar.

  2. Ative as APIs Observability, Cloud Trace e Telemetry, se alguma delas ainda não estiver ativada.

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão pelo papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    Ativar as APIs

  3. Para receber as permissões necessárias para visualizar informações de uso de recursos de IA, peça ao administrador para conceder a você os seguintes papéis do IAM:

    Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Desenvolver e registrar aplicativos, serviços e cargas de trabalho

Para mostrar dados de recursos de IA usados pelos seus aplicativos, serviços e cargas de trabalho, os dados de rastreamento precisam conter rótulos e eventos específicos do aplicativo que seguem as convenções semânticas de IA generativa do OpenTelemetry. Para receber esses rótulos, siga estas etapas:

  1. Registre seu aplicativo e os serviços e cargas de trabalho dele no App Hub.
  2. Use a estrutura do Kit de Desenvolvimento de Agente (ADK) ou instrumente seu aplicativo com o OpenTelemetry e envie os dados de rastreamento para a API Telemetry. Para exemplos de instrumentação, consulte Instrumentar aplicativos do ADK com o OpenTelemetry e Visão geral de exemplos de instrumentação baseados em coletores.

Conferir recursos de IA para um aplicativo

Para conferir os recursos de IA associados a um aplicativo, faça o seguinte:

  1. No console do Google Cloud , acesse a página Monitoramento de aplicativos:

    Acessar Monitoramento de aplicativos

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Na barra de ferramentas do console Google Cloud , selecione seu projeto host ou de gerenciamento do App Hub.

  3. Selecione a guia Aplicativos e escolha o aplicativo na lista.

  4. Selecione a guia Painéis.

  5. No Sumário do painel, selecione Recursos de IA.

    O sistema cria a entrada Recursos de IA quando você tem pelo menos um agente de IA associado ao seu aplicativo que está ativo. Se você não tiver agentes ou se todos estiverem inativos, a opção não será listada.

O painel vai para a seção Recursos de IA, que mostra informações como as seguintes:

  • Total de consultas por segundo e contagem de tokens.
  • Taxa média de erros, latência e taxa de erros de chamada de ferramenta.
  • Uso de tokens.
  • Taxas de erro e latência para agentes.

Ver recursos de IA para um serviço ou carga de trabalho

Para ver os recursos de IA associados a um serviço ou carga de trabalho, faça o seguinte:

  1. Abra o painel do serviço ou da carga de trabalho:

    1. No console do Google Cloud , acesse a página Monitoramento de aplicativos:

      Acessar Monitoramento de aplicativos

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

    2. Selecione a guia Serviços e cargas de trabalho e escolha o serviço ou a carga de trabalho.

    O painel do serviço ou da carga de trabalho será aberto. O Sumário lista as seções no painel, que podem depender do tipo de recurso de IA.

  2. Para acessar a seção do painel com informações sobre seus recursos de IA, use o Sumário do painel:

    • Representante: disponível para representantes. Esta seção mostra informações sobre sessões, invocações de agentes e uso de tokens.

    • Ferramentas: disponível para agentes. Essa seção mostra informações sobre chamadas de ferramentas, incluindo taxa de erro, contagem de chamadas e latência P95.

    • Modelos: disponíveis para alguns agentes. Esta seção mostra informações sobre o número de chamadas de modelo feitas pelo agente, a taxa de erros e o uso de tokens.

Analisar a telemetria

As consultas SQL nos dados de rastreamento determinam os dados mostrados nos gráficos de recursos de IA. Essas consultas filtram dados de rastreamento por rótulos específicos do aplicativo e eventos de IA generativa que seguem as convenções semânticas do OpenTelemetry GenAI.

Para ver a consulta de um gráfico, na barra de ferramentas dele, selecione Mais opções de gráfico e depois Analisar na Análise de Observabilidade.

A Análise de observabilidade é aberta e mostra a consulta SQL que gera dados para o gráfico. Siga uma destas instruções:

  • Inspecione a consulta e volte ao Application Monitoring.
  • Execute a consulta.
  • Modifique e execute a consulta.
  • Crie um gráfico que mostre o resultado da consulta.
  • Salve um gráfico que mostre o resultado da consulta em um painel personalizado.

Para saber mais, assista a estes vídeos: