Este documento descreve como visualizar a telemetria dos recursos de IA usados pelos aplicativos, serviços e cargas de trabalho registrados no App Hub.
Para gerar métricas como taxa de erro, latência e uso de tokens, o Monitoramento de aplicativos consulta os dados de trace em busca de rótulos específicos do aplicativo e eventos que seguem as convenções semânticas do OpenTelemetry GenAI. Essas métricas quantificam a integridade, a performance e o custo dos recursos de IA e estão disponíveis como dados agregados para aplicativos ou como dados granulares para serviços e cargas de trabalho individuais.
O painel a seguir mostra informações de recursos de IA para um aplicativo registrado:
Antes de começar
Os procedimentos neste documento exigem um Google Cloud projeto com recursos de IA ativos para análise. Eles também exigem que os recursos de IA estejam associados a aplicativos, serviços e cargas de trabalho registrados no App Hub. O Monitoramento de aplicativos precisa de dados de telemetria e trace para produzir resultados significativos.
Configurar papéis, APIs e o Monitoramento de aplicativos
- Conclua as etapas definidas em Investigar aplicativos, serviços e cargas de trabalho: antes de começar.
-
Ative as APIs Observabilidade, Cloud Trace e Telemetria.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel Proprietário (roles/owner). Caso contrário, você pode receber essa permissão com o papel Administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis. -
Para receber as permissões necessárias para visualizar informações de uso de recursos de IA, peça ao administrador para conceder a você os seguintes papéis do IAM:
- Leitor de observabilidade (
roles/observability.viewer) no seu projeto - Acessador de visualização de observabilidade (
roles/observability.viewaccessor) nas visualizações de observabilidade que você quer consultar. É possível restringir essa concessão a uma visualização específica.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
- Leitor de observabilidade (
Desenvolver e registrar aplicativos, serviços e cargas de trabalho
Para mostrar dados de recursos de IA usados por aplicativos, serviços e cargas de trabalho use, os dados de trace precisam conter rótulos e eventos específicos do aplicativo que seguem as convenções semânticas do OpenTelemetry GenAI. Para receber esses rótulos, siga estas etapas:
- Registre seu aplicativo e os serviços e cargas de trabalho dele no App Hub.
- Use a estrutura do Kit de Desenvolvimento de Agentes (ADK, na sigla em inglês) ou instrumente o aplicativo com o OpenTelemetry e envie os dados de trace para a API Telemetria. Para exemplos de instrumentação, consulte Instrumentar aplicativos ADK com o OpenTelemetry e Visão geral dos exemplos de instrumentação baseados em coletores.
Visualizar recursos de IA para um aplicativo
Para visualizar os recursos de IA associados a um aplicativo, faça o seguinte:
-
No Google Cloud console do, acesse a página Monitoramento de aplicativos:
Acessar o Monitoramento de aplicativos
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Na barra de ferramentas do Google Cloud console do, selecione o App Hub projeto host ou de gerenciamento.
Selecione a guia Aplicativos e, em seguida, o aplicativo na lista.
Selecione a guia Painéis.
Na sumário do painel, selecione Recursos de IA.
O sistema cria a entrada Recursos de IA quando você tem pelo menos um agente de IA associado ao aplicativo que está ativo. Se você não tiver agentes ou todos os agentes estiverem inativos, a opção não será listada.
O painel acessa a seção Recursos de IA, que mostra informações como as seguintes:
- Total de consultas por segundo e contagem de tokens.
- Taxa média de erros, latência e taxa de erros de chamada de ferramenta.
- Uso de tokens.
- Taxas de erro e latência para agentes.
Visualizar recursos de IA para um serviço ou carga de trabalho
Para visualizar os recursos de IA associados a um serviço ou carga de trabalho, faça o seguinte:
Abra o painel do serviço ou da carga de trabalho:
-
No Google Cloud console do, acesse a página Monitoramento de aplicativos:
Acessar o Monitoramento de aplicativos
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Selecione a guia Serviços e cargas de trabalho e, em seguida, o serviço ou a carga de trabalho.
O painel do serviço ou da carga de trabalho será aberto. O sumário lista as seções no painel, que podem depender do tipo de recurso de IA.
-
Para acessar a seção do painel com informações sobre os seus recursos de IA, use o sumário do painel:
Agente: disponível para agentes. Esta seção mostra informações sobre sessões, invocações de agentes e uso de tokens.
Ferramentas: disponível para agentes. Esta seção mostra informações sobre chamadas de ferramentas, incluindo taxa de erros, contagem de chamadas e latência P95.
Modelos: disponível para alguns agentes. Esta seção mostra informações sobre o número de chamadas de modelo feitas pelo agente, taxa de erros e uso de tokens.
Conhecer a telemetria
As consultas SQL nos dados de trace determinam os dados mostrados nos gráficos de recursos de IA. Essas consultas filtram os dados de trace por rótulos específicos do aplicativo e eventos de IA generativa que seguem as convenções semânticas do OpenTelemetry GenAI.
Para visualizar a consulta de um gráfico, na barra de ferramentas do gráfico, selecione more_vert Mais opções de gráfico e, em seguida, selecione Conhecer a análise de observabilidade.
A Análise de observabilidade é aberta e mostra a consulta SQL que gera dados para o gráfico. Siga uma destas instruções:
- Inspecione a consulta e retorne ao Monitoramento de aplicativos.
- Execute a consulta.
- Modifique a consulta e execute a consulta modificada.
- Crie um gráfico que mostre o resultado da consulta.
- Salve um gráfico que mostre o resultado da consulta em um painel personalizado.
Para saber mais, assista a estes vídeos: