Usar a análise de agentes do BigQuery

A análise de agentes do BigQuery é uma solução de código aberto que permite capturar, analisar e visualizar dados de interação de agentes multimodais em escala. Com ela, é possível transmitir interações de agentes brutos (solicitações, respostas, chamadas de ferramentas e erros) diretamente para o BigQuery. Isso permite realizar avaliações com tecnologia de IA, otimizar comandos de agentes e extrair memória de longo prazo para melhorar interações futuras.

A análise de agentes do BigQuery é compatível com o Kit de desenvolvimento de agentes (ADK) e LangGraph (versão prévia).

Arquitetura

A análise de agentes do BigQuery facilita a transmissão de dados de atividade de agentes para o BigQuery. Ao usar a API BigQuery Storage Write, essa solução oferece transmissão de registros de alta capacidade e baixa latência sem bloquear a execução do agente.

O fluxo de dados inclui as seguintes etapas:

  1. Captura. Os plug-ins no Kit de desenvolvimento de agentes (ADK) ou os callbacks no LangGraph interceptam eventos de interação.
  2. Stream. Os eventos de interação são enviados ao BigQuery pela API Storage Write. Se um esquema padronizado não existir, o agente vai criar um automaticamente.
  3. Efetivar. Gere insights usando painéis pré-criados, um agente de dados ou recursos avançados de SQL e BigQuery ML. Para melhorar a depuração e a avaliação, use um SDK Python. Para depuração avançada e casos de uso para avaliação de agentes, também é possível usar o SDK de análise de agentes do BigQuery.

O fluxo de dados de análise do agente do BigQuery de frameworks de orquestração de agentes para o BigQuery

Benefícios da análise de agentes

  • Ative o registro abrangente com uma única linha de código e automatize o gerenciamento de esquemas.
  • Registre e analise dados multimodais, incluindo texto, imagens, vídeo e áudio, usando tabelas de objetos.
  • Monitore métricas operacionais, como consumo de tokens e latência, em um esquema robusto e predefinido.
  • Identifique oportunidades de otimização usando as funções de IA generativa e a pesquisa vetorial do BigQuery.
  • Proteja os registros de agentes com controles de acesso granular, mascaramento de dados e criptografia.

Exemplos de como trabalhar com dados de registro de agentes

Confira alguns casos de uso e exemplos comuns para trabalhar com dados de registro de agentes.

Observabilidade e métricas operacionais

  • Carregue o painel pré-criado e configure o relatório com sua tabela para encontrar agentes com alto consumo de tokens erros ou sessões longas.
  • Use o SQL para detalhar os custos por fluxos de agentes e determinar se um agente específico, como um agente de refinamento, consome uma quantidade desproporcional de tokens em comparação com a contribuição para as respostas finais.
  • Use o agente de análise conversacional do BigQuery para análise de causa raiz com tecnologia de IA executando consultas com a AI.GENERATE função. Por exemplo, "Analise este registro de conversa e explique a causa raiz da falha".

Avaliação de agentes e análise de qualidade

  • Use a função AI.SCORE para classificar conversas e medir a classificação do agente ao longo do tempo.
  • Use uma consulta SQL com pesquisa vetorial para identificar clusters de conversas em que o agente não conseguiu ajudar os usuários e compare-os com a intenção original do usuário. Isso ajuda a encontrar lacunas no conjunto de ferramentas ou na base de conhecimento do agente.

Insights de negócios e contextualização

  • Faça uma mesclagem entre a tabela agent_events e outras tabelas de negócios para contextualizar os dados do agente. Por exemplo, mostre o valor médio do pedido (AOV, na sigla em inglês) para clientes que interagiram com o agente de IA em comparação com clientes que usaram a barra de pesquisa.

Para mais exemplos, consulte Consultas de análise avançada.

Trabalhar com a análise de agentes do BigQuery

Para integrar a análise de agentes do BigQuery ao seu fluxo de trabalho, consulte a documentação da sua estrutura:

A seguir