Knowledge Catalog para agentes de IA

À medida que os ecossistemas de dados se tornam mais complexos, os aplicativos de IA exigem mais do que apenas acesso a dados brutos. Eles precisam de contexto comercial. O Knowledge Catalog representa uma evolução do Dataplex, mudando o foco para capacitar a IA e os sistemas de agentes.

No centro dessa plataforma, um mapa unificado vincula seus recursos de dados físicos com semântica de negócios, regras de governança e relações de uso. Ao integrar o Knowledge Catalog aos seus fluxos de trabalho de IA, você pode conseguir o seguinte:

  • Baseie os agentes de IA para fornecer metadados confiáveis, atualizados e contextuais para orientar o raciocínio do agente.

  • Reduzir alucinações e garantir que os modelos generativos baseiem as respostas em verdades estabelecidas da empresa.

  • Forneça um contexto unificado, uma única visualização controlada do seu cenário de dados, aos agentes de IA.

Casos de uso

O Knowledge Catalog desempenha funções distintas no ciclo de vida de dados e IA:

  • Desenvolvedores de IA e criadores de agentes. Desenvolvedores que criam bots ou agentes personalizados (por exemplo, usando LangChain ou o Kit de Desenvolvimento de Agente (ADK)) que precisam consultar e entender dados corporativos.

    • Casos de uso:pesquisa em linguagem natural e recuperação de contexto para permitir que os agentes trabalhem com dados corporativos; descoberta de dados agênticos.

  • Analistas de dados. Usuários que usam ferramentas com tecnologia de IA, como o Gemini no BigQuery ou o Looker, para encontrar dados e entender o significado deles para os negócios.

    • Casos de uso:consultas em linguagem natural e análise de dados conversacionais.

  • Administradores de dados. Especialistas no assunto que supervisionam o enriquecimento de metadados com tecnologia de IA e garantem a qualidade do contexto do catálogo.

    • Casos de uso:revisar, selecionar e promover metadados e descrições gerados com IA.

Acessar o contexto do Knowledge Catalog com o MCP

O Protocolo de Contexto de Modelo (MCP) é uma ponte padronizada que permite que agentes e ferramentas de IA se conectem facilmente a fontes de dados como o Catálogo de dados.

Para acomodar diferentes fluxos de trabalho de implantação, o Catálogo de dados oferece dois tipos de implementações de MCP. Entender quando usar cada um é fundamental para configurar seu ambiente:

  • Servidor MCP remoto:ao criar aplicativos nativos da nuvem, implantar agentes em ambientes sem servidor (como o Cloud Run) ou integrar com serviços gerenciados externos em que você quer evitar o gerenciamento da infraestrutura local.

  • MCP Toolbox local:durante o desenvolvimento de agentes locais, a prototipagem rápida ou quando você precisa de integração direta com IDEs de desktop locais, como VS Code ou Cursor.

Servidor MCP remoto

Um endpoint hospedado pelo Google que permite acesso direto às ferramentas do Knowledge Catalog para aplicativos e serviços de IA (por exemplo, agentes em execução no Cloud Run ou serviços externos como o Claude).

  • Endpoint: https://dataplex.googleapis.com/mcp
  • Benefícios:não é necessário executar um servidor MCP local, adequado para ambientes sem servidor.
  • Referência:usar um servidor MCP remoto

MCP Toolbox local

Uma ferramenta de linha de comando que atua como um proxy local entre seu ambiente de desenvolvimento integrado (por exemplo, VS Code, Cursor) ou ferramentas locais e o catálogo de dados.

  • Instalação:binário para download.
  • Configuração:geralmente envolve um arquivo .mcp.json ou de configurações na configuração do projeto ou do ambiente de desenvolvimento integrado.
  • Benefícios:ideal para ambientes de desenvolvimento seguros localmente e integração com vários ambientes de desenvolvimento integrado.
  • Referência:Usar um servidor MCP local

Enriquecer o contexto do Knowledge Catalog

Para maximizar o valor do Knowledge Catalog para IA, o gráfico subjacente precisa ter um contexto comercial rico. Isso pode ser feito com recursos prontos para uso ou enriquecimento de agente personalizado.

Enriquecimento pronto para uso com insights de dados

Os insights de dados (com tecnologia do Gemini no BigQuery) enriquecem automaticamente seu catálogo, reduzindo o problema de "início a frio" para novas plataformas de dados. Quando ativado, ele gera automaticamente o seguinte:

  • Descrições de conjunto de dados e de colunas.
  • Gráficos de relacionamento entre tabelas.
  • Exemplos de consultas com base em padrões de uso históricos.

Isso fornece compreensão semântica imediata aos agentes downstream sem exigir gerenciamento manual de dados.

Por exemplo, para uma tabela chamada telco_churn, os insights de dados podem gerar automaticamente descrições para campos como Tenure e MonthlyCharges, inferir relacionamentos com tabelas de clientes e publicar uma consulta de exemplo, como encontrar taxas de desistência por segmento, no catálogo.

Enriquecimento de contexto personalizado com agentes

Para organizações com bases de conhecimento especializadas, é possível criar agentes de enriquecimento personalizados para ingerir metadados de fontes sob medida, como wikis internas, repositórios de código ou sistemas proprietários.

  • APIs do Knowledge Catalog (operações CRUD): usadas para adicionar ou atualizar metadados no catálogo.

    • Por exemplo, chame o método da API UpdateEntry para anexar programaticamente um aspecto de visão geral a uma tabela usando a documentação extraída de um sistema interno.

  • Ferramentas como o ADK:use para criar seus agentes de enriquecimento.

    • Por exemplo, crie um agente do ADK baseado em Java que use ferramentas internas para extrair páginas técnicas da wiki, use um LLM para analisar e transformar em termos do glossário e sincronize os termos com o catálogo de dados.

  • Operações de exportação e importação:use para atualizações em massa de metadados com revisão.

    • Por exemplo, exporte um glossário de negócios gerado por IA para um arquivo, peça para os administradores de dados revisarem e refinarem as definições de forma colaborativa e importe o arquivo finalizado de volta para o catálogo.

A seguir