Usar o Knowledge Catalog com o BigQuery

O Knowledge Catalog (antigo Dataplex Universal Catalog) interage com o BigQuery como uma camada central de governança de dados e acesso de agentes para os metadados do BigQuery. Para mais informações, consulte a visão geral do Knowledge Catalog.

Como uso o Knowledge Catalog com o BigQuery?

O Knowledge Catalog interage com o BigQuery das seguintes maneiras.

Ingestão automatizada de metadados

O Knowledge Catalog descobre e indexa automaticamente os metadados técnicos dos recursos do BigQuery. Isso inclui o seguinte:

Representação e enriquecimento de metadados

  • Entradas: cada tabela ou recurso do BigQuery é representado como uma entrada no catálogo, em vez da tabela inteira. Por exemplo, project.dataset.table.
  • Integração do scorecard de qualidade de dados: o Knowledge Catalog fornece um scorecard de qualidade de dados para cada entrada no catálogo. Além das verificações de dados integradas do Knowledge Catalog, os resultados de declarações do Dataform são uma fonte para esse scorecard (pré-lançamento).

  • Enriquecimento automatizado de metadados: para tabelas e visualizações criadas com o Dataform, é possível definir metadados semânticos diretamente no código. Esses metadados são sincronizados automaticamente com o Knowledge Catalog após a conclusão de uma ação de pipeline (pré-lançamento). Há suporte para os seguintes tipos de aspectos:

    • Visão geral: documentação e texto de resumo da entrada.
    • Aspectos genéricos: tags de metadados semânticos para detalhes técnicos, como informações de tipo e sistema de tabelas.

    Para verificar o status de uma atualização de metadados, siga as instruções em Conferir execuções manuais anteriores.

    Depois que os metadados forem sincronizados, você poderá pesquisar e visualizar a entrada no Knowledge Catalog. Para mais informações, consulte Pesquisar recursos.

  • Metadados no nível da coluna: colunas ou campos individuais são representados como caminhos, permitindo anexar metadados específicos, como marcadores de PII ou pontuações de qualidade de dados, a campos individuais em uma tabela do BigQuery, em vez de apenas à tabela.

  • Aspectos: os metadados técnicos são enriquecidos com aspectos, que adicionam contexto comercial aos dados, como propriedade, qualidade de dados e documentação.

  • Produtos de dados: é possível agrupar recursos relacionados do BigQuery em produtos de dados, por exemplo, dados da empresa de e-commerce, que têm restrições de acesso e governança compartilhadas.

  • Pesquisa semântica: os usuários podem usar a linguagem natural para pesquisar dados do BigQuery, o que é especialmente útil para cientistas de dados e agentes de IA encontrarem produtos de dados confiáveis usando consultas longas ou complexas.
  • Tradução de nomes: para facilitar a pesquisa programática o sistema permite traduzir nomes SQL do BigQuery ou nomes totalmente qualificados em nomes de entrada do Knowledge Catalog.

Acesso e fundamentação de agentes

  • Acesso de agentes: os agentes de IA podem descobrir e usar de forma adaptável as ferramentas do Knowledge Catalog por meio de um servidor MCP local ou remoto.
  • Contexto para agentes de IA: o Knowledge Catalog organiza um gráfico de contexto que vincula conjuntos de dados do BigQuery à semântica comercial, ajudando a reduzir alucinações de IA , garantindo que os modelos usem dados aprovados pela empresa.

Governança e compliance

  • Linhagem de dados: o Knowledge Catalog rastreia automaticamente como os dados fluem e se transformam em tabelas do BigQuery. Essa capacidade é fundamental para auditar informações sensíveis, como PII, em todo o patrimônio de dados.
  • Controle de acesso: o gerenciamento de metadados é integrado ao Identity and Access Management (IAM) e ao VPC Service Controls para garantir que a descoberta e o acesso aos metadados do BigQuery sigam as políticas de segurança da organização.

Considerações sobre a migração:

A migração para o Knowledge Catalog do Data Catalog descontinuado envolve várias etapas. Os metadados padrão do BigQuery (como conjuntos de dados, tabelas e visualizações) ficam disponíveis automaticamente no Knowledge Catalog. Portanto, o processo de migração se concentra principalmente em metadados personalizados, uso da API e padrões da interface do usuário.

Confira a seguir os principais pontos a serem considerados ao migrar.

Entenda a mudança

O Knowledge Catalog oferece recursos aprimorados para gerenciamento, governança e descoberta de metadados em comparação com o Data Catalog. O Knowledge Catalog usa uma API diferente (a API Knowledge Catalog) e tem um modelo de dados ligeiramente diferente. Por exemplo, o Knowledge Catalog usa aspectos e tipos de aspectos em vez de tags e modelos de tags.

Avaliar o uso atual do catálogo de dados

  • Sem metadados personalizados: se você usou o Knowledge Catalog apenas para a ingestão e descoberta automáticas de metadados padrão do BigQuery sem criar tags, modelos de tags, entradas personalizadas ou grupos de entradas, a transição é direta. Você pode começar a usar a interface do Knowledge Catalog imediatamente.
  • Metadados personalizados ou uso programático: se você criou tags ou modelos personalizados, entradas personalizadas ou usa a API Data Catalog, bibliotecas de cliente, comandos da Google Cloud CLI ou Terraform, será necessária uma transição mais estruturada.

Considerações específicas do BigQuery

  • Ingestão automática: os metadados técnicos de recursos do BigQuery (conjuntos de dados, tabelas, visualizações, modelos e rotinas) continuam sendo ingeridos automaticamente no Knowledge Catalog, como eram com o Dataplex Universal Catalog.
  • Tags de políticas: as tags de políticas usadas para o controle de acesso no nível da coluna do BigQuery não são descontinuadas, e o gerenciamento delas permanece no BigQuery.
  • Linhagem: a linhagem de dados para operações do BigQuery é exibida no Knowledge Catalog. Para mais informações sobre a linhagem de dados, consulte Rastrear a linhagem de dados de uma tabela do BigQuery.

Siga o guia de transição

Para migrar para o Knowledge Catalog, siga as etapas em Fazer a transição do Data Catalog para o Knowledge Catalog.

Para atualizar fluxos de trabalho programáticos para a API Knowledge Catalog, consulte Mapear métodos da API Data Catalog para o Knowledge Catalog.

A seguir

Saiba mais sobre o Knowledge Catalog: