Ver relações de dados no Knowledge Catalog

O Knowledge Catalog (antigo Dataplex Universal Catalog) descobre possíveis links entre recursos de dados, ajudando você a descobrir os dados relacionados e entender a natureza do relacionamento.

Antes de começar

Antes de visualizar os relacionamentos entre recursos de dados, verifique se você recebeu os papéis necessários.

Funções exigidas

Para visualizar relacionamentos entre recursos de dados no Knowledge Catalog, você não precisa de papéis do IAM específicos do Knowledge Catalog. O Knowledge Catalog usa suas permissões atuais nos sistemas de origem em que os recursos residem, como o BigQuery, para determinar sua capacidade de visualizar relacionamentos. Por exemplo, para visualizar relacionamentos que envolvem uma tabela do BigQuery, você precisa da permissão bigquery.tables.get.

Se você não tiver permissão para visualizar um recurso no sistema de origem, todos os relacionamentos que envolvem esse recurso serão ocultos no gráfico de relacionamentos do Knowledge Catalog. Isso garante que a visibilidade do relacionamento siga os limites de segurança e as permissões estabelecidas nos sistemas de origem.

Sobre relacionamentos de dados

Os relacionamentos de dados ilustram como os recursos de dados se conectam. Por exemplo, se você localizar uma tabela com dados do cliente, os relacionamentos dela poderão revelar tabelas relacionadas que listam pedidos ou tíquetes de suporte. Além disso, os relacionamentos atuam como um guia estrutural, fornecendo contexto essencial para modelos de linguagem grandes. Como resultado, a IA gera respostas mais precisas, formulando consultas exatas para recuperar informações específicas.

O Knowledge Catalog descobre e armazena automaticamente relacionamentos comuns entre os recursos de dados. Os dados de relacionamento se originam de várias fontes, como as seguintes:

  • Logs de consultas históricas do Knowledge Catalog que analisam continuamente o histórico de consultas para detectar possíveis padrões JOIN entre tabelas.
  • Os insights de dados sugerem relacionamentos de dados sob demanda, analisando atributos de esquema e sobreposições de dados usando modelos de linguagem grandes.

Recursos de dados compatíveis

É possível visualizar relacionamentos de dados para tabelas e visualizações do BigQuery.

Visualizar relacionamentos de dados

Para visualizar relacionamentos de dados para tabelas e visualizações do BigQuery, use Google Cloud o console ou a API Dataplex.

Console

Para visualizar relacionamentos de dados de uma tabela no BigQuery, faça o seguinte:

  1. No Google Cloud console, acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Pesquise uma tabela do BigQuery para a qual você quer visualizar relacionamentos.

  3. Nos resultados da pesquisa, clique na tabela para abrir a página de entrada.

A guia Relacionamentos lista os relacionamentos com as seguintes informações:

  • Destino: o nome do recurso de dados conectado.
  • Relacionamento: as colunas específicas usadas para vincular os recursos.
  • Tipo:a natureza do link. Por exemplo, JOIN.
  • Origem:a origem do relacionamento. Por exemplo, histórico de consultas.
  • Ação:uma consulta de amostra que pode ser usada para descobrir o link entre os recursos.

REST

Os relacionamentos descobertos são armazenados no Knowledge Catalog como EntryLinks que estabelecem um relacionamento entre dois recursos de dados (entradas) no Knowledge Catalog. Os detalhes sobre o relacionamento, como as colunas unidas e a origem do relacionamento, são armazenados como aspectos de EntryLinks.

Para visualizar relacionamentos de dados, use os seguintes métodos:

  • LookupEntryLinks recupera todos os EntryLinks que referenciam uma entrada de dados específica como origem ou destino para retornar o conjunto completo de relacionamentos associados a uma determinada entrada.

  • LookupContext fornece um único endpoint para fundamentar agentes de IA com metadados contextuais. Ele retorna um pacote conciso e pré-formatado de metadados, incluindo recursos de dados relacionados.

Locais

É possível usar relacionamentos de dados em todos os locais do BigQuery.

Limitações

  • A descoberta automática de relacionamentos de registros de consulta está disponível apenas para tabelas e visualizações do BigQuery.
  • O Knowledge Catalog analisa uma amostra do histórico de consultas para identificar relacionamentos, o que significa que algumas consultas podem não levar à descoberta de links.
  • A descoberta de relacionamentos pode levar até 48 horas após a execução da consulta.

A seguir