Ver relações de dados no Knowledge Catalog

O Knowledge Catalog (antigo Dataplex Universal Catalog) descobre possíveis links entre recursos de dados, ajudando você a descobrir os dados relacionados e entender a natureza do relacionamento.

Antes de começar

Antes de visualizar as relações entre recursos de dados, verifique se você tem os papéis necessários.

Funções exigidas

Para visualizar as relações entre recursos de dados no Knowledge Catalog, você não precisa de nenhum papel do IAM específico do Knowledge Catalog. O Knowledge Catalog usa suas permissões atuais nos sistemas de origem em que os recursos residem, como o BigQuery, para determinar sua capacidade de visualizar relações. Por exemplo, para visualizar relações que envolvem uma tabela do BigQuery, você precisa da permissão bigquery.tables.get.

Se você não tiver permissão para visualizar um recurso no sistema de origem, o gráfico de relações do Knowledge Catalog vai ocultar todas as relações que envolvem esse recurso. Isso garante que a visibilidade da relação esteja em conformidade com os limites de segurança e as permissões estabelecidas nos sistemas de origem.

Sobre as relações de dados

As relações de dados ilustram como os recursos de dados se conectam. Por exemplo, se você encontrar uma tabela com dados de clientes, as relações dela poderão revelar tabelas relacionadas que listam pedidos ou tíquetes de suporte. Além disso, as relações atuam como um guia estrutural, fornecendo contexto essencial para modelos de linguagem grandes. Como resultado, a IA gera respostas mais precisas, formulando consultas exatas para recuperar informações específicas.

O Knowledge Catalog descobre e armazena automaticamente relações comuns entre os recursos de dados. Os dados de relacionamento têm origem em várias fontes, como as seguintes:

  • Logs de consultas históricas do Knowledge Catalog que analisam continuamente o histórico de consultas para detectar possíveis padrões JOIN entre tabelas.
  • Insights de dados sugerem relações de dados sob demanda, analisando atributos de esquema e sobreposições de dados usando modelos de linguagem grandes.

Recursos de dados compatíveis

É possível visualizar relações de dados para tabelas e visualizações do BigQuery.

Visualizar relações de dados

Para visualizar relações de dados para tabelas e visualizações do BigQuery, use Google Cloud o console ou a API Dataplex.

Console

Para visualizar relações de dados de uma tabela no BigQuery, faça o seguinte:

  1. No Google Cloud console, acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Pesquise uma tabela do BigQuery para a qual você quer visualizar relações.

  3. Nos resultados da pesquisa, clique no nome da tabela para abrir a página de entrada.

  4. Acesse a guia Relações para visualizar as seguintes informações sobre cada relação de dados:

    • Destino: o nome do recurso de dados conectado.
    • Relação: as colunas específicas usadas para vincular os recursos.
    • Tipo:a natureza do link. Por exemplo, as junções e relações frequentes descobertas por insights de dados aparecem como JOIN.

    • Origem:a origem da relação.

      • Query history é a origem de junções frequentes.
      • Data insights é a origem das relações descobertas por insights de dados.

    • Ação:uma consulta de amostra que pode ser usada para descobrir o link entre os recursos.

REST

As relações descobertas são armazenadas no Knowledge Catalog como EntryLinks que estabelecem uma relação entre dois recursos de dados (entradas) no Knowledge Catalog. Os detalhes sobre a relação, como as colunas unidas e a origem da relação, são armazenados como aspectos de EntryLinks.

Para visualizar relações de dados, use os seguintes métodos:

  • LookupEntryLinks recupera todos os EntryLinks que referenciam uma entrada de dados específica como origem ou destino para retornar o conjunto completo de relações associadas a uma determinada entrada.

  • LookupContext fornece um único endpoint para fundamentar agentes de IA com metadados contextuais. Ele retorna um pacote conciso e pré-formatado de metadados, incluindo recursos de dados relacionados.

Locais

É possível usar relações de dados em todos os locais do BigQuery.

Limitações

  • O Knowledge Catalog analisa uma amostra do histórico de consultas para identificar relações, o que significa que algumas consultas podem não levar à descoberta de links.
  • A descoberta de relações pode levar até 72 horas após a execução da consulta.

A seguir