Ver relações de dados no Knowledge Catalog

O Knowledge Catalog (antigo Dataplex Universal Catalog) descobre possíveis links entre recursos de dados, ajudando você a descobrir os dados relacionados e entender a natureza da relação.

Antes de começar

Antes de visualizar as relações entre recursos de dados, verifique se você tem as funções necessárias.

Funções exigidas

Para ver as relações entre recursos de dados no Knowledge Catalog, não é necessário ter papéis do IAM específicos para ele. O Knowledge Catalog usa suas permissões nos sistemas de origem em que os recursos estão localizados, como o BigQuery, para determinar sua capacidade de ver relacionamentos. Por exemplo, para ver relações envolvendo uma tabela do BigQuery, você precisa da permissão bigquery.tables.get.

Se você não tiver permissão para acessar um recurso no sistema de origem, o gráfico de relacionamentos do Knowledge Catalog vai ocultar todos os relacionamentos que envolvem esse recurso. Isso garante que a visibilidade do relacionamento siga os limites de segurança e as permissões estabelecidos nos sistemas de origem.

Sobre as relações de dados

As relações de dados ilustram como os recursos de dados se conectam. Por exemplo, se você encontrar uma tabela com dados do cliente, as relações dela podem revelar tabelas relacionadas com pedidos ou tíquetes de suporte. Além disso, as relações atuam como um guia estrutural, fornecendo contexto essencial para modelos de linguagem grandes. Como resultado, a IA gera respostas mais precisas, formulando consultas exatas para recuperar informações específicas.

O Knowledge Catalog descobre e armazena automaticamente relações comuns entre os recursos de dados. Os dados de relacionamento vêm de várias fontes, como:

  • O Knowledge Catalog registra consultas históricas que analisam continuamente o histórico de consultas para detectar possíveis padrões de JOIN entre tabelas.
  • Os insights de dados sugerem relações de dados sob demanda analisando atributos de esquema e sobreposições de dados usando modelos de linguagem grandes.

Recursos de dados compatíveis

É possível visualizar as relações de dados de tabelas e visualizações do BigQuery.

Ver relações de dados

Para ver as relações de dados de tabelas e visualizações do BigQuery, use o consoleGoogle Cloud ou a API Dataplex.

Console

Para conferir as relações de dados de uma tabela no BigQuery, faça o seguinte:

  1. No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Pesquise uma tabela do BigQuery para ver os relacionamentos.

  3. Nos resultados da pesquisa, clique no nome da tabela para abrir a página de entrada dela.

  4. Acesse a guia Relacionamentos para conferir as seguintes informações sobre cada relacionamento de dados:

    • Destino: o nome do recurso de dados conectado.
    • Relacionamento: as colunas específicas usadas para vincular os recursos.
    • Tipo:a natureza do link. Por exemplo, as junções frequentes e as relações descobertas por insights de dados aparecem como JOIN.

    • Origem:a origem da relação.

      • Query history é a origem das participações frequentes.
      • Data insights é a origem das relações descobertas por insights de dados.

    • Ação:uma consulta de exemplo que você pode usar para descobrir a relação entre os recursos.

REST

As relações descobertas são armazenadas no Knowledge Catalog como EntryLinks que estabelecem uma relação entre dois recursos de dados (entradas) no Knowledge Catalog. Os detalhes sobre a relação, como as colunas unidas e a origem da relação, são armazenados como aspectos de EntryLinks.

Para conferir as relações de dados, use os seguintes métodos:

  • LookupEntryLinks recupera todos os EntryLinks que referenciam uma entrada de dados específica como a origem ou o destino para retornar o conjunto completo de relações associadas a uma determinada entrada.

  • O LookupContext fornece um único endpoint para fundamentar agentes de IA com metadados contextuais. Ele retorna um pacote conciso e pré-formatado de metadados, incluindo ativos de dados relacionados.

Locais

É possível usar relações de dados em todos os locais do BigQuery.

Limitações

  • O Knowledge Catalog analisa uma amostra do histórico de consultas para identificar relações. Isso significa que algumas consultas podem não levar à descoberta de links.
  • A descoberta de relacionamentos pode levar até 72 horas após a execução da consulta.

A seguir