As relações de dados no Knowledge Catalog (antigo Dataplex Universal Catalog) permitem encontrar tabelas e visualizações relacionadas do BigQuery e inspecionar como elas se conectam. Em seguida, é possível analisar conjuntos de dados vinculados ou fornecer contexto estrutural aos agentes de IA para uma geração de consultas mais precisa.
Antes de começar
Antes de visualizar as relações entre os recursos de dados, verifique se você recebeu os papéis necessários.
Funções exigidas
Para conferir as relações entre os recursos de dados no Knowledge Catalog, não é necessário
ter papéis do IAM específicos do Knowledge Catalog.
O Knowledge Catalog usa suas permissões atuais nos sistemas de origem
em que os recursos estão, como o BigQuery, para determinar sua
capacidade de ver relacionamentos. Por exemplo, para ver as relações que envolvem uma
tabela do BigQuery, você precisa da permissão bigquery.tables.get.
Se você não tiver permissão para visualizar um recurso no sistema de origem, o gráfico de relações do Knowledge Catalog vai ocultar todas as relações que envolvem esse recurso. Isso garante que a visibilidade do relacionamento siga os limites de segurança e as permissões estabelecidos nos sistemas de origem.
Sobre as relações de dados
As relações de dados ilustram como os recursos de dados se conectam. Por exemplo, se você localizar uma tabela com dados do cliente, as relações dela poderão revelar tabelas relacionadas que listam pedidos ou tíquetes de suporte. Além disso, as relações atuam como um guia estrutural, fornecendo contexto essencial para modelos de linguagem grandes. Como resultado, a IA gera respostas mais precisas, formulando consultas precisas para recuperar informações específicas.
O Knowledge Catalog descobre e armazena automaticamente possíveis links e relações comuns entre recursos de dados, ajudando você a entender a natureza de cada conexão. Os dados de relacionamento são originados de várias fontes, como:
- Registros de consultas históricos do Knowledge Catalog que analisam continuamente o histórico de consultas para detectar possíveis padrões de
JOINentre tabelas. - Os insights de dados sugerem relações de dados sob demanda, analisando atributos de esquema e sobreposições de dados usando modelos de linguagem grandes.
Recursos de dados compatíveis
É possível conferir as relações de dados de tabelas e visualizações do BigQuery.
Ver relações de dados
Para ver as relações de dados de tabelas e visualizações do BigQuery, use o console doGoogle Cloud ou a API Dataplex.
Console
Para conferir as relações de dados de uma tabela no BigQuery, faça o seguinte:
No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.
Pesquise uma tabela do BigQuery para conferir as relações dela.
Nos resultados da pesquisa, clique no nome da tabela para abrir a página de entrada dela.
Acesse a guia Relacionamentos para conferir as seguintes informações sobre cada relacionamento de dados:
- Destino: o nome do recurso de dados conectado.
- Relacionamento: as colunas específicas usadas para vincular os recursos.
- Tipo:a natureza do link. Por exemplo, as junções frequentes e as relações descobertas por insights de dados aparecem como
JOIN. Origem:a origem da relação.
Query historyé a origem das participações frequentes.Data insightsé a origem das relações descobertas pelos insights de dados.
Ação:um exemplo de consulta que pode ser usado para descobrir o link entre os recursos.
REST
As relações descobertas são armazenadas no Knowledge Catalog como
EntryLinks
que estabelecem uma relação entre dois recursos de dados (entradas) no
Knowledge Catalog. Os detalhes sobre o relacionamento, como as
colunas mescladas e a origem do relacionamento, são armazenados como aspectos de
EntryLinks.
Para conferir as relações de dados, use os seguintes métodos:
LookupEntryLinksrecupera todas asEntryLinksque fazem referência a uma entrada de dados específica como origem ou destino para retornar o conjunto completo de relações associadas a uma determinada entrada.O
LookupContextoferece um único endpoint para embasamento de agentes de IA com metadados contextuais. Ele retorna um pacote conciso e pré-formatado de metadados, incluindo recursos de dados relacionados.
Locais
É possível usar relações de dados em todos os locais do BigQuery.
Limitações
- O Knowledge Catalog analisa uma amostra do histórico de consultas para identificar relações, o que significa que algumas consultas podem não levar à descoberta de links.
- A descoberta de relacionamentos pode levar até 72 horas após a execução da consulta.