Gerar insights do conjunto de dados

Neste documento, descrevemos como gerar insights de conjuntos de dados para conjuntos de dados do BigQuery. Com os insights de conjunto de dados, você entende as relações entre tabelas em um conjunto de dados gerando gráficos de relacionamento e consultas entre tabelas.

Com os insights de conjunto de dados, você acelera a análise de conjuntos de dados com várias tabelas. Isso porque eles descobrem e visualizam automaticamente as relações entre tabelas em um gráfico, identificam relações de chave primária e externa e geram exemplos de consultas entre tabelas. Isso é útil para entender a estrutura de dados sem documentação, descobrir relações entre tabelas definidas por esquema, baseadas em uso ou inferidas por IA e gerar consultas complexas que combinam várias tabelas.

Para uma visão geral das informações sobre tabelas e conjuntos de dados, consulte Visão geral das informações de dados.

Modos para gerar insights de conjunto de dados

Ao gerar insights de conjuntos de dados, o BigQuery oferece dois modos:

Modo Descrição Uso
Gerar e publicar

Persiste insights gerados do conjunto de dados no Knowledge Catalog como aspectos e relações de metadados. Você precisa ter as permissões necessárias para publicar. Quando você usa a opção Gerar e publicar, o BigQuery faz o seguinte:

  • Armazena a descrição do conjunto de dados no Knowledge Catalog.
  • Captura consultas e perguntas sugeridas como aspectos reutilizáveis.
  • Captura relacionamentos como metadados no Knowledge Catalog.
  • Torna os insights publicados acessíveis a todos os usuários que têm acesso adequado ao Knowledge Catalog, garantindo o conhecimento organizacional compartilhado.
  • Permite editar e salvar descrições diretamente no Knowledge Catalog usando a API. É possível editar as consultas sugeridas usando o console do Google Cloud .

Use esse modo para documentação de dados em toda a empresa que persista e seja reutilizável ou ao criar fluxos de trabalho de governança orientados por catálogo.
Gerar sem publicar

Cria insights de conjuntos de dados, como descrições, perguntas em linguagem natural, relações e consultas SQL sob demanda. A opção Gerar sem publicar não publica insights no Knowledge Catalog.

Use esse modo para uma análise rápida e ad hoc e evite poluir o catálogo.

Antes de começar

Os insights de dados são gerados usando o Gemini no BigQuery. Para começar a gerar insights, primeiro você precisa configurar o Gemini no BigQuery.

Ativar APIs

Para usar insights de dados, ative as seguintes APIs no seu projeto: API Dataplex, API BigQuery e API Gemini para Google Cloud.

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão com o papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar as APIs

Para mais informações sobre como ativar a API Gemini para Google Cloud, consulte Ativar a API Gemini para Google Cloud em um Google Cloud projeto.

Concluir uma verificação do perfil de dados

Para melhorar a qualidade dos insights, gere uma verificação do perfil de dados para as tabelas no seu conjunto de dados.

Funções exigidas

Para receber as permissões necessárias para gerar, gerenciar e recuperar insights de conjuntos de dados, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Para conferir as permissões exatas necessárias para gerar insights, abra a seção Permissões necessárias:

Permissões necessárias

  • bigquery.datasets.get: ler metadados do conjunto de dados
  • bigquery.jobs.create: criar jobs
  • bigquery.jobs.listAll: lista todos os jobs no projeto
  • bigquery.tables.get: receber metadados da tabela
  • bigquery.tables.getData: receber dados e metadados da tabela
  • dataplex.datascans.create: criar recurso DataScan
  • dataplex.datascans.get: ler metadados de recursos DataScan
  • dataplex.datascans.getData: ler os resultados da execução do DataScan
  • dataplex.datascans.run: executar o DataScan sob demanda
  • dataplex.entryGroups.useSchemaJoinEntryLink: usar links de entrada schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: usar aspectos de junção de esquema
  • dataplex.entryLinks.create: criar links de entrada
  • dataplex.entryLinks.update: atualizar links de entrada
  • dataplex.entryLinks.delete: excluir links de entrada
  • dataplex.entries.link: entradas de link
  • dataplex.entries.update: atualizar entradas
  • dataplex.entryGroups.useDescriptionsAspect: usar aspectos de descrição
  • dataplex.entryGroups.useQueriesAspect: usar aspectos de consulta

Gerar insights do conjunto de dados

Console

  1. No Google Cloud console, acesse o BigQuery Studio.

    Acessar o BigQuery Studio

  2. No painel Explorador, selecione o projeto e o conjunto de dados para gerar insights.

  3. Clique na guia Insights.

  4. Para gerar insights e publicá-los no Knowledge Catalog, clique em Gerar e publicar.

    Para gerar insights sem publicá-los no Knowledge Catalog, clique em Gerar sem publicar.

    Para mais informações sobre as diferenças entre os modos Gerar e publicar e Gerar sem publicar, consulte Modos para gerar insights de conjuntos de dados.

  5. Se o conjunto de dados estiver em uma multirregião, talvez seja necessário selecionar uma região para gerar insights. Selecione uma região correspondente à multirregião em que a análise de insights será criada.

    Leva alguns minutos para que os insights sejam preenchidos. A qualidade dos insights melhora se as tabelas no conjunto de dados tiverem resultados de criação de perfil de dados.

Depois que os insights são gerados, o BigQuery mostra uma descrição do conjunto de dados, um gráfico e uma tabela de relações e exemplos de consultas entre tabelas.

REST

Para gerar insights de maneira programática, use a API DataScans do Knowledge Catalog. Para isso, siga as seguintes etapas:

  1. Gerar uma verificação de dados de documentação de dados para o conjunto de dados do BigQuery
  2. Verificar o status da verificação da documentação de dados
  3. Verificar a publicação no Knowledge Catalog

Gerar uma verificação de dados de documentação de dados para o conjunto de dados do BigQuery

  1. Crie uma verificação de dados de documentação de dados usando o método dataScans.create. Se quiser, publique esses insights no Knowledge Catalog definindo o parâmetro catalog_publishing_enabled como true.

    Exemplo:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Substitua:

    • PROJECT_ID: o ID do seu projeto Google Cloud em que o conjunto de dados está localizado
    • LOCATION: a região em que a verificação de dados é executada.
    • DATASCAN_ID: um nome exclusivo que você fornece para essa verificação
    • DATASET_ID: o ID do conjunto de dados do BigQuery que está sendo verificado

  2. Inicie o job de verificação da documentação de dados usando o método dataScans.run.

    Exemplo:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Essa solicitação retorna um ID de job exclusivo e o estado inicial.

Verificar o status da verificação da documentação de dados

Verifique a conclusão da execução do job de verificação usando o método dataScans.get. Para recuperar os resultados completos, incluindo os insights e o status de publicação, defina o parâmetro view como FULL.

Use o ID do job para buscar o status dele. Exemplo:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

O job é concluído quando o status é SUCCEEDED ou FAILURE.

Uma resposta de job bem-sucedida contém os insights gerados no campo dataDocumentationResult.

Verificar a publicação no Knowledge Catalog

Se catalog_publishing_enabled estiver definido como true, os insights serão publicados no Knowledge Catalog de forma assíncrona após a conclusão do job de verificação de dados. Para verificar se os insights foram mantidos, use a API Dataplex para inspecionar os aspectos do conjunto de dados.

Embora os insights sejam gerados com base na verificação de dados no nível do conjunto de dados, as entradas de link resultantes são armazenadas entre as tabelas que elas conectam. Para verificar essas relações, use o método lookupEntryLinks para recuperar os links de entrada associados a uma entrada de tabela específica.

Para recuperar metadados do seu conjunto de dados do BigQuery, use o método entries.get. Para incluir todos os aspectos, defina o parâmetro view como FULL. Exemplo:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Substitua:

  • PROJECT_ID: o ID do seu projeto Google Cloud em que o DataScan foi configurado
  • LOCATION: a região em que o grupo de entradas reside.
  • DATASET_PROJECT_ID: o ID do projeto Google Cloud em que o conjunto de dados do BigQuery está localizado.
  • DATASET: o ID do conjunto de dados do BigQuery

Se a publicação no Knowledge Catalog for bem-sucedida, os seguintes aspectos serão anexados ao conjunto de dados do BigQuery:

  • Descrições: contém descrições do conjunto de dados geradas com IA
  • Consultas: contém consultas SQL relevantes relacionadas ao conjunto de dados.
  • Relacionamentos: persistidos como links de entrada entre as tabelas presentes no conjunto de dados

Ver e salvar a descrição do conjunto de dados

O Gemini gera uma descrição em linguagem natural do conjunto de dados, resumindo os tipos de tabelas que ele contém e o domínio de negócios que representa. Para salvar essa descrição nos metadados do conjunto de dados, clique em Salvar nos detalhes.

Você pode editar a descrição antes de salvar os detalhes.

Analisar o gráfico de relacionamento

O gráfico Relações oferece uma representação visual de como as tabelas no conjunto de dados se relacionam. Ele mostra as 10 tabelas mais conectadas como nós, com linhas representando as relações entre elas.

  • Para conferir detalhes da relação, como as colunas que unem duas tabelas, passe o cursor sobre a aresta que conecta os nós da tabela.
  • Para reorganizar o gráfico e melhorar a visibilidade, arraste os nós da tabela.

Usar a tabela de relacionamento

A tabela de relações lista as relações descobertas em um formato tabular. Cada linha representa uma relação entre duas tabelas, mostrando a tabela e a coluna de origem e a tabela e a coluna de destino. A coluna Origem indica como a relação foi determinada:

  • Inferido pelo LLM. Relações inferidas pelo Gemini com base em nomes e descrições de tabelas e colunas no conjunto de dados.
  • Com base no uso Relações extraídas de registros de consultas com base em junções frequentes.
  • Definido pelo esquema. Relacionamentos derivados de mapeamentos de chave primária e chave externa no esquema da tabela.

É possível filtrar as relações de uma tabela específica ou enviar feedback sobre a qualidade das relações detectadas. Para exportar a descrição e os relacionamentos do conjunto de dados gerado para um arquivo JSON, clique em Exportar para JSON.

Usar recomendações de consulta

Com base nas relações descobertas, o Gemini gera exemplos de consultas. São perguntas em linguagem natural com consultas SQL correspondentes que mesclam várias tabelas no conjunto de dados.

  1. Para ver uma consulta SQL, clique em uma pergunta.

  2. Para abrir a consulta no editor de consultas do BigQuery, clique em Copiar para consulta. Em seguida, execute ou modifique a consulta.

  3. Para fazer uma pergunta complementar, clique em Fazer uma pergunta complementar, que abre uma tela de dados sem título em que você pode conversar com o Gemini para analisar seus dados.

Gerenciar insights gerados

Depois de gerar insights para um conjunto de dados, é possível gerenciar, atualizar ou excluir no Knowledge Catalog. Para mais informações, consulte gerenciar insights de conjuntos de dados.

A seguir