Gerar insights do conjunto de dados

Os insights de dados ajudam a entender as relações entre tabelas em conjuntos de dados do BigQuery e namespaces do Apache Iceberg. Para isso, eles descobrem e visualizam relações entre tabelas em um gráfico, identificam relações definidas por esquema, baseadas em uso ou inferidas por IA e geram consultas de amostra entre tabelas.

Para uma visão geral dos insights de tabelas e conjuntos de dados, consulte Visão geral dos insights de dados.

Modos para gerar insights de conjuntos de dados

Ao gerar insights de conjuntos de dados, o BigQuery oferece dois modos:

Modo Descrição Uso
Gerar e publicar

Mantém os insights gerados do conjunto de dados no Knowledge Catalog como aspectos e relações de metadados. Você precisa ter as permissões necessárias para publicar. Quando você usa Gerar e publicar, o BigQuery faz o seguinte:

  • Armazena a descrição do conjunto de dados no Knowledge Catalog.
  • Captura consultas e perguntas sugeridas como aspectos reutilizáveis.
  • Captura relacionamentos como metadados no Knowledge Catalog.
  • Permite que os usuários com acesso adequado ao Knowledge Catalog visualizem insights publicados, garantindo o compartilhamento de conhecimento organizacional.
  • Permite editar e salvar descrições diretamente no Knowledge Catalog usando a API. É possível editar as consultas sugeridas usando o console do Google Cloud .

Use esse modo para documentação de dados em toda a empresa que seja persistente e reutilizável ou ao criar fluxos de trabalho de governança orientados por catálogo.
Gerar sem publicar

Cria insights de conjuntos de dados, como descrições, perguntas em linguagem natural, relações e consultas SQL sob demanda. A opção Gerar sem publicar não publica insights no Knowledge Catalog.

Use esse modo para uma análise rápida e ad hoc para evitar sobrecarregar o catálogo.

Antes de começar

Os insights de dados são gerados usando o Gemini no BigQuery. Para começar a gerar insights, primeiro você precisa configurar o Gemini no BigQuery.

Ativar APIs

Para usar insights de dados, ative as seguintes APIs no seu projeto: API Dataplex, API BigQuery e API Gemini para Google Cloud.

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar as APIs

Para mais informações sobre como ativar a API Gemini para Google Cloud, consulte Ativar a API Gemini para Google Cloud em um projeto do Google Cloud .

Concluir uma verificação do perfil de dados

Para melhorar a qualidade dos insights, gere uma verificação do perfil de dados para as tabelas no conjunto de dados.

Funções exigidas

Para receber as permissões necessárias para gerar, gerenciar e recuperar insights de conjuntos de dados, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Para conferir as permissões exatas necessárias para gerar insights, abra a seção Permissões necessárias:

Permissões necessárias

  • bigquery.datasets.get: ler metadados do conjunto de dados
  • bigquery.jobs.create: criar jobs
  • bigquery.jobs.listAll: listar todos os jobs no projeto
  • bigquery.tables.get: receber metadados da tabela
  • bigquery.tables.getData: receber dados e metadados da tabela
  • dataplex.datascans.create: criar recurso de verificação de dados
  • dataplex.datascans.get: ler metadados de recursos de verificação de dados
  • dataplex.datascans.getData: ler os resultados da execução da verificação de dados
  • dataplex.datascans.run: executar verificação de dados sob demanda
  • dataplex.entryGroups.useSchemaJoinEntryLink: use links de entrada schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: usar aspectos de mesclagem de esquema
  • dataplex.entryLinks.create: criar links de entrada
  • dataplex.entryLinks.update: atualizar links de entrada
  • dataplex.entryLinks.delete: excluir links de entrada
  • dataplex.entries.link: vincular entradas
  • dataplex.entries.update: atualizar entradas
  • dataplex.entryGroups.useDescriptionsAspect: use aspectos de descrição
  • dataplex.entryGroups.useQueriesAspect: usar aspectos de consulta

Gerar insights do conjunto de dados

Console

  1. No Google Cloud console, acesse o BigQuery Studio.

    Acessar o BigQuery Studio

  2. No painel Explorer, selecione o projeto e o conjunto de dados para os quais você quer gerar insights gerados. Para namespaces do Iceberg, selecione o conjunto de dados que representa o namespace do catálogo.

  3. Clique na guia Insights.

  4. Para gerar insights e publicá-los no Knowledge Catalog, clique em Gerar e publicar.

    Para gerar insights sem publicá-los no Knowledge Catalog, clique em Gerar sem publicar.

    Para mais informações sobre as diferenças entre os modos Gerar e publicar e Gerar sem publicar, consulte Modos para gerar insights de conjuntos de dados.

  5. Se o conjunto de dados estiver em uma multirregião, talvez seja necessário selecionar uma região para gerar insights. Selecione uma região correspondente à multirregião onde a verificação de insights será criada.

    Leva alguns minutos para que os insights sejam preenchidos. A qualidade dos insights melhora se as tabelas no conjunto de dados tiverem resultados de criação de perfil de dados.

Depois que os insights são gerados, o BigQuery exibe uma descrição do conjunto de dados, um gráfico de relacionamento, uma tabela de relacionamento e exemplos de consultas entre tabelas.

REST

Para gerar insights de forma programática, use a API DataScans do Knowledge Catalog. Para isso, siga as seguintes etapas:

  1. Gerar uma verificação de documentação de dados para o conjunto de dados do BigQuery
  2. Verificar o status do scanner de documentos
  3. Verificar a publicação no Knowledge Catalog

Gerar uma verificação de documentação de dados para o conjunto de dados do BigQuery

  1. Crie uma verificação de documentação de dados usando o método dataScans.create. Se quiser, publique esses insights no Knowledge Catalog definindo o parâmetro catalog_publishing_enabled como true.

    Exemplo:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Substitua:

    • PROJECT_ID: o ID do projeto do Google Cloud em que o conjunto de dados reside.
    • LOCATION: a região em que a verificação de dados é executada.
    • DATASCAN_ID: um nome exclusivo que você fornece para esta verificação
    • DATASET_ID: o ID do conjunto de dados do BigQuery que está sendo verificado.

  2. Inicie o job de verificação de documentação de dados usando o método dataScans.run.

    Exemplo:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Essa solicitação retorna um ID da tarefa exclusivo com o estado inicial.

Verificar o status do scanner de documentos

Verifique a conclusão da execução do job de verificação usando o método dataScans.get. Para recuperar os resultados completos, incluindo os insights e o status de publicação, defina o parâmetro view como FULL.

Use o ID da tarefa para buscar o status dela. Exemplo:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

O job é concluído quando o status é SUCCEEDED ou FAILURE.

Uma resposta de job bem-sucedida contém os insights gerados no campo dataDocumentationResult.

Verificar a publicação no Knowledge Catalog

Se catalog_publishing_enabled for definido como true, os insights serão publicados no Knowledge Catalog de forma assíncrona após a conclusão do job de verificação de dados. Para verificar se os insights foram mantidos, use a API Dataplex para inspecionar os aspectos do conjunto de dados.

Embora os insights sejam gerados com base na verificação de dados no nível do conjunto de dados, os links de entrada resultantes são armazenados entre as tabelas que eles conectam. Para verificar essas relações, use o método lookupEntryLinks para recuperar os links de entrada associados a uma entrada de tabela específica.

Para recuperar metadados do conjunto de dados do BigQuery, use o método entries.get. Para incluir todos os aspectos, defina o parâmetro view como FULL. Exemplo:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Substitua:

  • PROJECT_ID: o ID do projeto do Google Cloud em que a verificação de dados foi configurada
  • LOCATION: a região em que o grupo de entrada reside.
  • DATASET_PROJECT_ID: o ID do projeto do Google Cloud em que o conjunto de dados do BigQuery reside.
  • DATASET: o ID do conjunto de dados do BigQuery.

Se a publicação no Knowledge Catalog for bem-sucedida, os seguintes aspectos serão anexados ao conjunto de dados do BigQuery:

  • Descrições: contém descrições do conjunto de dados geradas com IA.
  • Consultas: contém consultas SQL relevantes relacionadas ao conjunto de dados.
  • Relacionamentos: mantidos como links de entrada entre as tabelas presentes no conjunto de dados

Visualizar e salvar a descrição do conjunto de dados

O Gemini gera uma descrição em linguagem natural do conjunto de dados, resumindo os tipos de tabelas que ele contém e o domínio de negócios que ele representa. Para salvar essa descrição nos metadados do conjunto de dados, clique em Salvar nos detalhes.

É possível editar a descrição antes de salvar os detalhes.

Analisar o gráfico de relacionamento

O gráfico Relacionamentos fornece uma representação visual de como as tabelas no conjunto de dados se relacionam entre si. Ele mostra as 10 tabelas mais conectadas como nós, com linhas que representam as relações entre elas.

  • Para ver detalhes do relacionamento, como as colunas que unem duas tabelas, passe o cursor sobre a aresta que conecta os nós da tabela.
  • Para reorganizar o gráfico e melhorar a visibilidade, arraste os nós da tabela.

Usar a tabela de relacionamento

A tabela de relações lista as relações descobertas em um formato tabular. Cada linha representa uma relação entre duas tabelas, mostrando a tabela e a coluna de origem e a tabela e a coluna de destino. A coluna Origem indica como a relação foi determinada:

  • Inferido pelo LLM. Relações inferidas pelo Gemini, com base em nomes e descrições de tabelas e colunas no conjunto de dados.
  • Com base no uso. Relações extraídas de registros de consulta, com base em mesclagens frequentes.
  • Definido pelo esquema. Relações derivadas de mapeamentos de chaves primárias e externas no esquema da tabela.

É possível filtrar as relações de uma tabela específica ou dar feedback sobre a qualidade das relações detectadas. Para exportar a descrição e as relações do conjunto de dados gerado para um arquivo JSON, clique em Exportar para JSON.

Usar recomendações de consulta

Com base nas relações descobertas, o Gemini gera consultas de amostra. São perguntas em linguagem natural com consultas SQL correspondentes que mesclam várias tabelas no conjunto de dados.

  1. Para ver uma consulta SQL, clique em uma pergunta.

  2. Para abrir a consulta no editor de consultas do BigQuery, clique em Copiar para consulta. Em seguida, execute ou modifique a consulta.

  3. Para fazer uma pergunta complementar, clique em Fazer uma pergunta complementar, que abre uma tela de dados sem título em que você pode conversar com o Gemini para analisar seus dados.

Gerenciar insights gerados

Depois de gerar insights para um conjunto de dados, é possível gerenciá-los, atualizá-los ou excluí-los no Knowledge Catalog. Para mais informações, consulte Gerenciar insights do conjunto de dados.

A seguir