Usar insights de dados para dados estruturados

Neste documento, explicamos como gerar, visualizar e gerenciar insights de dados para seus dados estruturados. Usar insights de dados com tecnologia de IA ajuda a acelerar a análise de dados gerando automaticamente descrições, gráficos de relacionamento e consultas SQL com base nos metadados da tabela e do conjunto de dados.

No BigQuery Studio, é possível gerar insights de dados para conjuntos de dados, tabelas, visualizações, tabelas do BigLake e tabelas externas do BigQuery.

No Knowledge Catalog, é possível gerar insights de dados para tabelas do BigLake e do catálogo REST do Iceberg.

Antes de começar

Antes de usar os insights de dados, verifique se você concluiu os seguintes pré-requisitos:

Funções exigidas

Para receber as permissões necessárias para usar insights de dados, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar os insights de dados. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para usar insights de dados:

  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Ativar APIs

Para usar insights de dados, ative as seguintes APIs no seu projeto:

  • API Dataplex
  • API BigQuery
  • API Gemini para Google Cloud.

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

Ativar as APIs

Para mais informações sobre como ativar a API Gemini para Google Cloud, consulte Ativar a API Gemini para Google Cloud em um Google Cloud projeto.

Preparar dados

Para tabelas do BigLake, verifique se os dados estão no Cloud Storage e se uma tabela do BigLake foi criada.

Para tabelas do catálogo REST do Iceberg, verifique se elas estão registradas no metastore do BigLake.

Gerar insights no BigQuery

Os insights de dados para conjuntos de dados, tabelas, visualizações, tabelas do BigLake e tabelas externas do BigQuery são gerados usando o Gemini no BigQuery e só podem ser gerados no BigQuery Studio.

Primeiro, configure o Gemini no BigQuery e gere insights. Depois de gerar insights, você pode conferir e modificar no Knowledge Catalog.

Para mais informações sobre como gerar insights no BigQuery, consulte os seguintes documentos:

Gerar insights para tabelas do catálogo REST do Iceberg

  1. No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Em Filtros, selecione BigLake.

  3. Selecione a tabela do catálogo REST do Iceberg para gerar insights.

  4. Clique na guia Insights. Se a guia estiver vazia, isso significa que os insights da tabela ainda não foram gerados.

  5. Para gerar insights e anexá-los permanentemente à tabela como aspectos, clique em Gerar e publicar. Isso torna os insights indexáveis, pesquisáveis e visíveis para outros usuários na sua organização no Knowledge Catalog.

    Para gerar insights e visualizá-los temporariamente durante a sessão atual, clique em Gerar sem publicar. Use essa opção se você só precisar de uma análise rápida dos dados sem salvar os metadados no Knowledge Catalog.

    Para mais informações sobre as diferenças entre os modos Gerar e publicar e Gerar sem publicar, consulte Modos para gerar insights de dados.

  6. Selecione uma região para gerar insights e clique em Gerar.

    Leva alguns minutos para que os insights sejam preenchidos.

  7. Clique na guia Insights e analise o seguinte:

    • Descrições: são os resumos gerados com IA que explicam a finalidade da tabela e detalham colunas específicas.
    • Exemplos de consultas: é a lista de consultas SQL personalizadas projetadas especificamente para o esquema e o conteúdo do seu conjunto de dados.

  8. Para conferir a consulta SQL que responde a uma pergunta, clique nela.

Analisar os insights gerados para um recurso

Para conferir os insights gerados de um recurso, siga estas etapas:

  1. No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Pesquise o recurso para o qual você quer ver insights.

  3. Nos resultados da pesquisa, clique no recurso para abrir a página de detalhes da entrada.

  4. Analise as Descrições e Consultas geradas para o recurso selecionado.

  5. Para ver os gráficos de relacionamento e entender como os pontos de dados se conectam, clique na guia Relacionamentos (prévia). Só é possível ver relações no nível da tabela, não no nível do conjunto de dados.

Gerenciar insights da tabela

Depois de gerar e publicar insights de tabela, você pode revisar e gerenciar esses dados como aspectos de metadados no Knowledge Catalog. Os insights no nível da tabela incluem descrições de tabelas e colunas, além de exemplos de consultas.

Atualizar as descrições geradas de uma tabela

Só é possível atualizar as descrições de tabelas e colunas usando a API Dataplex. Para fazer isso, use o método entries.patch.

Atualizar consultas geradas para uma tabela

É possível atualizar as consultas geradas para uma tabela usando o console Google Cloud e a API Dataplex.

Console

  1. Pesquise a tabela em que você quer atualizar as consultas geradas.

  2. Nos resultados da pesquisa, clique na tabela para abrir a página de detalhes da entrada.

  3. Na seção Consultas, clique em Editar.

  4. Atualize a descrição da consulta conforme necessário.

  5. Gerenciar a propriedade: por padrão, a Origem é definida como Agente. Se você modificar uma consulta e mudar a origem para Usuário, as gerações de insights subsequentes não vão substituir suas mudanças. Se a Origem permanecer Agente, a consulta poderá ser substituída durante uma regeneração.

  6. Gerenciar substituições: para evitar que todas as consultas sejam substituídas durante uma nova execução, defina a opção Gerenciado pelo usuário como Verdadeiro. Isso se aplica a todo o conjunto de consultas para esse aspecto de metadados, garantindo que nenhuma mudança manual seja perdida.

REST

Para atualizar consultas de uma tabela, use o método entries.patch.

Atualizar relações geradas para uma tabela

Só é possível atualizar relacionamentos usando a API Dataplex. Para fazer isso, use o método entries.patch.

Gerenciar insights do conjunto de dados

Os insights no nível do conjunto de dados se concentram em descrições de alto nível e consultas em todo o conjunto de dados.

Atualizar descrições geradas para um conjunto de dados

Só é possível atualizar as descrições de conjuntos de dados usando a API Dataplex. Para fazer isso, use o método entries.patch.

Atualizar consultas geradas para um conjunto de dados

É possível atualizar as consultas geradas para um conjunto de dados usando o console Google Cloud e a API Dataplex.

Console

  1. Pesquise o conjunto de dados para o qual você quer atualizar as consultas geradas.

  2. Nos resultados da pesquisa, clique no conjunto de dados para abrir a página de detalhes da entrada.

  3. Na seção Consultas, clique em Editar.

  4. Atualize a descrição conforme necessário.

  5. Gerenciar a propriedade: por padrão, a Origem é definida como Agente. Se você modificar uma consulta e mudar a origem para Usuário, as gerações de insights subsequentes não vão substituir suas mudanças. Se a Origem permanecer Agente, a consulta poderá ser substituída durante uma regeneração.

  6. Gerenciar substituições: para evitar que todas as consultas sejam substituídas durante uma nova execução, defina a opção Gerenciado pelo usuário como Verdadeiro. Isso se aplica a todo o conjunto de consultas para esse aspecto de metadados, garantindo que nenhuma mudança manual seja perdida.

REST

Para atualizar consultas de um conjunto de dados, use o método entries.patch.

A seguir