Usar insights de dados para dados estruturados

Este documento explica como gerar, visualizar e gerenciar insights de dados estruturados. O uso de insights de dados com tecnologia de IA ajuda a acelerar a análise de dados, gerando automaticamente descrições, gráficos de relacionamento e consultas SQL com base nos metadados da tabela e do conjunto de dados.

No BigQuery Studio, é possível gerar insights de dados para conjuntos de dados , tabelas, visualizações, Google Cloud tabelas do BigLake, e tabelas externas do BigQuery.

No Knowledge Catalog, é possível gerar insights de dados para tabelas do Apache Iceberg gerenciadas pelo Lakehouse para Apache Iceberg do Google Cloud.

Antes de começar

Antes de usar os insights de dados, conclua os pré-requisitos a seguir:

Funções exigidas

Para receber as permissões que você precisa para usar os insights de dados, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Acesso somente leitura aos insights gerados: Leitor de dados do DataScan Dataplex (roles/dataplex.dataScanDataViewer) no projeto que contém o recurso
• Ler dados da tabela do Apache Iceberg: Leitor do BigLake (roles/biglake.viewer) no recurso
• Publicar descrições como aspectos: Editor de catálogo do Dataplex (roles/dataplex.catalogEditor) no recurso
• Publicar consultas como aspectos: Proprietário de entradas e links de entradas do Dataplex (roles/dataplex.entryOwner) no recurso

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar insights de dados. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar insights de dados:

• dataplex.datascans.create
• dataplex.datascans.get
• dataplex.datascans.getData
• dataplex.datascans.run

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Ativar APIs

Para usar insights de dados, ative as seguintes APIs no seu projeto:

• API Dataplex
• API BigQuery
• API Gemini para Google Cloud

Funções necessárias para ativar APIs

Para ativar APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar as APIs

Para mais informações sobre como ativar a API Gemini para o Google Cloud, consulte Ativar a API Gemini para o Google Cloud em um Google Cloud projeto.

Preparar dados

Para tabelas do Google Cloud Lakehouse, verifique se os dados estão no Cloud Storage e se você criou uma Google Cloud tabela do Lakehouse.

Para tabelas do catálogo REST do Iceberg, verifique se elas estão registradas no catálogo de ambiente de execução do Lakehouse.

Gerar insights no BigQuery

Os insights de dados para conjuntos de dados, tabelas, visualizações, Google Cloud tabelas do Lakehouse e tabelas externas do BigQuery são gerados usando o Gemini no BigQuery e só podem ser gerados no BigQuery Studio.

Primeiro, configure o Gemini no BigQuery, e gere insights. Depois de gerar insights, você pode visualizá-los e modificá-los no Knowledge Catalog.

Para mais informações sobre como gerar insights no BigQuery, consulte os seguintes documentos:

• Visão geral dos insights de dados
• Gerar insights de tabelas
• Gerar insights de conjuntos de dados

Observação: o Gemini no BigQuery faz parte do Gemini para Google Cloud e não é compatível com as mesmas soluções de compliance e segurança que o BigQuery. Configure o Gemini no BigQuery para projetos do BigQuery que não exigem soluções de compliance incompatíveis com o Gemini para Google Cloud. Para saber como desativar ou impedir o acesso ao Gemini no BigQuery, consulte Desativar o Gemini no BigQuery.

Gerar insights para tabelas do Apache Iceberg

Visualizar

Esse produto ou recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos gerais de serviço" dos Termos específicos de serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

1. No Google Cloud console, acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. Nos Filtros, selecione Lakehouse.

3. Selecione a tabela do Apache Iceberg para a qual você quer gerar insights.

4. Clique na guia Insights. Se a guia estiver vazia, isso significa que os insights da tabela ainda não foram gerados.

5. Para gerar insights e anexá-los permanentemente à tabela como aspectos, clique em Gerar e publicar. Isso torna os insights indexáveis, pesquisáveis e visíveis para outros usuários da sua organização no Knowledge Catalog.

   Para gerar insights e visualizá-los temporariamente durante a sessão atual, clique em Gerar sem publicar. Use essa opção se precisar apenas de uma análise rápida dos dados sem salvar os metadados no Knowledge Catalog.

   Para mais informações sobre as diferenças entre os Gerar e publicar e Gerar sem publicar modos, consulte Modos para gerar insights de dados.

6. Selecione uma região para gerar insights e clique em Gerar.

   Leva alguns minutos para que os insights sejam preenchidos.

7. Clique na guia Insights e revise o seguinte:

   • Descrições: são os resumos gerados por IA que explicam a finalidade da tabela e detalham colunas específicas.
   • Consultas de amostra: é a lista de consultas SQL personalizadas projetadas especificamente para o esquema e o conteúdo do conjunto de dados.

8. Para visualizar a consulta SQL que responde a uma pergunta, clique na pergunta.

Conferir os insights gerados para um recurso

Para visualizar os insights gerados para um recurso, siga estas etapas:

1. No Google Cloud console, acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. Pesquise o recurso para o qual você quer visualizar insights.

3. Nos resultados da pesquisa, clique no recurso para abrir a página de detalhes da entrada.

4. Revise as Descrições e Consultas geradas para o recurso selecionado.

5. Para visualizar os gráficos de relacionamento e entender como os pontos de dados se conectam, clique na guia Relacionamentos (visualização). Só é possível visualizar relacionamentos no nível da tabela, não no nível do conjunto de dados.

Gerenciar insights de tabelas

Depois de gerar e publicar insights de tabelas, é possível revisar e gerenciar esses insights como aspectos de metadados no Knowledge Catalog. Os insights no nível da tabela incluem descrições de tabelas e colunas e consultas de amostra.

Atualizar descrições geradas para uma tabela

É possível atualizar as descrições de tabelas e colunas usando apenas a API Dataplex. Para fazer isso, use o entries.patch.

Atualizar consultas geradas para uma tabela

É possível atualizar as consultas geradas para uma tabela usando o Google Cloud console e a API Dataplex.

Console

1. Pesquise a tabela para a qual você quer atualizar as consultas geradas.

2. Nos resultados da pesquisa, clique na tabela para abrir a página de detalhes da entrada.

3. Na seção Consultas, clique em Editar.

4. Atualize a descrição da consulta conforme necessário.

5. Gerenciar a propriedade: por padrão, a Origem é definida como Agente. Se você modificar uma consulta e mudar a origem para Usuário, as execuções de geração de insights subsequentes não vão substituir suas alterações. Se a Origem permanecer Agente, a consulta poderá ser substituída durante uma regeneração.

6. Gerenciar substituições: para evitar que todas as consultas sejam substituídas durante uma nova execução, defina a opção Gerenciado pelo usuário como Verdadeiro. Isso se aplica a todo o conjunto de consultas para esse aspecto de metadados, garantindo que nenhuma mudança manual seja perdida.

REST

Para atualizar consultas de uma tabela, use o entries.patch.

Atualizar relacionamentos gerados para uma tabela

É possível atualizar relacionamentos usando apenas a API Dataplex. Para fazer isso, use entries.patch.

Gerenciar insights de conjuntos de dados

Os insights no nível do conjunto de dados se concentram em descrições de alto nível e consultas em todo o conjunto de dados.

Atualizar descrições geradas para um conjunto de dados

É possível atualizar as descrições do conjunto de dados usando apenas a API Dataplex. Para fazer isso, use o entries.patch.

Atualizar consultas geradas para um conjunto de dados

É possível atualizar as consultas geradas para um conjunto de dados usando o Google Cloud console e a API Dataplex.

Console

1. Pesquise o conjunto de dados para o qual você quer atualizar as consultas geradas.

2. Nos resultados da pesquisa, clique no conjunto de dados para abrir a página de detalhes da entrada.

3. Na seção Consultas, clique em Editar.

4. Atualize a descrição conforme necessário.

5. Gerenciar a propriedade: por padrão, a Origem é definida como Agente. Se você modificar uma consulta e mudar a origem para Usuário, as execuções de geração de insights subsequentes não vão substituir suas alterações. Se a Origem permanecer Agente, a consulta poderá ser substituída durante uma regeneração.

6. Gerenciar substituições: para evitar que todas as consultas sejam substituídas durante uma nova execução, defina a opção Gerenciado pelo usuário como Verdadeiro. Isso se aplica a todo o conjunto de consultas para esse aspecto de metadados, garantindo que nenhuma mudança manual seja perdida.

REST

Para atualizar consultas de um conjunto de dados, use o entries.patch.

Atualizar links de entrada gerados para um conjunto de dados

Os relacionamentos descobertos por insights de dados são armazenados como links de entrada entre entradas de tabelas. Esses links incluem um aspecto schema-join que descreve como as tabelas se conectam.

Para editar esses relacionamentos ou fornecer substituições manuais, use a API Dataplex.

Comportamento de atualização de links de entrada

Ao gerenciar relacionamentos usando a API, é importante entender como as atualizações manuais da API interagem com as verificações automatizadas em segundo plano para não substituir dados acidentalmente.

• Atualizações manuais (comportamento no nível da API): a API UpdateEntryLink usa o método PATCH para realizar a substituição no nível do aspecto:

  • Substituição completa do aspecto: se você incluir o aspecto schema-join na solicitação de atualização, o Knowledge Catalog vai substituir todo o aspecto atual pelo novo que você fornecer.

  • Nenhuma mesclagem automática: a API não mescla automaticamente novas entradas na lista joins interna. Se você enviar um payload que contenha apenas uma mesclagem, todas as mesclagens anteriores nesse aspecto serão removidas.

  Aviso: Para adicionar um novo relacionamento e manter os atuais usando a API, primeiro recupere o aspecto atual schema-join e inclua todas as mesclagens atuais no corpo da solicitação de atualização.

• Verificações automatizadas (comportamento no nível do sistema): as verificações automatizadas, como insights de dados, realizam uma lógica de mesclagem especializada antes de chamar a API para garantir que os metadados de alta certeza sejam preservados com base na origem:

  • Prioridade da origem: se várias origens identificarem o mesmo relacionamento, o Knowledge Catalog vai priorizá-las na seguinte ordem:

    1. USER (edições manuais)
    2. TABLE_CONSTRAINTS
    3. QUERY_HISTORY
    4. AGENT (sugestões do LLM)

  • Atualização do LLM: os relacionamentos derivados da origem AGENT são dinâmicos. Se uma verificação subsequente não recomendar mais o relacionamento, ele será removido.

Atualizar links de entrada

Para visualizar e modificar links de entrada, siga estas etapas:

Observação: para garantir que as mudanças manuais não sejam substituídas ou modificadas por processos automatizados em segundo plano, use as seguintes configurações nos dados de aspecto:

• userManaged: true: defina isso no nível do aspecto para instruir o Knowledge Catalog a ignorar todas as atualizações automatizadas para esse relacionamento inteiramente.
• inferenceSource: "USER": defina isso em entradas de mesclagem específicas para identificar elas como verificadas manualmente, protegendo-as durante os processos de mesclagem padrão.

1. Identifique o link de entrada.

   Antes de atualizar um relacionamento, encontre o nome do recurso listando todos os links de entrada que envolvem uma entrada de tabela específica:

   gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""
   

   Substitua:

   • PROJECT_ID: o ID do seu Google Cloud projeto
   • LOCATION: a região em que o DataScan é acionado
   • TABLE_ENTRY_NAME: o nome completo do recurso da entrada da tabela do BigQuery (por exemplo, bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

2. Atualize o link de entrada.

   Para modificar o aspecto schema-join do link de entrada de destino, use o método PATCH:

   **Observação**: para garantir que as verificações automatizadas subsequentes não substituam as mudanças manuais, defina inferenceSource: "USER" no corpo da solicitação.

   gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
   -d '{
     "aspects": {
       "dataplex-types.global.schema-join": {
         "data": {
           "joins": [
             {
               "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
               "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
               "type": "JOIN",
               "inferenceSource": "USER"
             }
           ],
           "userManaged": false
         }
       }
     }
   }'
   

   Substitua:

   • ENTRYLINK_ID: o ID do link de entrada recuperado na etapa de identificação anterior
   • DATASET_ID: o ID do seu conjunto de dados do BigQuery
   • SOURCE_TABLE: o nome da tabela de origem
   • SOURCE_FIELD: o nome da coluna usada para a mesclagem na tabela de origem
   • TARGET_TABLE: o nome da tabela de destino
   • TARGET_FIELD: o nome da coluna usada para a mesclagem na tabela de destino

A seguir

• Saiba mais sobre insights de dados estruturados.

• Saiba como usar a verificação de descoberta para dados não estruturados.

• Saiba como usar o perfil dos dados para dados não estruturados.