Usar insights de dados para dados estruturados

Os insights de dados com tecnologia de IA permitem gerar automaticamente descrições, gráficos de relacionamento e consultas SQL com base nos metadados estruturados de tabelas e conjuntos de dados. Em seguida, é possível visualizar e gerenciar esses insights no Knowledge Catalog (antigo Dataplex Universal Catalog) para acelerar a exploração de dados.

Antes de começar

Antes de usar os insights de dados, conclua os seguintes pré-requisitos:

Funções exigidas

Para receber as permissões necessárias para usar os insights de dados, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar os insights de dados. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar os insights de dados:

  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Ativar APIs

Para usar insights de dados, ative as seguintes APIs no seu projeto:

  • API Dataplex
  • API BigQuery
  • API Gemini para Google Cloud

Funções necessárias para ativar APIs

Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

Ativar as APIs

Para mais informações sobre como ativar a API Gemini para Google Cloud, consulte Ativar a API Gemini para Google Cloud em um projeto do Google Cloud .

Preparar dados

Para tabelas do Lakehouse, verifique se os dados estão no Cloud Storage e se você criou uma tabela do Lakehouse.

Para tabelas do catálogo REST do Apache Iceberg, verifique se elas estão registradas no catálogo do ambiente de execução do Lakehouse.

Gerar insights no BigQuery

No BigQuery Studio, é possível usar o Gemini no BigQuery para gerar insights de dados para conjuntos de dados, tabelas, visualizações, Google Cloud tabelas do BigLake, tabelas externas do BigQuery e namespaces do Apache Iceberg. Só é possível gerar insights para esses recursos no BigQuery Studio.

Primeiro, você precisa configurar o Gemini no BigQuery e, em seguida, gerar insights. Depois de gerar insights, é possível visualizá-los e modificá-los no Knowledge Catalog.

Para mais informações sobre como gerar insights no BigQuery, consulte os seguintes documentos:

Gerar insights gerados para tabelas e namespaces do Apache Iceberg

No Knowledge Catalog, é possível gerar insights de dados para tabelas e namespaces do Apache Iceberg, Apache Hive e SAP BDC gerenciados pelo Lakehouse sem fronteiras do Google Cloud.

Para gerar insights sobre esses recursos, siga estas etapas:

  1. No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Em Filtros, localize o tipo de recurso:

    • Para tabelas do Apache Iceberg: selecione Lakehouse.
    • Para namespaces do Apache Iceberg: defina o filtro system como BIGLAKE e o filtro type como namespace.

  3. Selecione a tabela ou o namespace do Apache Iceberg nos resultados da pesquisa para abrir a página de detalhes da entrada.

  4. Clique na guia Insights. Se a guia estiver vazia, isso significa que os insights da tabela ainda não foram gerados.

  5. Escolha uma opção de geração:

    • Para gerar e anexar permanentemente insights ao recurso como aspectos de metadados, clique em Gerar e publicar. Isso torna os insights indexáveis, pesquisáveis e visíveis para outros usuários da sua organização no Knowledge Catalog.

    • Para gerar e conferir insights temporariamente durante a sessão atual, clique em Gerar sem publicar.

    Para mais informações sobre as diferenças entre os modos Gerar e publicar e Gerar sem publicar, consulte Modos para gerar insights de dados.

  6. Selecione uma região para gerar insights gerados e clique em Gerar.

    Leva alguns minutos para que os insights sejam preenchidos.

  7. Clique na guia Insights e analise os metadados gerados:

    • Para tabelas: revise as descrições e as consultas de exemplo geradas com IA.
    • Para namespaces: revise a descrição do conjunto de dados, os gráficos de relacionamento interativos e as recomendações de consulta.

    Para ver a consulta SQL que responde a uma pergunta, clique nela.

Analisar os insights gerados para um recurso

Para conferir os insights gerados para um recurso, siga estas etapas:

  1. No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Pesquise o recurso para o qual você quer ver insights.

  3. Nos resultados da pesquisa, clique no recurso para abrir a página de detalhes da entrada.

  4. Revise as Descrições e as Consultas geradas para o recurso selecionado.

  5. Para conferir os gráficos de relacionamento e entender como os pontos de dados se conectam, clique na guia Relacionamentos (pré-lançamento). É possível ver as relações no nível da tabela ou no nível do conjunto de dados e do namespace se você tiver gerado insights do conjunto de dados.

Gerenciar insights de tabelas

Depois de gerar e publicar insights de tabela, é possível analisá-los e gerenciá-los como aspectos de metadados no Knowledge Catalog. Os insights no nível da tabela incluem descrições de tabelas e colunas e consultas de amostra.

Atualizar as descrições geradas para uma tabela

É possível atualizar as descrições de tabelas e colunas usando apenas a API Dataplex. Para fazer isso, use o método entries.patch.

Atualizar consultas geradas para uma tabela

É possível atualizar as consultas geradas para uma tabela usando o console do Google Cloud e a API Dataplex.

Console

  1. Pesquise a tabela em que você quer atualizar as consultas geradas.

  2. Nos resultados da pesquisa, clique na tabela para abrir a página de detalhes da entrada.

  3. Na seção Consultas, clique em Editar.

  4. Atualize a descrição da consulta conforme necessário.

  5. Gerenciar propriedade: por padrão, a Origem é definida como Agente. Se você modificar uma consulta e mudar a origem para Usuário, as execuções subsequentes de geração de insights não vão substituir suas mudanças. Se a Origem permanecer como Agente, a consulta poderá ser substituída durante uma regeneração.

  6. Gerenciar substituições: para evitar que todas as consultas sejam substituídas durante uma nova execução, defina a opção Gerenciado pelo usuário como Verdadeiro. Isso se aplica ao conjunto inteiro de consultas para esse aspecto de metadados, garantindo que nenhuma mudança manual seja perdida.

REST

Para atualizar as consultas de uma tabela, use o método entries.patch.

Atualizar relações geradas para uma tabela

Só é possível atualizar relacionamentos usando a API Dataplex. Para fazer isso, use o método entries.patch.

Gerenciar insights do conjunto de dados

Os insights no nível do conjunto de dados se concentram em descrições de alto nível e consultas em todo o conjunto de dados.

Atualizar as descrições geradas para um conjunto de dados

É possível atualizar as descrições do conjunto de dados usando apenas a API Dataplex. Para fazer isso, use o método entries.patch.

Atualizar consultas geradas para um conjunto de dados

É possível atualizar as consultas geradas para um conjunto de dados usando o console do Google Cloud e a API Dataplex.

Console

  1. Pesquise o conjunto de dados em que você quer atualizar as consultas geradas.

  2. Nos resultados da pesquisa, clique no conjunto de dados para abrir a página de detalhes da entrada.

  3. Na seção Consultas, clique em Editar.

  4. Atualize a descrição conforme necessário.

  5. Gerenciar propriedade: por padrão, a Origem é definida como Agente. Se você modificar uma consulta e mudar a origem para Usuário, as execuções subsequentes de geração de insights não vão substituir suas mudanças. Se a Origem permanecer como Agente, a consulta poderá ser substituída durante uma regeneração.

  6. Gerenciar substituições: para evitar que todas as consultas sejam substituídas durante uma nova execução, defina a opção Gerenciado pelo usuário como Verdadeiro. Isso se aplica ao conjunto inteiro de consultas para esse aspecto de metadados, garantindo que nenhuma mudança manual seja perdida.

REST

Para atualizar as consultas de um conjunto de dados, use o método entries.patch.

Atualizar links de entrada gerados para um conjunto de dados

As relações descobertas pelos insights de dados são armazenadas como links de entrada entre as entradas da tabela. Esses links incluem um aspecto schema-join que descreve como as tabelas se conectam.

Para editar essas relações ou fornecer substituições manuais, use a API Dataplex.

Comportamento de atualização de links de entrada

Ao gerenciar relacionamentos usando a API, é importante entender como as atualizações manuais da API interagem com as verificações automáticas em segundo plano para não substituir dados acidentalmente.

  • Atualizações manuais (comportamento no nível da API): a API UpdateEntryLink usa o método PATCH para realizar a substituição no nível do aspecto:

    • Substituição completa do aspecto: se você incluir o aspecto schema-join na solicitação de atualização, o Knowledge Catalog vai substituir todo o aspecto pelo novo que você fornecer.

    • Sem mesclagem automática: a API não mescla automaticamente novas entradas na lista interna de joins. Se você enviar um payload com apenas uma mesclagem, todas as mesclagens anteriores desse aspecto serão removidas.

  • Verificações automatizadas (comportamento no nível do sistema): as verificações automatizadas, como insights de dados, realizam uma lógica de mesclagem especializada antes de chamar a API para garantir que os metadados de alta certeza sejam preservados com base na origem:

    • Prioridade da fonte: se várias fontes identificarem o mesmo relacionamento, o Knowledge Catalog vai priorizá-las na seguinte ordem:

      1. USER (edições manuais)
      2. TABLE_CONSTRAINTS
      3. QUERY_HISTORY
      4. AGENT (sugestões de LLM)

    • Atualização do LLM: as relações derivadas da fonte AGENT são dinâmicas. Se uma verificação subsequente não recomendar mais a relação, ela será removida.

Atualizar links de entrada

Para conferir e modificar links de entrada, siga estas etapas:

  1. Identifique o link de entrada.

    Antes de atualizar um relacionamento, encontre o nome do recurso listando todos os links de entrada que envolvem uma entrada de tabela específica:

    gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""

    Substitua:

    • PROJECT_ID: ID do seu projeto do Google Cloud
    • LOCATION: a região em que a verificação de dados é acionada.
    • TABLE_ENTRY_NAME: o nome completo do recurso da entrada da tabela do BigQuery (por exemplo, bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

  2. Atualize o link de entrada.

    Para modificar o aspecto schema-join do link de entrada segmentado, use o método PATCH:

    gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
-d '{
  "aspects": {
    "dataplex-types.global.schema-join": {
      "data": {
        "joins": [
          {
            "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
            "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
            "type": "JOIN",
            "inferenceSource": "USER"
          }
        ],
        "userManaged": false
      }
    }
  }
}'

    Substitua:

    • ENTRYLINK_ID: o ID do link de entrada recuperado na etapa de identificação anterior.
    • DATASET_ID: o ID do conjunto de dados do BigQuery
    • SOURCE_TABLE: o nome da tabela de origem.
    • SOURCE_FIELD: o nome da coluna usado para a mesclagem na tabela de origem.
    • TARGET_TABLE: o nome da tabela de destino
    • TARGET_FIELD: o nome da coluna usado para a mesclagem na tabela de destino

A seguir