Gere insights de dados no BigQuery

Os insights de dados são uma maneira automatizada de analisar, entender e organizar seus dados. Com os insights de dados, o Gemini no BigQuery gera perguntas em linguagem natural e as consultas SQL para respondê-las com base nos metadados da tabela. Esses insights ajudam você a descobrir padrões, avaliar a qualidade dos dados e realizar análises estatísticas.

Também é possível usar insights de dados para gerar descrições de tabelas e colunas com base em metadados de tabelas e publicá-las no Dataplex Universal Catalog. Esse recurso ajuda você a documentar seus dados para uma análise significativa e melhora a capacidade de descoberta do conjunto de dados.

Nesta página, descrevemos os principais recursos de insights de dados e o processo de automatização da geração de consultas para uma análise de dados perspicaz.

Antes de começar

Os insights de dados são gerados usando o Gemini no BigQuery. Para começar a gerar insights, primeiro você precisa configurar o Gemini no BigQuery.

Funções exigidas

Para criar, gerenciar e recuperar insights de dados, peça ao administrador para conceder os seguintes papéis do IAM:

Para ter acesso somente leitura aos insights gerados, peça ao administrador para conceder a você o seguinte papel do IAM:

Para publicar insights de dados no Dataplex Universal Catalog, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:

Para ativar APIs, peça ao administrador para conceder a você o seguinte papel do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos. Para conferir as permissões exatas necessárias para gerar insights, abra a seção Permissões necessárias:

Permissões necessárias

  • bigquery.jobs.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

Ativar APIs

Para usar insights de dados, ative as seguintes APIs no seu projeto: API Dataplex, API BigQuery e API Gemini para Google Cloud.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Para mais informações sobre como ativar a API Gemini para Google Cloud, consulte Ativar a API Gemini para Google Cloud em um Google Cloud projeto.

Sobre os insights de dados

Ao analisar uma tabela nova e desconhecida, os analistas de dados geralmente enfrentam o problema da inicialização a frio. O problema geralmente envolve incertezas sobre a estrutura dos dados, os principais padrões e insights relevantes nos dados, dificultando o início da criação de consultas.

Os insights de dados resolvem o problema de inicialização a frio gerando automaticamente consultas em linguagem natural e seus equivalentes em SQL com base nos metadados de uma tabela. Em vez de começar com um editor de consulta vazio, você pode iniciar rapidamente a exploração de dados com consultas significativas que oferecem insights valiosos. Para investigar mais a fundo, faça perguntas complementares na tela de dados.

Exemplo de execução de insights

Considere uma tabela chamada telco_churn com os seguintes metadados:

Nome do campo Tipo
CustomerID STRING
Gênero STRING
Tempo de casa INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contrato STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Desligamento BOOLEAN

Veja a seguir algumas das consultas de amostra que os insights de dados geram para essa tabela:

  • Identifique os clientes que assinaram todos os serviços premium e são clientes há mais de 50 meses.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifique qual serviço de Internet tem mais clientes desistentes.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Identifique as taxas de desistência de usuários por segmento entre os clientes de alto valor.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Modos para gerar insights

O BigQuery oferece dois modos ao gerar insights:

Modo Descrição Uso
Gerar e publicar (pré-lançamento)

Persiste os insights gerados no Dataplex Universal Catalog como aspectos de metadados. Você precisa ter as permissões necessárias para publicar.

Quando você usa a opção Gerar e publicar, as seguintes ações ocorrem:

  • As descrições de tabelas e colunas são armazenadas no Dataplex Universal Catalog.
  • As perguntas e consultas sugeridas são capturadas como aspectos reutilizáveis.
  • Os insights publicados ficam acessíveis a todos os usuários com acesso adequado ao Dataplex Universal Catalog, garantindo o conhecimento organizacional compartilhado.
  • É possível editar e salvar descrições diretamente no Dataplex Universal Catalog.
 Use esse modo para documentação de dados em toda a empresa que precisa persistir e ser reutilizada ou ao criar fluxos de trabalho de governança orientados por catálogo.
Gerar sem publicar Cria insights (descrições, perguntas em linguagem natural e consultas SQL) sob demanda. Os insights não são publicados no Dataplex Universal Catalog. Use esse modo para uma análise rápida e ad hoc e evitar a desordem no catálogo.

Práticas recomendadas para melhorar os insights gerados

Para melhorar a precisão dos insights gerados, siga estas práticas recomendadas:

Fundamentar insights nos resultados da criação de perfil de dados

Na IA generativa, embasamento é a capacidade de conectar a saída do modelo a fontes de informações verificáveis. Você pode fundamentar os insights gerados nos resultados da criação de perfil de dados. A criação de perfil de dados analisa as colunas nas tabelas do BigQuery e identifica características estatísticas comuns, como valores e distribuição de dados típicos. Quando você criar uma verificação de criação de perfil de dados em uma tabela, é possível publicar os resultados da verificação nas páginas do BigQuery e do Dataplex Universal Catalog no console Google Cloud . O BigQuery usa os resultados da criação de perfil de dados para criar consultas mais precisas e relevantes fazendo o seguinte:

  1. Analisa os resultados da criação de perfil de dados para identificar padrões, tendências ou outliers interessantes nos dados.
  2. Gera consultas focadas nesses padrões, tendências ou outliers para descobrir insights.
  3. Valida as consultas geradas em relação aos resultados da criação de perfil de dados para garantir que as consultas retornem resultados significativos.

Sem as verificações de criação de perfil de dados, as seguintes situações ocorrem:

  • É mais provável que as consultas geradas incluam cláusulas imprecisas ou produzam resultados sem sentido.
  • As descrições de colunas geradas são baseadas apenas no nome da coluna.

Verifique se a verificação do perfil de dados da sua tabela está atualizada e se os resultados foram publicados no BigQuery.

Ajuste as configurações de criação de perfil de dados para aumentar o tamanho da amostragem e filtrar linhas e colunas. Depois de executar uma nova verificação de criação de perfil de dados, gere novamente os insights.

Adicionar uma descrição da tabela

Descrições detalhadas que descrevem o que você quer analisar na sua tabela podem ajudar o Gemini no BigQuery a gerar insights mais relevantes. Depois de adicionar uma descrição à tabela, gere insights novamente.

Por exemplo, você pode adicionar a seguinte descrição à tabela telco_churn: "Esta tabela rastreia dados de rotatividade de clientes, incluindo detalhes de assinatura, permanência e uso do serviço, para prever o comportamento de rotatividade de clientes".

Se você salvar a descrição da tabela gerada pelo Gemini, ela será usada para gerar insights futuros.

Adicionar descrições da coluna

As descrições de colunas que explicam o que cada uma delas é ou como uma coluna se relaciona com outra podem melhorar a qualidade dos seus insights. Depois de atualizar as descrições das colunas na tabela, gere insights novamente.

Por exemplo, você pode adicionar as seguintes descrições a colunas específicas da tabela telco_churn:

  • Tenure: "O número de meses que o cliente está com o serviço".
  • Churn: "Se o cliente parou de usar o serviço. TRUE indica que o cliente não usa mais o serviço, e FALSE indica que o cliente está ativo."

Se você salvar as descrições de coluna geradas pelo Gemini, elas serão usadas para gerar insights futuros.

Gerar insights para uma tabela do BigQuery

Console

Para gerar insights de uma tabela do BigQuery, acesse a entrada da tabela no BigQuery usando o BigQuery Studio.

  1. No console do Google Cloud , acesse o BigQuery Studio.

    Acessar o BigQuery Studio

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

    Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

  3. No painel Explorer, clique em Conjuntos de dados e selecione o que você quer.

  4. Clique em Visão geral > Tabelas e selecione a tabela para gerar insights.

  5. Clique na guia Insights. Se a guia estiver vazia, isso significa que os insights da tabela ainda não foram gerados.

  6. Para gerar insights e publicá-los no Dataplex Universal Catalog, clique em Gerar e publicar (Prévia).

    Para gerar insights sem publicá-los no Dataplex Universal Catalog, clique em Gerar sem publicar.

    Para mais informações sobre as diferenças entre os modos Gerar e publicar e Gerar sem publicar, consulte Modos para gerar insights.

  7. Selecione uma região para gerar insights e clique em Gerar.

    Leva alguns minutos para que os insights sejam preenchidos.

    Se os resultados publicados da criação de perfil de dados para a tabela estiverem disponíveis, eles serão usados para gerar insights. Caso contrário, os insights são gerados com base nos nomes e descrições das colunas.

  8. Na guia Insights, confira as perguntas geradas em linguagem natural.

  9. Para conferir a consulta SQL que responde a uma pergunta, clique nela.

  10. Para abrir uma consulta no BigQuery, clique em Copiar para consulta.

  11. Para fazer perguntas complementares, faça o seguinte:

    1. Clique em Fazer outra pergunta. A consulta é aberta em uma nova tela de dados.

    2. Clique em Executar e em Consultar estes resultados.

    3. Para fazer uma pergunta complementar, insira um comando no campo Comando de linguagem natural ou edite o SQL no editor de consultas.

  12. Para gerar um novo conjunto de consultas, clique em Gerar insights e acione o pipeline novamente.

Depois de gerar insights para uma tabela, qualquer pessoa com a permissão dataplex.datascans.getData e acesso à tabela poderá visualizar esses insights.

REST

Para gerar insights de tabelas do BigQuery, use o tipo de verificação DATA_DOCUMENTATION compatível com a API DataScans do Dataplex Universal Catalog. Essas verificações geram metadados, incluindo consultas SQL úteis para análise de dados, descrições de esquemas e resumos no nível da tabela.

Para gerar insights de dados para uma tabela do BigQuery, siga estas etapas:

  1. Opcional: crie uma verificação do perfil de dados para a tabela. A presença dessas verificações reduz alucinações e aproximações do Gemini, já que elas fundamentam a saída em valores reais presentes nos dados.

    1. Crie uma verificação do perfil de dados usando o método dataScans.create.

    2. Execute a verificação do perfil de dados usando o método dataScans.run. Aguarde a conclusão da execução.

    3. Publique os resultados da verificação na tabela do BigQuery anexando os seguintes rótulos de criação de perfil de dados a ela:

      • dataplex-dp-published-scan:DATASCAN_ID
      • dataplex-dp-published-project:PROJECT_ID
      • dataplex-dp-published-location:LOCATION

      Para mais informações, consulte Adicionar rótulos a tabelas e visualizações.

  2. Gere uma verificação de dados de documentação de dados para a tabela do BigQuery:

    1. Crie uma verificação de dados de documentação de dados usando o método dataScans.create.

      Exemplo:

      gcurl -X POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans?dataScanId=DATASCAN_ID -d '{ "data": { "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID" }, "executionSpec": { "trigger":{ "onDemand":{} } }, "type":"DATA_DOCUMENTATION", "dataDocumentationSpec":{}}'

      Substitua:

      • PROJECT_ID: o ID do seu projeto Google Cloud em que o conjunto de dados está localizado
      • LOCATION: a região em que a verificação de dados é executada.
      • DATASCAN_ID: um nome exclusivo que você fornece para essa verificação
      • DATASET_ID: o ID do conjunto de dados do BigQuery que está sendo verificado
      • TABLE_ID: o ID da tabela do BigQuery que está sendo verificada

    2. Inicie o job de verificação da documentação de dados usando o método dataScans.run.

      Exemplo:

      gcurl -X POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID:run

      Essa solicitação retorna um ID de job exclusivo e o estado inicial.

    3. Verifique a conclusão da execução do job de verificação usando o método dataScans.get.

      Use o ID do job para buscar o status dele. Exemplo:

      gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID

      O job é concluído quando o status é SUCCEEDED ou FAILURE.

    4. Publique os resultados da verificação na tabela do BigQuery anexando os seguintes rótulos de documentação de dados a ela:

      • dataplex-data-documentation-published-scan:DATASCAN_ID
      • dataplex-data-documentation-published-project:PROJECT_ID
      • dataplex-data-documentation-published-location:LOCATION

Gerar insights para uma tabela externa do BigQuery

Os insights de dados do BigQuery oferecem suporte à geração de insights para tabelas externas do BigQuery com dados no Cloud Storage. Você e a conta de serviço do Dataplex Universal Catalog para o projeto atual precisam ter o papel de Leitor de objetos do Storage (roles/storage.objectViewer) no bucket do Cloud Storage que contém os dados. Para mais informações, consulte Adicionar um principal a uma política no nível do bucket.

Para gerar insights de uma tabela externa do BigQuery, siga as instruções descritas na seção Gerar insights de uma tabela do BigQuery deste documento.

Gerar insights para uma tabela do BigLake

Para gerar insights para uma tabela do BigLake, siga estas etapas:

  1. Ative a API BigQuery Connection no projeto.

    Ative a API BigQuery Connection.

  2. Criar uma conexão do BigQuery. Para mais informações, consulte Gerenciar conexões.

  3. Conceda o papel do IAM de Leitor de objetos do Storage (roles/storage.objectViewer) à conta de serviço correspondente à conexão do BigQuery que você criou.

    Você pode recuperar o ID da conta de serviço nos detalhes da conexão.

  4. Para gerar insights, siga as instruções descritas na seção Gerar insights para uma tabela do BigQuery deste documento.

Gerar descrições de tabelas e colunas

O Gemini no BigQuery gera automaticamente descrições de tabelas e colunas quando você gera insights de dados. É possível editar essas descrições conforme necessário e salvá-las nos metadados da tabela. As descrições salvas são usadas para gerar insights futuros.

Controlar o idioma da geração

Você pode orientar o Gemini a gerar descrições de tabelas e colunas em um idioma específico. Para fazer isso, adicione uma diretiva curta (por exemplo, "Gere descrições de tabela e coluna usando o idioma francês") à descrição atual da tabela antes de gerar os insights de dados.

Ao gerar insights, o Gemini interpreta essa diretiva e produz os metadados no idioma solicitado. Esse mecanismo funciona porque o Gemini usa as descrições de tabelas atuais como contexto ao gerar novas.

Para uma lista de idiomas compatíveis, consulte Compatibilidade com idiomas do Gemini.

Gerar descrições

Para gerar descrições de tabelas e colunas, siga estas etapas:

  1. Para gerar insights, siga as instruções descritas na seção relevante deste documento:

  2. Clique na guia Esquema.

  3. Clique em Abrir descrições de coluna.

    A descrição da tabela e das colunas geradas são mostradas.

  4. Para editar e salvar a descrição da tabela gerada, faça o seguinte:

    1. Na seção Descrição da tabela, clique em Salvar em detalhes.

    2. Para substituir a descrição atual pela gerada, clique em Copiar descrição sugerida.

    3. Edite a descrição da tabela conforme necessário e clique em Salvar nos detalhes.

      A descrição da tabela é atualizada imediatamente.

  5. Para editar e salvar as descrições de colunas geradas, faça o seguinte:

    1. Na seção Descrições de colunas, clique em Salvar no esquema.

      As descrições de colunas geradas são preenchidas no campo Nova descrição de cada coluna.

    2. Edite as descrições das colunas conforme necessário e clique em Salvar.

      As descrições de coluna são atualizadas imediatamente.

  6. Para fechar o painel de visualização, clique em Fechar.

Preços

Para saber mais sobre os preços desse recurso, consulte Visão geral dos preços do Gemini no BigQuery.

Cotas e limites

Para informações sobre cotas e limites desse recurso, consulte Cotas do Gemini no BigQuery.

Limitações

  • Os insights de dados estão disponíveis para visualizações e tabelas do BigQuery, do BigLake e externas.
  • Para clientes que têm várias nuvens, os dados de outras nuvens não estão disponíveis.
  • Os insights de dados não são compatíveis com os tipos de coluna Geo ou JSON.
  • A execução de insights não garante a apresentação de consultas todas as vezes. Para aumentar a probabilidade de gerar consultas mais engajadoras, reinicie o pipeline de insights.
  • Para tabelas com controle de acesso (ACLs) no nível da coluna e permissões de usuário restritas, será possível gerar insights se você tiver acesso de leitura a todas as colunas da tabela. Para executar as consultas geradas, você precisa ter permissões suficientes.
  • As descrições de colunas são geradas para no máximo 350 colunas em uma tabela.

Locais

É possível usar insights de dados em todos os locais do BigQuery. O Gemini no BigQuery opera globalmente, então não é possível restringir o tratamento de dados a uma região específica. Para saber mais sobre os locais em que o Gemini no BigQuery processa dados, consulte Locais de atendimento do Gemini.

A seguir