Generare insight sui set di dati

Questo documento descrive come generare insight sui set di dati per i set di dati BigQuery e gli spazi dei nomi Apache Iceberg (che sono rappresentati come set di dati in BigQuery). Gli insight sui set di dati ti aiutano a comprendere le relazioni tra le tabelle in un set di dati o in uno spazio dei nomi generando grafici delle relazioni e query tra tabelle.

Gli insight sui set di dati ti aiutano ad accelerare l'esplorazione di set di dati e spazi dei nomi con più tabelle rilevando e visualizzando automaticamente le relazioni tra le tabelle in un grafico, identificando le relazioni tra chiave primaria e chiave esterna e generando query di esempio tra tabelle. Questo è utile per comprendere la struttura dei dati senza documentazione, scoprire le relazioni definite dallo schema, basate sull'utilizzo o dedotte dall'AI tra le tabelle e generare query complesse che eseguono il join di più tabelle.

Per una panoramica degli insight su tabelle e set di dati, consulta Panoramica degli insight sui dati.

Modalità per generare insight sui set di dati

Quando generi insight sui set di dati, BigQuery fornisce due modalità:

Modalità Descrizione Utilizzo
Genera e pubblica

Salva gli insight sui set di dati generati in Knowledge Catalog come aspetti e relazioni dei metadati. Devi disporre delle autorizzazioni necessarie per pubblicare. Quando utilizzi Genera e pubblica, BigQuery esegue le seguenti operazioni:

  • Memorizza la descrizione del set di dati in Knowledge Catalog.
  • Acquisisce le query e le domande suggerite come aspetti riutilizzabili
  • Acquisisce le relazioni come metadati in Knowledge Catalog.
  • Consente agli utenti con l'accesso appropriato a Knowledge Catalog di visualizzare gli insight pubblicati, garantendo la condivisione delle conoscenze dell'organizzazione.
  • Consente di modificare e salvare le descrizioni direttamente in Knowledge Catalog utilizzando l'API. Puoi modificare le query suggerite utilizzando la Google Cloud console.

Utilizza questa modalità per la documentazione dei dati a livello aziendale che è persistente e riutilizzabile o quando crei flussi di lavoro di governance basati sul catalogo.
Genera senza pubblicare

Crea insight sui set di dati, come descrizioni, domande in linguaggio naturale domande, relazioni e query SQL on demand. Genera senza pubblicare non pubblica gli insight in Knowledge Catalog.

Utilizza questa modalità per un'esplorazione rapida e ad hoc per evitare di riempire il catalogo.

Prima di iniziare

Gli insight sui dati vengono generati utilizzando Gemini in BigQuery. Per iniziare a generare insight, devi prima configurare Gemini in BigQuery.

Abilita API

Per utilizzare gli insight sui dati, abilita le seguenti API nel tuo progetto: API Dataplex, API BigQuery e API Gemini for Google Cloud.

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

Abilita le API

Per saperne di più sull'abilitazione dell'API Gemini for Google Cloud, consulta Abilita l'API Gemini for Google Cloud in un Google Cloud progetto.

Completa una scansione di profilazione dei dati

Per migliorare la qualità degli insight, genera una scansione di profilazione dei dati per le tabelle nel set di dati.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per generare, gestire e recuperare gli insight sui set di dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per visualizzare le autorizzazioni esatte richieste per generare insight, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

  • bigquery.datasets.get: leggi i metadati del set di dati
  • bigquery.jobs.create: crea job
  • bigquery.jobs.listAll: elenca tutti i job nel progetto
  • bigquery.tables.get: recupera i metadati della tabella
  • bigquery.tables.getData: recupera i dati e i metadati della tabella
  • dataplex.datascans.create: crea la risorsa di scansione dei dati
  • dataplex.datascans.get: leggi i metadati della risorsa di scansione dei dati
  • dataplex.datascans.getData: leggi i risultati dell'esecuzione della scansione dei dati
  • dataplex.datascans.run: esegui la scansione dei dati on demand
  • dataplex.entryGroups.useSchemaJoinEntryLink: utilizza i link di voci schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: utilizza gli aspetti di join dello schema
  • dataplex.entryLinks.create: crea i link di voci
  • dataplex.entryLinks.update: aggiorna i link di voci
  • dataplex.entryLinks.delete: elimina i link di voci
  • dataplex.entries.link: collega le voci
  • dataplex.entries.update: aggiorna le voci
  • dataplex.entryGroups.useDescriptionsAspect: utilizza gli aspetti della descrizione
  • dataplex.entryGroups.useQueriesAspect: utilizza gli aspetti della query

Generare insight sui set di dati

Console

  1. Nellaconsole, vai a BigQuery Studio. Google Cloud

    Vai a BigQuery Studio

  2. Nel riquadro Explorer, seleziona il progetto e il set di dati per cui vuoi generare insight. Per gli spazi dei nomi Iceberg, seleziona il set di dati che rappresenta lo spazio dei nomi del catalogo.

  3. Fai clic sulla scheda Insight.

  4. Per generare insight e pubblicarli in Knowledge Catalog, fai clic su Genera e pubblica.

    Per generare insight senza pubblicarli in Knowledge Catalog, fai clic su Genera senza pubblicare.

    Per saperne di più sulle differenze tra le modalità Genera e pubblica e Genera senza pubblicare, consulta Modalità per generare insight sui set di dati.

  5. Se il set di dati si trova in una multiregione, potresti ricevere una richiesta di selezionare una regione per generare insight. Seleziona una regione corrispondente alla multiregione in cui verrà creata la scansione degli insight.

    La compilazione degli insight richiede alcuni minuti. La qualità degli insight migliora se le tabelle nel set di dati hanno risultati di profilazione dei dati.

Dopo aver generato gli insight, BigQuery visualizza una descrizione del set di dati, un grafico delle relazioni, una tabella delle relazioni e query di esempio tra tabelle.

REST

Per generare insight a livello di programmazione, utilizza l'API DataScans di Knowledge Catalog. A questo scopo, completa i seguenti passaggi:

  1. Genera una scansione dei dati di documentazione dei dati per il set di dati BigQuery
  2. Controlla lo stato della scansione della documentazione dei dati
  3. Verifica la pubblicazione in Knowledge Catalog

Genera una scansione dei dati di documentazione dei dati per il set di dati BigQuery

  1. Crea una scansione dei dati di documentazione dei dati utilizzando il dataScans.create metodo. Facoltativamente, puoi pubblicare questi insight in Knowledge Catalog impostando il parametro catalog_publishing_enabled su true.

    Ad esempio:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo Google Cloud progetto in cui risiede il set di dati
    • LOCATION: la regione in cui viene eseguita la scansione dei dati
    • DATASCAN_ID: un nome univoco che fornisci per questa scansione
    • DATASET_ID: l'ID del set di dati BigQuery sottoposto a scansione

  2. Avvia il job di scansione della documentazione dei dati utilizzando il dataScans.run metodo.

    Ad esempio:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Questa richiesta restituisce un ID job univoco insieme allo stato iniziale.

Controlla lo stato della scansione della documentazione dei dati

Controlla il completamento dell'esecuzione del job di scansione utilizzando il dataScans.get metodo. Per recuperare i risultati completi, inclusi gli insight e lo stato di pubblicazione, imposta il parametro view su FULL.

Utilizza l'ID job per recuperare lo stato del job. Ad esempio:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

Il job viene completato quando lo stato è SUCCEEDED o FAILURE.

Una risposta di job riuscita contiene gli insight generati nel campo dataDocumentationResult.

Verifica la pubblicazione in Knowledge Catalog

Se catalog_publishing_enabled è impostato su true, gli insight vengono pubblicati in Knowledge Catalog in modo asincrono al termine del job di scansione dei dati. Per verificare che gli insight siano stati salvati, utilizza l'API Dataplex per ispezionare gli aspetti del set di dati.

Anche se gli insight vengono generati dalla scansione dei dati a livello di set di dati, i link di voci risultanti vengono archiviati tra le tabelle a cui si collegano. Per verificare queste relazioni, utilizza il lookupEntryLinks metodo per recuperare i link di voci associati a una voce di tabella specifica.

Per recuperare i metadati del set di dati BigQuery, utilizza il entries.get metodo. Per includere tutti gli aspetti, imposta il parametro view su FULL. Ad esempio:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo Google Cloud progetto in cui è stata configurata la scansione dei dati
  • LOCATION: la regione in cui risiede il gruppo di voci
  • DATASET_PROJECT_ID: l'ID del Google Cloud progetto in cui risiede il set di dati BigQuery
  • DATASET: l'ID del set di dati BigQuery

Se la pubblicazione in Knowledge Catalog ha esito positivo, i seguenti aspetti vengono allegati al set di dati BigQuery:

  • Descrizioni: contiene descrizioni del set di dati generate dall'AI
  • Query: contiene query SQL pertinenti relative al set di dati
  • Relazioni: salvate come link di voci tra le tabelle presenti nel set di dati

Visualizzare e salvare la descrizione del set di dati

Gemini genera una descrizione in linguaggio naturale del set di dati, riepilogando i tipi di tabelle che contiene e il dominio aziendale che rappresenta. Per salvare questa descrizione nei metadati del set di dati, fai clic su Salva nei dettagli.

Puoi modificare la descrizione prima di salvare i dettagli.

Esplorare il grafico delle relazioni

Il grafico Relazioni fornisce una rappresentazione visiva di come le tabelle nel set di dati sono correlate tra loro. Visualizza le 10 tabelle più connesse come nodi, con linee che rappresentano le relazioni tra loro.

  • Per visualizzare i dettagli della relazione, ad esempio le colonne che uniscono due tabelle, passa il mouse sopra il bordo che collega i nodi della tabella.
  • Per riorganizzare il grafico per una migliore visibilità, trascina i nodi della tabella.

Utilizzare la tabella delle relazioni

La tabella delle relazioni elenca le relazioni rilevate in formato tabulare. Ogni riga rappresenta una relazione tra due tabelle, mostrando la tabella e la colonna di origine e la tabella e la colonna di destinazione. La colonna Origine indica come è stata determinata la relazione:

  • Inferita da LLM. Relazioni dedotte da Gemini, in base ai nomi e alle descrizioni delle tabelle e delle colonne nel set di dati.
  • Basata sull'utilizzo. Relazioni estratte dai log delle query, in base ai join frequenti.
  • Definita dallo schema. Relazioni derivate dai mapping di chiave primaria e chiave esterna esistenti nello schema della tabella.

Puoi filtrare le relazioni per una tabella specifica o fornire feedback sulla qualità delle relazioni rilevate. Per esportare la descrizione e le relazioni del set di dati generate in un file JSON, fai clic su Esporta in JSON.

Utilizzare i suggerimenti per le query

In base alle relazioni rilevate, Gemini genera query di esempio. Si tratta di domande in linguaggio naturale con query SQL corrispondenti che eseguono il join di più tabelle nel set di dati.

  1. Per visualizzare una query SQL, fai clic su una domanda.

  2. Per aprire la query nell'editor di query di BigQuery, fai clic su Copia nella query. A questo punto, puoi eseguire la query o modificarla.

  3. Per fare una domanda aggiuntiva, fai clic su Fai una domanda aggiuntiva, che apre un canvas di dati senza titolo in cui puoi chattare con Gemini per esplorare i tuoi dati.

Gestire gli insight generati

Dopo aver generato gli insight per un set di dati, puoi gestirli, aggiornarli o eliminarli in Knowledge Catalog. Per saperne di più, consulta Gestire gli insight sui set di dati.

Passaggi successivi