Genera insight sul set di dati

Gli insight sui dati ti aiutano a comprendere le relazioni tra le tabelle nei set di dati BigQuery e negli spazi dei nomi Apache Iceberg scoprendo e visualizzando le relazioni tra le tabelle in un grafico, identificando le relazioni definite dallo schema, basate sull'utilizzo o dedotte dall'AI e generando query di esempio tra tabelle.

Per una panoramica degli insight su tabelle e set di dati, consulta Panoramica degli insight sui dati.

Modalità per la generazione di insight sui set di dati

Quando genera insight sui set di dati, BigQuery offre due modalità:

Modalità Descrizione Utilizzo
Genera e pubblica

Conserva gli insight generati sul set di dati in Knowledge Catalog come aspetti e relazioni dei metadati. Devi disporre delle autorizzazioni necessarie per la pubblicazione. Quando utilizzi Genera e pubblica, BigQuery esegue le seguenti operazioni:

  • Memorizza la descrizione del set di dati in Knowledge Catalog.
  • Acquisisce query e domande suggerite come aspetti riutilizzabili.
  • Acquisisce le relazioni come metadati in Knowledge Catalog.
  • Consente agli utenti con accesso appropriato a Knowledge Catalog di visualizzare gli insight pubblicati, garantendo la condivisione delle conoscenze dell'organizzazione.
  • Consente di modificare e salvare le descrizioni direttamente in Knowledge Catalog utilizzando l'API. Puoi modificare le query suggerite utilizzando la console Google Cloud .

Utilizza questa modalità per la documentazione dei dati a livello aziendale che persiste ed è riutilizzabile o quando crei flussi di lavoro di governance basati su catalogo.
Genera senza pubblicare

Crea insight sui set di dati, come descrizioni, domande in linguaggio naturale, relazioni e query SQL on demand. Genera senza pubblicare non pubblica gli insight in Knowledge Catalog.

Utilizza questa modalità per un'esplorazione rapida e ad hoc per evitare di sovraccaricare il catalogo.

Prima di iniziare

Gli insight sui dati vengono generati utilizzando Gemini in BigQuery. Per iniziare a generare insight, devi prima configurare Gemini in BigQuery.

Abilita API

Per utilizzare gli insight sui dati, abilita le seguenti API nel tuo progetto: API Dataplex, API BigQuery e API Gemini per Google Cloud.

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

Abilita le API

Per saperne di più sull'abilitazione dell'API Gemini for Google Cloud, consulta Abilita l'API Gemini for Google Cloud in un progetto Google Cloud .

Completa una scansione di profilazione dei dati

Per migliorare la qualità degli insight, genera una scansione di profilazione dei dati per le tabelle del set di dati.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per generare, gestire e recuperare insight sui set di dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per generare, gestire e recuperare insight:
    • Dataplex DataScan Editor (roles/dataplex.dataScanEditor) o Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin) sul progetto
    • BigQuery Data Editor (roles/bigquery.dataEditor) sulle tabelle
    • Utente BigQuery (roles/bigquery.user) o Utente BigQuery Studio (roles/bigquery.studioUser) sul progetto
    • BigQuery Resource Viewer (roles/bigquery.resourceViewer) sul progetto
  • Per visualizzare gli approfondimenti:
  • Per pubblicare insight in Knowledge Catalog: Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) nel gruppo di voci

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per vedere quali sono esattamente le autorizzazioni richieste per generare insight, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

  • bigquery.datasets.get: lettura dei metadati del set di dati
  • bigquery.jobs.create: crea job
  • bigquery.jobs.listAll: elenca tutti i job nel progetto
  • bigquery.tables.get: recupera i metadati della tabella
  • bigquery.tables.getData: recupera i dati e i metadati della tabella
  • dataplex.datascans.create: crea una risorsa di scansione dei dati
  • dataplex.datascans.get: metadati della risorsa di scansione dei dati di lettura
  • dataplex.datascans.getData: leggi i risultati dell'esecuzione della scansione dei dati
  • dataplex.datascans.run: esegui l'analisi dei dati on demand
  • dataplex.entryGroups.useSchemaJoinEntryLink: utilizza i link di accesso schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: utilizza gli aspetti di join dello schema
  • dataplex.entryLinks.create: crea link di accesso
  • dataplex.entryLinks.update: aggiorna i link delle voci
  • dataplex.entryLinks.delete: elimina i link di voce
  • dataplex.entries.link: voci dei link
  • dataplex.entries.update: aggiorna le voci
  • dataplex.entryGroups.useDescriptionsAspect: utilizza gli aspetti della descrizione
  • dataplex.entryGroups.useQueriesAspect: utilizza gli aspetti della query

Genera insight sul set di dati

Console

  1. Nella console Google Cloud , vai a BigQuery Studio.

    Vai a BigQuery Studio

  2. Nel riquadro Explorer, seleziona il progetto e il set di dati per cui vuoi generare insight. Per gli spazi dei nomi Iceberg, seleziona il set di dati che rappresenta lo spazio dei nomi del catalogo.

  3. Fai clic sulla scheda Approfondimenti.

    Se la scheda è vuota, non sono ancora stati generati insight per questo set di dati.

  4. Fai clic su Genera.

  5. Seleziona la condizione di pubblicazione:

    • Per generare e allegare in modo permanente gli insight all'asset come aspetti dei metadati, attiva l'opzione Condizione di pubblicazione. In questo modo, gli insight diventano indicizzabili, ricercabili e visibili agli altri utenti della tua organizzazione.

    • Per generare e visualizzare temporaneamente gli insight durante la sessione corrente, disattiva l'opzione Pubblica condizione.

    Per saperne di più sulle differenze tra le modalità Genera e pubblica e Genera senza pubblicare, consulta Modalità per la generazione di insight sui dati.

  6. (Facoltativo) Nel campo Istruzioni personalizzate, fornisci indicazioni e contesto del dominio per personalizzare il modo in cui Gemini genera gli insight.

    Ad esempio, puoi applicare convenzioni di denominazione, specificare definizioni aziendali o descrivere chiavi di join:

    LANGUAGE: Always write column descriptions in uppercase.

DOMAIN_CONTEXT:
- This dataset supports the Order-to-Cash process for the EMEA commercial
  sales team.
- Primary consumers are finance analysts and regional sales managers, not
  engineers.

RELATIONSHIPS:
- returns.order_item_id → order_items.id (one-to-one; use LEFT JOIN to
  preserve unreturned items)

  7. Se il set di dati si trova in più regioni, potrebbe esserti chiesto di selezionare una regione per generare insight. Seleziona una regione corrispondente alla multiregione in cui verrà creata la scansione degli insight.

    La compilazione degli insight richiede alcuni minuti. La qualità degli insight migliora se le tabelle nel set di dati hanno risultati della profilazione dei dati.

Dopo la generazione degli insight, BigQuery visualizza una descrizione del set di dati, un grafico delle relazioni, una tabella delle relazioni e query di esempio tra tabelle.

REST

Per generare insight in modo programmatico, utilizza l'API DataScans di Knowledge Catalog. A questo scopo, completa i seguenti passaggi:

  1. Genera un'analisi dei dati della documentazione dei dati per il set di dati BigQuery
  2. Controlla lo stato della scansione della documentazione dei dati
  3. Verifica la pubblicazione in Knowledge Catalog

Genera un'analisi dei dati della documentazione dei dati per il set di dati BigQuery

  1. Crea un'analisi della documentazione dei dati utilizzando il metodo dataScans.create. Facoltativamente, puoi pubblicare questi insight in Knowledge Catalog impostando il parametro catalog_publishing_enabled su true.

    Ad esempio:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloudin cui si trova il set di dati
    • LOCATION: la regione in cui viene eseguita l'analisi dei dati
    • DATASCAN_ID: un nome univoco che fornisci per questa scansione
    • DATASET_ID: l'ID del set di dati BigQuery sottoposto a scansione

  2. Avvia il job di scansione della documentazione dei dati utilizzando il metodo dataScans.run.

    Ad esempio:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Questa richiesta restituisce un ID job univoco insieme allo stato iniziale.

Controlla lo stato della scansione della documentazione dei dati

Verifica il completamento dell'esecuzione del job di scansione utilizzando il metodo dataScans.get. Per recuperare i risultati completi, inclusi gli insight e lo stato di pubblicazione, imposta il parametro view su FULL.

Utilizza l'ID job per recuperare lo stato del job. Ad esempio:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

Il job viene completato quando lo stato è SUCCEEDED o FAILURE.

Una risposta corretta del job contiene gli insight generati nel campo dataDocumentationResult.

Verifica la pubblicazione in Knowledge Catalog

Se catalog_publishing_enabled è impostato su true, gli insight vengono pubblicati in Knowledge Catalog in modo asincrono dopo il completamento del job di scansione dei dati. Per verificare che gli insight siano stati salvati, utilizza l'API Dataplex per ispezionare gli aspetti del set di dati.

Sebbene gli insight vengano generati dalla scansione dei dati a livello di set di dati, i link alle voci risultanti vengono archiviati tra le tabelle che collegano. Per verificare queste relazioni, utilizza il metodo lookupEntryLinks per recuperare i link alle voci associati a una voce di tabella specifica.

Per recuperare i metadati del tuo set di dati BigQuery, utilizza il metodo entries.get. Per includere tutti gli aspetti, imposta il parametro view su FULL. Ad esempio:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto Google Cloudin cui è stata configurata l'analisi dei dati
  • LOCATION: la regione in cui si trova il gruppo di voci
  • DATASET_PROJECT_ID: l'ID del progetto Google Cloud in cui si trova il set di dati BigQuery
  • DATASET: l'ID del set di dati BigQuery

Se la pubblicazione in Knowledge Catalog va a buon fine, al set di dati BigQuery vengono associati i seguenti aspetti:

  • Descrizioni: contiene descrizioni del set di dati generate con l'AI
  • Query: contiene query SQL pertinenti relative al set di dati
  • Relazioni: persistenti come link di voci tra le tabelle presenti nel set di dati

Visualizza e salva la descrizione del set di dati

Gemini genera una descrizione in linguaggio naturale del set di dati, riassumendo i tipi di tabelle che contiene e il dominio aziendale che rappresenta. Per salvare questa descrizione nei metadati del set di dati, fai clic su Salva nei dettagli.

Puoi modificare la descrizione prima di salvare i dettagli.

Esplora il grafico delle relazioni

Il grafico Relazioni fornisce una rappresentazione visiva di come le tabelle del set di dati sono correlate tra loro. Mostra le 10 tabelle più connesse come nodi, con linee che rappresentano le relazioni tra di loro.

  • Per visualizzare i dettagli della relazione, ad esempio le colonne che uniscono due tabelle, passa il mouse sopra l'arco che collega i nodi della tabella.
  • Per riorganizzare il grafico e migliorarne la visibilità, trascina i nodi della tabella.

Utilizza la tabella delle relazioni

La tabella delle relazioni elenca le relazioni rilevate in un formato tabulare. Ogni riga rappresenta una relazione tra due tabelle, mostrando la tabella e la colonna di origine e la tabella e la colonna di destinazione. La colonna Origine indica come è stata determinata la relazione:

  • Inferito tramite LLM. Relazioni dedotte da Gemini, in base ai nomi e alle descrizioni di tabelle e colonne nel set di dati.
  • In base all'utilizzo. Relazioni estratte dai log delle query, in base ai join frequenti.
  • Definito dallo schema. Relazioni derivate dalle mappature chiave primaria e chiave esterna esistenti nello schema della tabella.

Puoi filtrare le relazioni per una tabella specifica o fornire un feedback sulla qualità delle relazioni rilevate. Per esportare la descrizione e le relazioni del set di dati generato in un file JSON, fai clic su Esporta in JSON.

Utilizza i suggerimenti per le query

In base alle relazioni scoperte, Gemini genera query di esempio. Si tratta di domande in linguaggio naturale con query SQL corrispondenti che uniscono più tabelle nel set di dati.

  1. Per visualizzare una query SQL, fai clic su una domanda.

  2. Per aprire la query nell'editor di query di BigQuery, fai clic su Copia nella query. Puoi quindi eseguire la query o modificarla.

  3. Per fare una domanda aggiuntiva, fai clic su Fai una domanda aggiuntiva, che apre un data canvas senza titolo in cui puoi interagire con Gemini per esplorare i tuoi dati.

Gestisci gli insight generati

Dopo aver generato gli insight per un set di dati, puoi gestirli, aggiornarli o eliminarli in Knowledge Catalog. Per saperne di più, consulta Gestisci gli insight sui set di dati.

Passaggi successivi