Utilizzare gli approfondimenti sui dati per i dati strutturati

Gli insight sui dati basati sull'AI ti consentono di generare automaticamente descrizioni, grafici delle relazioni e query SQL dai metadati delle tabelle e dei set di dati strutturati. Puoi quindi visualizzare e gestire questi insight in Knowledge Catalog (precedentemente Dataplex Universal Catalog) per accelerare l'esplorazione dei dati.

Prima di iniziare

Prima di utilizzare gli insight sui dati, assicurati di aver completato i seguenti prerequisiti:

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per utilizzare gli insight sui dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Ottieni l'accesso di sola lettura agli insight generati: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) sul progetto contenente la risorsa
• Leggi i dati delle tabelle Apache Iceberg, Apache Hive o SAP BDC: BigLake Viewer (roles/biglake.viewer) sulla risorsa
• Pubblica le descrizioni come aspetti: Dataplex Catalog Editor (roles/dataplex.catalogEditor) sulla risorsa
• Pubblica le query come aspetti: Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) sulla risorsa

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per utilizzare gli insight sui dati. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per utilizzare gli insight sui dati sono necessarie le seguenti autorizzazioni:

• dataplex.datascans.create
• dataplex.datascans.get
• dataplex.datascans.getData
• dataplex.datascans.run

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Abilita API

Per utilizzare gli insight sui dati, abilita le seguenti API nel tuo progetto:

• API Dataplex
• API BigQuery
• API Gemini for Google Cloud

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

Abilita le API

Per saperne di più sull'abilitazione dell'API Gemini for Google Cloud, consulta Abilita l'API Gemini for Google Cloud in un progetto Google Cloud .

Preparazione dei dati

Per le tabelle Lakehouse, assicurati che i dati siano in Cloud Storage e di aver creato una tabella Lakehouse.

Per le tabelle del catalogo REST Apache Iceberg, assicurati che siano registrate nel catalogo di runtime Lakehouse.

Genera insight in BigQuery

In BigQuery Studio, puoi utilizzare Gemini in BigQuery per generare insight sui dati per i set di dati, le tabelle, le viste, leGoogle Cloud tabelle BigLake, le tabelle esterne di BigQuery e gli spazi dei nomi Apache Iceberg. Puoi generare insight per queste risorse solo in BigQuery Studio.

Devi prima configurare Gemini in BigQuery, quindi generare insight. Dopo aver generato gli insight, puoi visualizzarli e modificarli in Knowledge Catalog.

Per saperne di più sulla generazione di insight in BigQuery, consulta i seguenti documenti:

• Panoramica degli insight sui dati
• Genera insight sulla tabella
• Genera insight sul set di dati

Nota: Gemini in BigQuery fa parte di Gemini per Google Cloud e non supporta le stesse offerte di conformità e sicurezza di BigQuery. Devi configurare Gemini in BigQuery solo per i progetti BigQuery che non richiedono offerte di conformità non supportate da Gemini per Google Cloud. Per informazioni su come disattivare o impedire l'accesso a Gemini in BigQuery, consulta Disattiva Gemini in BigQuery.

Genera insight per tabelle e spazi dei nomi Apache Iceberg

Anteprima

Questo prodotto o funzionalità sono soggetti ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

In Knowledge Catalog, puoi generare insight sui dati per tabelle e spazi dei nomi Apache Iceberg, Apache Hive e SAP BDC gestiti dal Lakehouse senza confini di Google Cloud.

Per generare insight per queste risorse, completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Ricerca di Knowledge Catalog.

   Vai alla Ricerca

2. In Filtri, individua il tipo di asset:

   • Per le tabelle Apache Iceberg: seleziona Lakehouse.
   • Per gli spazi dei nomi Apache Iceberg: imposta il filtro system su BIGLAKE e il filtro type su namespace.

3. Seleziona la tabella o lo spazio dei nomi Apache Iceberg dai risultati di ricerca per aprire la pagina dei dettagli della voce.

4. Fai clic sulla scheda Approfondimenti. Se la scheda è vuota, significa che gli insight per questa tabella non sono ancora stati generati.

5. Scegli un'opzione di generazione:

   • Per generare e collegare in modo permanente gli insight all'asset come aspetti dei metadati, fai clic su Genera e pubblica. In questo modo, gli insight diventano indicizzabili, ricercabili e visibili agli altri utenti della tua organizzazione all'interno di Knowledge Catalog.

   • Per generare e visualizzare temporaneamente gli insight durante la sessione corrente, fai clic su Genera senza pubblicare.

   Per saperne di più sulle differenze tra le modalità Genera e pubblica e Genera senza pubblicare, consulta Modalità per la generazione di insight sui dati.

6. Seleziona una regione per generare insight, quindi fai clic su Genera.

   La compilazione degli insight richiede alcuni minuti.

7. Fai clic sulla scheda Insight ed esamina i metadati generati:

   • Per le tabelle: esamina le descrizioni e le query di esempio generate dall'AI.
   • Per gli spazi dei nomi: esamina la descrizione del set di dati, i grafici delle relazioni interattive e i suggerimenti per le query.

   Per visualizzare la query SQL che risponde a una domanda, fai clic sulla domanda.

Esamina gli insight generati per una risorsa

Per visualizzare gli insight generati per una risorsa, completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Ricerca di Knowledge Catalog.

   Vai alla Ricerca

2. Cerca la risorsa per cui vuoi visualizzare gli insight.

3. Nei risultati di ricerca, fai clic sulla risorsa per aprire la relativa pagina dei dettagli della voce.

4. Esamina le descrizioni e le query generate per la risorsa selezionata.

5. Per visualizzare i grafici delle relazioni e capire come si collegano i punti dati, fai clic sulla scheda Relazioni (anteprima). Puoi visualizzare le relazioni a livello di tabella o a livello di set di dati e spazio dei nomi se hai generato insight sul set di dati.

Gestisci gli insight sulle tabelle

Dopo aver generato e pubblicato gli insight sulla tabella, puoi esaminarli e gestirli come aspetti dei metadati in Knowledge Catalog. Gli insight a livello di tabella includono descrizioni di tabelle e colonne e query di esempio.

Aggiorna le descrizioni generate per una tabella

Puoi aggiornare le descrizioni di tabelle e colonne utilizzando solo l'API Dataplex. Per farlo, utilizza il metodo entries.patch.

Aggiorna le query generate per una tabella

Puoi aggiornare le query generate per una tabella utilizzando sia la console Google Cloud sia l'API Dataplex.

Console

1. Cerca la tabella per cui vuoi aggiornare le query generate.

2. Nei risultati di ricerca, fai clic sulla tabella per aprire la pagina dei dettagli della voce.

3. Nella sezione Query, fai clic su Modifica.

4. Aggiorna la descrizione della query in base alle tue esigenze.

5. Gestisci la proprietà: per impostazione predefinita, l'opzione Origine è impostata su Agente. Se modifichi una query e cambi l'origine in Utente, le esecuzioni successive della generazione di insight non sovrascriveranno le modifiche. Se l'Origine rimane Agente, la query potrebbe essere sostituita durante una rigenerazione.

6. Gestisci gli override: per impedire che tutte le query vengano sostituite durante una nuova esecuzione, puoi impostare l'opzione Gestito dall'utente su True. Questo vale per l'intero insieme di query per quell'aspetto dei metadati, garantendo che non vengano perse modifiche manuali.

REST

Per aggiornare le query per una tabella, utilizza il metodo entries.patch.

Aggiorna le relazioni generate per una tabella

Puoi aggiornare le relazioni solo utilizzando l'API Dataplex. Per farlo, utilizza il metodo entries.patch.

Gestisci gli insight sul set di dati

Gli insight a livello di set di dati si concentrano su descrizioni di alto livello e query a livello di set di dati.

Aggiorna le descrizioni generate per un set di dati

Puoi aggiornare le descrizioni dei set di dati solo utilizzando l'API Dataplex. Per farlo, utilizza il metodo entries.patch.

Aggiorna le query generate per un set di dati

Puoi aggiornare le query generate per un set di dati utilizzando sia la console Google Cloud sia l'API Dataplex.

Console

1. Cerca il set di dati per cui vuoi aggiornare le query generate.

2. Nei risultati di ricerca, fai clic sul set di dati per aprire la relativa pagina dei dettagli della voce.

3. Nella sezione Query, fai clic su Modifica.

4. Aggiorna la descrizione in base alle tue esigenze.

5. Gestisci la proprietà: per impostazione predefinita, l'opzione Origine è impostata su Agente. Se modifichi una query e cambi l'origine in Utente, le esecuzioni successive della generazione di insight non sovrascriveranno le modifiche. Se l'Origine rimane Agente, la query potrebbe essere sostituita durante una rigenerazione.

6. Gestisci gli override: per impedire che tutte le query vengano sostituite durante una nuova esecuzione, puoi impostare l'opzione Gestito dall'utente su True. Questo vale per l'intero insieme di query per quell'aspetto dei metadati, garantendo che non vengano perse modifiche manuali.

REST

Per aggiornare le query per un set di dati, utilizza il metodo entries.patch.

Aggiorna i link delle voci generati per un set di dati

Le relazioni scoperte dagli insight sui dati vengono archiviate come link alle voci tra le voci della tabella. Questi link includono un aspetto schema-join che descrive il modo in cui le tabelle si connettono.

Per modificare queste relazioni o fornire override manuali, devi utilizzare l'API Dataplex.

Comportamento di aggiornamento dei link di ingresso

Quando gestisci le relazioni utilizzando l'API, è importante capire in che modo gli aggiornamenti manuali dell'API interagiscono con le scansioni in background automatiche per evitare di sovrascrivere accidentalmente i dati.

• Aggiornamenti manuali (comportamento a livello di API): l'API UpdateEntryLink utilizza il metodo PATCH per eseguire la sostituzione a livello di aspetto:

  • Sostituzione completa dell'aspetto: se includi l'aspetto schema-join nella richiesta di aggiornamento, Knowledge Catalog sostituisce l'intero aspetto esistente con quello nuovo che fornisci.

  • Nessuna unione automatica: l'API non unisce automaticamente le nuove voci all'elenco joins interno. Se invii un payload contenente una sola unione, tutte le unioni esistenti in precedenza all'interno di quell'aspetto vengono rimosse.

  Avviso: per aggiungere una nuova relazione mantenendo quelle esistenti utilizzando l'API, devi prima recuperare l'aspetto schema-join corrente e includere tutti i join esistenti nel corpo della richiesta di aggiornamento.

• Scansioni automatiche (comportamento a livello di sistema): le scansioni automatiche, come gli insight sui dati, eseguono una logica di unione specializzata prima di chiamare l'API per garantire che i metadati ad alta certezza vengano conservati in base alla loro origine:

  • Priorità delle origini: se più origini identificano la stessa relazione, Knowledge Catalog assegna loro la priorità nel seguente ordine:

    1. USER (modifiche manuali)
    2. TABLE_CONSTRAINTS
    3. QUERY_HISTORY
    4. AGENT (suggerimenti LLM)

  • Aggiornamento dell'LLM: le relazioni derivate dalla fonte AGENT sono dinamiche. Se una scansione successiva non consiglia più la relazione, questa viene rimossa.

Aggiorna i link di accesso

Per visualizzare e modificare i link di accesso, completa i seguenti passaggi:

Nota: per assicurarti che le modifiche manuali non vengano sovrascritte o modificate da processi in background automatizzati, utilizza le seguenti configurazioni nei dati degli aspetti:

• userManaged: true: Imposta questo valore a livello di aspetto per indicare a Knowledge Catalog di ignorare completamente tutti gli aggiornamenti automatici per questa relazione.
• inferenceSource: "USER": imposta questo valore all'interno di voci di unione specifiche per identificarle come verificate manualmente, proteggendole durante i processi di unione standard.

1. Identifica il link della voce.

   Prima di poter aggiornare una relazione, trova il nome della risorsa elencando tutti i link delle voci che coinvolgono una voce di tabella specifica:

   gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del tuo progetto Google Cloud
   • LOCATION: la regione in cui viene attivata l'analisi dei dati
   • TABLE_ENTRY_NAME: il nome completo della risorsa della voce della tabella BigQuery (ad esempio, bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

2. Aggiorna il link della voce.

   Per modificare l'aspetto schema-join del link di accesso target, utilizza il metodo PATCH:

   Nota: per assicurarti che le successive scansioni automatiche non sovrascrivano le modifiche manuali, imposta inferenceSource: "USER" nel corpo della richiesta.

   gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
   -d '{
     "aspects": {
       "dataplex-types.global.schema-join": {
         "data": {
           "joins": [
             {
               "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
               "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
               "type": "JOIN",
               "inferenceSource": "USER"
             }
           ],
           "userManaged": false
         }
       }
     }
   }'
   

   Sostituisci quanto segue:

   • ENTRYLINK_ID: l'ID del link della voce recuperato nel passaggio di identificazione precedente
   • DATASET_ID: l'ID del tuo set di dati BigQuery
   • SOURCE_TABLE: il nome della tabella di origine
   • SOURCE_FIELD: il nome della colonna utilizzata per l'unione nella tabella di origine
   • TARGET_TABLE: il nome della tabella di destinazione
   • TARGET_FIELD: il nome della colonna utilizzata per l'unione nella tabella di destinazione

Passaggi successivi

• Scopri di più sugli insight sui dati per i dati strutturati.

• Scopri come monitorare l'utilizzo dei token di insight sui dati.