Utilizzare la concatenazione dei dati con i sistemi Google Cloud

Visualizza la derivazione dei dati per comprendere le relazioni tra le risorse del tuo progetto e i processi che le hanno create. Queste relazioni mostrano come gli asset di dati, come tabelle e set di dati, vengono trasformati da processi come query e pipeline. Questa guida descrive come accedere ai grafici di derivazione in Dataplex Universal Catalog, BigQuery e Vertex AI.

Puoi visualizzare i dettagli della derivazione dei dati nella console Google Cloud o recuperarli utilizzando l'API Data Lineage.

Ruoli e autorizzazioni

La derivazione dei dati monitora automaticamente le informazioni sulla derivazione quando abiliti l'API Data Lineage. Non hai bisogno di ruoli di amministratore o editor per acquisire la derivazione degli asset di dati.

Per visualizzare la derivazione dei dati, devi disporre di autorizzazioni Identity and Access Management (IAM) specifiche. Le informazioni sulla derivazione vengono acquisite in più progetti, pertanto devi disporre delle autorizzazioni in più progetti.

Quando visualizzi la derivazione nel Catalogo universale Dataplex, in BigQuery o in Vertex AI, devi disporre delle autorizzazioni per visualizzare le informazioni sulla derivazione nel progetto in cui le visualizzi.
Quando visualizzi la derivazione registrata in altri progetti, devi disporre delle autorizzazioni per visualizzare le informazioni sulla derivazione nei progetti in cui è stata registrata.

Per ottenere le autorizzazioni necessarie per visualizzare la derivazione dei dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Visualizzatore Data Lineage (roles/datalineage.viewer) sul progetto in cui viene registrata la derivazione e sul progetto in cui viene visualizzata la derivazione
Visualizza i dettagli della tabella BigQuery: Visualizzatore dati BigQuery (roles/bigquery.dataViewer) nel progetto di archiviazione della tabella
Visualizza i dettagli del job BigQuery: Visualizzatore risorse BigQuery (roles/bigquery.resourceViewer) nel progetto di calcolo del job
Visualizza i dettagli di altre risorse catalogate: Visualizzatore Dataplex Catalog (roles/dataplex.catalogViewer) sul progetto in cui sono archiviate le voci di catalogo

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per visualizzare la derivazione dei dati. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per visualizzare la derivazione dei dati sono necessarie le seguenti autorizzazioni:

Visualizza i dettagli della tabella BigQuery: bigquery.tables.get: il progetto di archiviazione della tabella
Visualizza i dettagli del job BigQuery: bigquery.jobs.get: il progetto di calcolo del job

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Tipi di visualizzazioni della derivazione dei dati

Puoi visualizzare le informazioni sulla derivazione sotto forma di grafico o elenco. Per impostazione predefinita, il grafico della derivazione mostra la derivazione a livello di tabella. Per i job BigQuery, puoi visualizzare la derivazione a livello di colonna nelle visualizzazioni grafico ed elenco.

Sono disponibili i seguenti tipi di visualizzazione:

Visualizzazione a grafo: mostra la derivazione come un grafico interattivo, consentendoti di esplorare le relazioni tra asset e colonne di dati espandendo i nodi.
Visualizzazione elenco: mostra la derivazione in formato tabellare, fornendo rappresentazioni semplificate e dettagliate della derivazione a livello di tabella e di colonna. Puoi personalizzare le colonne ed esportare i dati di derivazione da questa visualizzazione.

Gli elementi chiave del grafico sono descritti come segue:

Nodi: rappresentano le entità di dati. Nella visualizzazione a livello di tabella, un nodo mostra il nome della tabella e le relative colonne. Nella visualizzazione a livello di colonna, ogni nodo rappresenta una tabella specifica e le relative colonne con la derivazione.
Archi: le linee che collegano i nodi e rappresentano i processi che si verificano tra loro. I bordi possono includere icone o etichette per fornire maggiori informazioni sulla trasformazione:
- Icons: nella visualizzazione a livello di tabella, le icone vengono visualizzate sui bordi per rappresentare il processo di trasformazione. Quando esplori manualmente il grafico, le icone sui bordi rappresentano il sistema di origine del processo (ad esempio BigQuery o Vertex AI). Se sono coinvolti più processi, viene visualizzata un'icona "Più processi". Se il sistema di origine del processo è sconosciuto, viene utilizzata un'icona a forma di ingranaggio. Quando applichi i filtri, viene utilizzata un'icona a forma di ingranaggio per tutti i processi.
- Etichette: nella visualizzazione a livello di colonna, gli archi sono etichettati per descrivere il tipo di dipendenza tra le colonne, ad esempio Exact copy o Other.

Abilita la derivazione dei dati

Abilita la derivazione dei dati per iniziare a monitorare automaticamente le informazioni sulla derivazione per i sistemi supportati. Per impostazione predefinita, l'attivazione dell'API attiva il monitoraggio della derivazione per la maggior parte dei servizi supportati. Per controllare l'importazione della derivazione di Dataproc, vedi Controllare l'importazione della derivazione per un servizio.

Devi abilitare l'API Data Lineage sia nel progetto in cui visualizzi la derivazione sia nei progetti in cui viene registrata. Per saperne di più, consulta Tipi di progetti.

Per acquisire le informazioni sulla derivazione, completa i seguenti passaggi:
1. Nella console Google Cloud , nella pagina Selettore progetto, seleziona il progetto in cui vuoi registrare la derivazione.
  
  Vai al selettore di progetti
2. Abilita l'API Data Lineage.
  
  Abilita l'API Data Lineage
3. Ripeti i passaggi precedenti per ogni progetto in cui vuoi registrare la derivazione.
Nel progetto in cui visualizzi la derivazione, abilita l'API Data Lineage e l'API Dataplex.

Abilita le API

Controllare l'importazione della derivazione per un servizio

Dopo aver abilitato l'API Data Lineage, il servizio avvia il monitoraggio automatico della lineage per la maggior parte dei servizi supportati. Puoi quindi attivare o disattivare in modo selettivo l'importazione della derivazione per integrazioni specifiche a livello di progetto, cartella o organizzazione. Durante l'anteprima, questa funzionalità supporta solo la configurazione dell'importazione per Dataproc. Se disattivi l'importazione della derivazione per Dataproc, viene disattivata anche l'importazione della derivazione per Dataproc Serverless per Apache Spark.

La configurazione è gerarchica. La configurazione più specifica ha la precedenza. Ad esempio, una configurazione a livello di progetto sostituisce una configurazione a livello di cartella. Se non è impostata alcuna configurazione, viene utilizzato il comportamento predefinito del servizio. Per Dataproc, l'impostazione predefinita è Attivato.

L'applicazione di qualsiasi modifica alla configurazione potrebbe richiedere fino a 24 ore, ma di solito diventa effettiva entro due ore.

Per Dataproc e Dataproc Serverless per Apache Spark, i dati di derivazione vengono inviati solo se la derivazione è abilitata anche in Dataproc. Per saperne di più, vedi Lignaggio Spark di Dataproc e Lignaggio dei dati di Dataproc Serverless per Apache Spark.

Per saperne di più sul controllo dell'importazione della derivazione, incluso il modo in cui la configurazione viene applicata gerarchicamente, consulta Controllare l'importazione della derivazione.

Prerequisiti

Per controllare l'importazione della derivazione, devi utilizzare l'API Data Lineage. Assicurati di avere un progetto client configurato per la fatturazione e la quota, poiché l'API Data Lineage è un'API basata sul client.

Abilita l'API datalineage.googleapis.com nel progetto client. Per saperne di più, consulta Attivare la derivazione dei dati.
Imposta il progetto cliente. Per gli esempi seguenti, utilizza l'intestazione X-Goog-User-Project. Per ulteriori informazioni, vedi Parametri di sistema.

Ottieni la configurazione attuale

Per visualizzare la configurazione della derivazione attuale, utilizza il metodo projects.locations.config.get. Puoi recuperare la configurazione per un progetto, una cartella o un'organizzazione.

L'esempio seguente mostra come ottenere la configurazione di un progetto:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
     -X GET \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config"

Sostituisci questi valori:

CLIENT_PROJECT_ID: l'ID del progetto client utilizzato per la fatturazione o le quote.
PROJECT_ID: l'ID del progetto di cui vuoi visualizzare la configurazione.

Per ottenere la configurazione di una cartella o un'organizzazione, sostituisci projects/PROJECT_ID con folders/FOLDER_ID o organizations/ORGANIZATION_ID.

Il comando restituisce uno dei seguenti output:

Se non è impostata alcuna configurazione, l'output conterrà un oggetto ingestion vuoto:
```
  {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {}
  }
  
```
In questo caso, l'importazione della derivazione di Dataproc utilizza l'impostazione predefinita, ovvero enabled.

Se l'importazione della derivazione Dataproc è abilitata in modo esplicito, viene visualizzato il seguente output:

  {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "DATAPROC"
          },
          "lineageEnablement": {
            "enabled": true
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Se l'importazione della derivazione di Dataproc è disabilitata, viene visualizzato il seguente output:

  {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "DATAPROC"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Il campo etag nella risposta è un checksum generato dal server in base al valore attuale della configurazione. Quando aggiorni una configurazione utilizzando il metodo patch, puoi includere il valore etag restituito da una recente richiesta get nel corpo della richiesta. Se fornisci etag, Dataplex Universal Catalog lo utilizza per verificare che la configurazione non sia cambiata dall'ultima richiesta di lettura. Se non c'è corrispondenza, la richiesta di aggiornamento non va a buon fine. In questo modo, non sovrascrivi inavvertitamente le configurazioni apportate da altri utenti negli scenari di lettura-modifica-scrittura. Se non fornisci un etag nella tua richiesta patch, Dataplex Universal Catalog sovrascrive la configurazione in modo incondizionato.

Disabilita l'importazione della derivazione per un servizio

Per disattivare l'importazione della derivazione per un servizio specifico, utilizza il metodo projects.locations.config.patch con una regola di importazione che imposta lineageEnablement.enabled su false per il integration specifico.

Per evitare di sovrascrivere involontariamente le configurazioni apportate da altri utenti negli scenari di lettura-modifica-scrittura, puoi includere il campo etag nel corpo della richiesta. Per saperne di più, consulta Ottenere la configurazione attuale.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
     -X PATCH \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" \
     --data-binary @- << EOF
{
  "ingestion": {
    "rules": [{
      "integrationSelector": {
        "integration": "DATAPROC"
      },
      "lineageEnablement": {
        "enabled": false
      }
    }]
  },
  "etag": "ETAG"
}
EOF

Sostituisci quanto segue:

CLIENT_PROJECT_ID: l'ID del progetto client utilizzato per la fatturazione o le quote.
PROJECT_ID: l'ID del progetto di cui vuoi aggiornare la configurazione.
ETAG: il valore etag restituito da una recente richiesta get.

Per disattivare l'importazione della derivazione di un servizio per una cartella o un'organizzazione, sostituisci projects/PROJECT_ID con folders/FOLDER_ID o organizations/ORGANIZATION_ID.

Abilita l'importazione della derivazione per un servizio

Per attivare l'importazione della derivazione per un servizio specifico, utilizza il metodo projects.locations.config.patch con una regola di importazione che imposta lineageEnablement.enabled su true per integration specifico.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "X-Goog-User-Project: CLIENT_PROJECT_ID" \
     -X PATCH \
     "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/global/config" \
     --data-binary @- << EOF
{
  "ingestion": {
    "rules": [{
      "integrationSelector": {
        "integration": "DATAPROC"
      },
      "lineageEnablement": {
        "enabled": true
      }
    }]
  },
  "etag": "ETAG"
}
EOF

Sostituisci quanto segue:

CLIENT_PROJECT_ID: l'ID del progetto client utilizzato per la fatturazione o le quote.
PROJECT_ID: l'ID del progetto di cui vuoi aggiornare la configurazione.
ETAG: il valore etag restituito da una recente richiesta get.

Per attivare l'importazione della derivazione di un servizio per una cartella o un'organizzazione, sostituisci projects/PROJECT_ID con folders/FOLDER_ID o organizations/ORGANIZATION_ID.

Visualizza la derivazione nel Catalogo universale Dataplex

Puoi visualizzare le informazioni sulla derivazione dei dati nell'interfaccia web di Dataplex Universal Catalog.

Per visualizzare la derivazione, segui queste istruzioni:

Nella console Google Cloud , vai alla pagina Dataplex Universal Catalog.

Vai a Cerca
Seleziona Dataplex Universal Catalog come modalità di ricerca.
Cerca la voce che vuoi visualizzare e fai clic. Per saperne di più, consulta Cercare risorse in Dataplex Universal Catalog.
Fai clic sulla scheda Lignaggio.

Si apre la visualizzazione predefinita Grafico, che mostra la derivazione a livello di tabella in tutti i sistemi e le regioni. Per saperne di più, consulta la sezione Visualizzazione del grafico della derivazione.
Per esplorare manualmente il grafico della derivazione, fai clic su Espandi accanto a un nodo per caricare altri cinque nodi alla volta.

Per saperne di più, consulta Esplorare manualmente il grafico della derivazione.
Fai clic su un nodo nella visualizzazione Grafico.

Si apre il riquadro Dettagli con informazioni sull'asset, ad esempio nome e tipo completamente qualificati. Per saperne di più, consulta Dettagli del nodo.
Fai clic su un bordo con un'icona di processo nella visualizzazione Grafico.

Si apre il riquadro Query. Per maggiori informazioni, vedi Esaminare la logica di trasformazione e Controllo e cronologia delle esecuzioni.
- Per esaminare la logica di trasformazione, fai clic sulla scheda Dettagli.
- Per visualizzare l'audit e la cronologia delle esecuzioni, fai clic sulla scheda Esecuzioni.
Nel riquadro Esplora lignaggio, seleziona i criteri di filtro, ad esempio Direzione, Tipo di dipendenza o Intervallo di tempo, poi fai clic su Applica.

Si apre una visualizzazione mirata all'interno di una regione specifica (anteprima). Questa visualizzazione espande automaticamente il grafico fino a tre livelli di nodi. Per saperne di più, consulta Applicare filtri per una visualizzazione della derivazione mirata.
Nella visualizzazione Grafico selezionata, seleziona un nodo e poi, nel riquadro dei dettagli del nodo, fai clic su Visualizza percorso per visualizzare il percorso di derivazione dal nodo selezionato alla voce principale (solo nella visualizzazione selezionata).

Per ulteriori informazioni, vedi Visualizzazione del percorso di derivazione.
Per visualizzare la derivazione a livello di colonna (solo per i job BigQuery), esegui una delle seguenti operazioni:
- In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella.
  
  Icona della colonna
- Nel riquadro Esplora derivazioni, filtra in base al nome della colonna e fai clic su Applica.
Per saperne di più, consulta la sezione Derivazione a livello di colonna.
Fai clic su Reimposta.

Questa azione rimuove tutti i filtri applicati e ti porta all'inizio della visualizzazione del grafico.
Fai clic su Elenco per passare alla visualizzazione elenco.

La visualizzazione Elenco offre rappresentazioni tabellari semplificate e dettagliate della derivazione sia a livello di tabella che di colonna, sincronizzate con la visualizzazione Grafico. Per impostazione predefinita, viene visualizzata la visualizzazione elenco semplificata e puoi passare alla visualizzazione elenco dettagliata per analizzare le singole relazioni origine-destinazione. Puoi configurare le colonne visualizzate ed esportare i dati di derivazione. Per ulteriori informazioni, consulta la visualizzazione elenco della derivazione.

Visualizza la derivazione in BigQuery

Puoi visualizzare le informazioni sulla derivazione dei dati nell'interfaccia web di BigQuery.