Risolvere i problemi relativi alla cronologia dei dati

La derivazione dei dati in Knowledge Catalog (precedentemente Dataplex Universal Catalog) ti consente di monitorare lo spostamento dei dati, comprenderne le origini ed eseguire il debug delle pipeline di dati. Se i grafici di tracciabilità, i metadati dei processi, i dettagli delle tabelle o i link a livello di colonna non vengono visualizzati come previsto o se vedi addebiti imprevisti per l'elaborazione di Knowledge Catalog Premium, puoi controllare le autorizzazioni del progetto, le impostazioni dell'API e i tipi di prestazione supportati.

Se hai bisogno di aiuto per risolvere un problema non trattato in questo documento, consulta Assistenza clienti Google Cloud.

Tipi di progetto

Gli asset di dati possono risiedere in progetti diversi. Di seguito è riportato un riepilogo dei possibili progetti e dei relativi nomi degli asset.

Progetto di archiviazione BigQuery

Questo progetto archivia gli asset di dati BigQuery. Puoi trovarlo nei dettagli della risorsa come parte di Table ID, prima del primo punto.

Figura 1. Il nome di un progetto di archiviazione BigQuery.

Progetto Compute

Questo progetto archivia i metadati di derivazione dei dati. Per BigQuery, è la località in cui esegui un job. Se esegui un job utilizzando la consoleGoogle Cloud , puoi trovare il nome del progetto di computing nel selettore dei progetti:

Figura 2. Il nome di un progetto di computing che esegue job BigQuery.

Quando invii richieste all'API BigQuery, specifica il progetto di computing nell'URL, ad esempio:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Progetto attivo

Questo è il progetto da cui stai visualizzando la derivazione dei dati. La consoleGoogle Cloud mostra il progetto attivo nel selettore dei progetti. Se utilizzi l'API, il progetto attivo è quello da cui effettui le chiamate API.

Figura 3. Il progetto attivo nella console Google Cloud .

La derivazione dei dati di BigQuery non viene visualizzata

Il seguente problema si verifica dopo l'esecuzione di un job BigQuery. In questo caso, il problema può essere causato da tre scenari:

• L'API Data Lineage è disabilitata nel progetto attivo o nel progetto di computing.
• Non hai il ruolo Data Lineage Viewer (roles/datalineage.viewer) nel progetto attivo o di computing.
• La derivazione dei dati non è ancora arrivata. A seconda del volume e della complessità dei dati in fase di elaborazione, la visualizzazione della derivazione dei dati può richiedere da 30 minuti a 24 ore.

Se visualizzi il messaggio "Impossibile recuperare la derivazione a causa di autorizzazioni mancanti", significa che non disponi delle autorizzazioni per il progetto attivo. In caso contrario, non disponi delle autorizzazioni per il progetto di computing.

Figura 4. Esempio di derivazione non visualizzata nell'interfaccia utente di BigQuery.

Per risolvere il problema, controlla se l'API Data Lineage è abilitata per il progetto di computing. Dopo aver abilitato l'API, devi eseguire un job per visualizzare la derivazione dei dati. A seconda del volume e della complessità dei dati in fase di elaborazione, la visualizzazione della derivazione dei dati può richiedere da 30 minuti a 24 ore.

Successivamente, controlla se l'API Data Lineage è abilitata per il progetto attivo.

Quando l'API Data Lineage è abilitata, concedi il ruolo Visualizzatore derivazione dei dati (roles/datalineage.viewer) sia nel progetto attivo sia nel progetto di computing.

I metadati di processo BigQuery non vengono visualizzati

Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che non mostra tutti i dettagli, come l'istruzione SQL o la proprietà Process type. Questo accade anche se la derivazione dei dati viene visualizzata correttamente.

Questo può accadere se non disponi delle autorizzazioni per visualizzare i metadati nel progetto di computing.

Esempio:

• Tabella di origine BigQuery: docs-source.dataset.source-001
• Tabella di destinazione BigQuery: docs-target.dataset.target-001
• Derivazione dei dati tra docs-source.dataset.source-001 e docs-target.dataset.target-001 nel progetto di computing docs-compute
• Disponi del ruolo Visualizzatore derivazione dei dati per i progetti docs-compute attivo e di computing.

Se fai clic sui dettagli del processo BigQuery, nella console Google Cloud viene visualizzato il seguente messaggio:

You don't have permission to view BigQuery process metadata in project X.

Figura 5. Esempio di dettagli del processo BigQuery non visualizzati nell'interfaccia utente di BigQuery.

Per risolvere il problema, concedi all'utente l'autorizzazione bigquery.jobs.get (ad esempio, inclusa nel ruolo BigQuery Resource Viewer) nel progetto di computing.

I dettagli della tabella BigQuery non vengono visualizzati

Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che mostra solo la proprietà Fully qualified name. Ciò si verifica anche se la derivazione dei dati viene visualizzata correttamente. Questo può accadere se non disponi di tutte le autorizzazioni richieste nei progetti di archiviazione della tabella.

Esempio:

• Tabella BigQuery docs-source.dataset.source-001
• Tabella BigQuery docs-target.dataset.target-001
• Lineage dei dati tra docs-source.dataset.source-001 e docs-target.dataset.target-001 con progetto di computing docs-compute
• Hai il ruolo Data Lineage Viewer per i progetti docs-compute attivo e di computing.

In questo caso, quando fai clic sui dettagli del nodo BigQuery, viene visualizzato il messaggio Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it.

Figura 6. Esempio di dettagli della tabella BigQuery non visualizzati nell'interfaccia utente di BigQuery.

Per risolvere il problema, concedi l'autorizzazione bigquery.tables.get (ad esempio, inclusa nel ruolo Visualizzatore dati BigQuery) nel progetto di archiviazione.

La derivazione a livello di colonna mostra "Non ci sono colonne da selezionare"

Il seguente problema si verifica quando visualizzi un asset nella console Google Cloud e il grafico della derivazione a livello di tabella viene visualizzato correttamente, ma la selezione della derivazione a livello di colonna mostra il messaggio "Non ci sono colonne da selezionare" o non vengono visualizzati link da colonna a colonna.

Questo problema può verificarsi nei seguenti scenari:

• Eventi OpenLineage personalizzati: gli eventi importati tramite l'endpoint ProcessOpenLineageRunEvent dell'API Data Lineage supportano solo la derivazione a livello di tabella. I facet personalizzati a livello di colonna non vengono visualizzati nella consoleGoogle Cloud .
• Origini dati o sistemi non supportati: i grafici di derivazione a livello di colonna vengono generati solo per le trasformazioni SQL di BigQuery e i job di Managed Service for Apache Spark. Altri sistemi integrati (come Cloud Data Fusion e Vertex AI) supportano solo la derivazione a livello di tabella.
• Tipi di prestazione BigQuery non supportati: la tracciabilità a livello di colonna non viene raccolta per i job di caricamento, i job di copia o le routine di BigQuery.
• Tabelle esterne: la derivazione a livello di colonna upstream non viene raccolta per le tabelle esterne.
• Asset non strutturati o a livello di archiviazione: sebbene gli asset basati su file (come file o bucket Cloud Storage non elaborati) in genere non siano strutturati, la derivazione dei dati può visualizzare le colonne se la derivazione a livello di colonna viene segnalata al sistema. Se la derivazione a livello di colonna non viene segnalata per l'asset file, non puoi selezionare alcuna colonna.
• Tipi nidificati complessi: la derivazione a livello di colonna monitora solo le colonne di primo livello. Non puoi selezionare singolarmente i campi nidificati all'interno di tipi di dati complessi (come STRUCT o JSON).
• Pseudocolonne di partizionamento: le colonne di partizionamento di sistema (come _PARTITIONDATE e _PARTITIONTIME) non sono riconosciute nei grafici di derivazione a livello di colonna.
• Limiti dei link superati: se un job di trasformazione genera più di 1500 link a livello di colonna, Knowledge Catalog salta la raccolta della derivazione a livello di colonna e conserva solo la derivazione a livello di tabella.
• Asset tra organizzazioni: se un percorso di derivazione attraversa un asset situato in un'altra organizzazione, non puoi accedere ai dettagli dello schema e delle colonne se non appartieni alla stessa organizzazione dell'asset.

Addebiti imprevisti per l'elaborazione premium di Knowledge Catalog

Hai disabilitato l'API Dataplex (dataplex.googleapis.com) per interrompere gli addebiti, ma continui a visualizzare addebiti giornalieri per lo SKU "Knowledge Catalog Premium Processing".

Questo problema può verificarsi se l'API Data Lineage (datalineage.googleapis.com) rimane abilitata. L'API Data Lineage viene fatturata con lo SKU "Knowledge Catalog Premium Processing", ma viene gestita come API separata nella console Google Cloud . La disattivazione dell'API Dataplex non disattiva l'API Data Lineage né interrompe i relativi addebiti.

Per identificare se la derivazione dei dati è l'origine degli addebiti, controlla il report sulla fatturazione Cloud per l'etichetta goog-dataplex-workload-type con il valore LINEAGE.

Per interrompere gli addebiti, disattiva la derivazione dei dati disabilitando l'API Data Lineage nei tuoi progetti.