Risolvere i problemi relativi alla cronologia dei dati

Questo documento ti aiuta a risolvere i problemi più comuni relativi ai grafici di derivazione dei dati di Knowledge Catalog (in precedenza Dataplex Universal Catalog) che non vengono visualizzati.

Tipi di progetto

Gli asset di dati possono risiedere in progetti diversi. Di seguito è riportato un riepilogo dei possibili progetti e dei relativi nomi degli asset.

Progetto di archiviazione BigQuery

Questo progetto archivia gli asset di dati BigQuery. Puoi trovarlo nei dettagli dell'asset come parte di Table ID, prima del primo punto.

Figura 1. Il nome di un progetto di archiviazione BigQuery.

Progetto Compute

Questo progetto archivia i metadati di derivazione dei dati. Per BigQuery, è qui che esegui un job. Se esegui un job utilizzando la Google Cloud console, puoi trovare il nome del progetto Compute nel selettore di progetti:

Figura 2. Il nome di un progetto Compute che esegue job BigQuery.

Quando invii richieste all'API BigQuery, specifica il progetto Compute nell'URL, ad esempio:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Progetto attivo

Questo è il progetto da cui stai visualizzando la derivazione dei dati. La Google Cloud console mostra il progetto attivo nel selettore di progetti. Se utilizzi l'API, il progetto attivo è il progetto da cui stai effettuando le chiamate API.

Figura 3. Il progetto attivo nella Google Cloud console.

La derivazione dei dati BigQuery non viene visualizzata

Il seguente problema si verifica dopo l'esecuzione di un job BigQuery. In questo caso, il problema può essere causato da tre scenari:

• L'API Data Lineage è disabilitata nel progetto attivo o nel progetto Compute.
• Non hai il ruolo Visualizzatore derivazione dei dati (roles/datalineage.viewer) nel progetto attivo o nel progetto Compute.
• La derivazione dei dati non è ancora arrivata. A seconda del volume e della complessità dei dati elaborati, la visualizzazione della derivazione dei dati può richiedere da 30 minuti standard fino a 24 ore.

Se nella parte inferiore della pagina viene visualizzato il messaggio "Impossibile recuperare la derivazione a causa di autorizzazioni mancanti" , non disponi delle autorizzazioni per il progetto attivo. In caso contrario, non disponi delle autorizzazioni per il progetto Compute.

Figura 4. Esempio di derivazione non visualizzata nell'interfaccia utente di BigQuery.

Per risolvere il problema, verifica se l'API Data Lineage è abilitata per il progetto Compute. Dopo aver abilitato l'API, devi eseguire un job per visualizzare la derivazione dei dati. A seconda del volume e della complessità dei dati elaborati, la visualizzazione della derivazione dei dati può richiedere da 30 minuti standard fino a 24 ore.

Poi, verifica se l'API Data Lineage è abilitata per il progetto attivo.

Quando l'API Data Lineage è abilitata, assegna il ruolo Visualizzatore derivazione dei dati (roles/datalineage.viewer) sia nel progetto attivo sia nel progetto Compute.

I metadati del processo BigQuery non vengono visualizzati

Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che non mostra tutti i dettagli, come l'istruzione SQL o la proprietà Process type. Questo accade anche se la derivazione dei dati viene visualizzata correttamente.

Questo può accadere quando non hai le autorizzazioni per visualizzare i metadati nel progetto Compute.

Esempio:

• Tabella di origine BigQuery: docs-source.dataset.source-001
• Tabella di destinazione BigQuery: docs-target.dataset.target-001
• Derivazione dei dati tra docs-source.dataset.source-001 e docs-target.dataset.target-001 in progetto Compute docs-compute
• Hai il ruolo Visualizzatore derivazione dei dati per i progetti attivi e Compute docs-compute.

Se fai clic sui dettagli del processo BigQuery, nella console viene visualizzato il seguente messaggio in the Google Cloud console:

You don't have permission to view BigQuery process metadata in project X.

Figura 5. Esempio di dettagli del processo BigQuery non visualizzati nell'interfaccia utente di BigQuery.

Per risolvere il problema, concedi all'utente l'autorizzazione bigquery.jobs.get (ad esempio inclusa nel ruolo Visualizzatore risorse BigQuery ) nel progetto Compute.

I dettagli della tabella BigQuery non vengono visualizzati

Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che mostra solo la proprietà Fully qualified name. Questo accade anche se la derivazione dei dati viene visualizzata correttamente. Questo può accadere quando non disponi di tutte le autorizzazioni richieste nei progetti di archiviazione della tabella .

Esempio:

• Tabella BigQuery docs-source.dataset.source-001
• Tabella BigQuery docs-target.dataset.target-001
• Derivazione dei dati tra docs-source.dataset.source-001 e docs-target.dataset.target-001 con il progetto Compute docs-compute
• Hai il ruolo Visualizzatore derivazione dei dati per i progetti attivi e Compute docs-compute.

In questo caso, quando fai clic sui dettagli del nodo BigQuery, puoi visualizzare un messaggio Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it.

Figura 6. Esempio di dettagli della tabella BigQuery non visualizzati nell'interfaccia utente di BigQuery.

Per risolvere il problema, concedi le autorizzazioni bigquery.tables.get (ad esempio incluse nel ruolo Visualizzatore dati BigQuery) nel progetto di archiviazione.