Probleme mit der Datenabfolge beheben

In diesem Dokument erfahren Sie, wie Sie die häufigsten Probleme beheben, die dazu führen, dass Datenherkunftsgraphen im Knowledge Catalog (ehemals Dataplex Universal Catalog) nicht angezeigt werden.

Projekttypen

Daten-Assets können sich in verschiedenen Projekten befinden. Im Folgenden finden Sie eine Zusammenfassung der möglichen Projekte und ihrer Asset-Namen.

BigQuery-Speicherprojekt

In diesem Projekt werden Ihre BigQuery-Daten-Assets gespeichert. Sie finden es in den Asset-Details als Teil der Table ID vor dem ersten Punkt.

In der BigQuery-Benutzeroberfläche wird der Name des Speicherprojekts im Feld „Tabellen-ID“ vor dem ersten Punkt im vollständig qualifizierten Tabellennamen angezeigt.
Abbildung 1 Der Name eines BigQuery-Speicherprojekts.

Compute-Projekt

In diesem Projekt werden die Metadaten zur Datenherkunft gespeichert. Bei BigQuery führen Sie hier einen Job aus. Wenn Sie einen Job mit der Google Cloud Console ausführen, finden Sie den Namen des Compute-Projekts in der Projektauswahl:

In der BigQuery-Benutzeroberfläche wird auf der Seite, auf der Sie SQL-Abfragen ausführen, ein Compute-Projekt namens „docs-compute“ angezeigt.
Abbildung 2 Der Name eines Compute-Projekts, in dem BigQuery-Jobs ausgeführt werden.

Geben Sie beim Senden von Anfragen an die BigQuery API das Compute-Projekt in der URL an, z. B.:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Aktives Projekt

Dies ist das Projekt, in dem Sie die Datenherkunft ansehen. In der Google Cloud Console wird das aktive Projekt in der Projektauswahl angezeigt. Wenn Sie die API verwenden, ist das aktive Projekt das Projekt, von dem aus Sie API-Aufrufe ausführen.

In der BigQuery-Benutzeroberfläche wird der Datenursprung für ein Dataset mit dem Namen „source-001“ angezeigt, das sich in einem Projekt mit dem Namen „docs-source“ befindet.
Abbildung 3. Das aktive Projekt in der Google Cloud Console.

BigQuery-Datenherkunft wird nicht angezeigt

Das folgende Problem tritt nach dem Ausführen eines BigQuery-Jobs auf. In diesem Fall kann das Problem durch drei Szenarien verursacht werden:

  • Die Data Lineage API ist im aktiven Projekt oder im Compute-Projekt deaktiviert.
  • Sie haben im aktiven Projekt oder im Compute-Projekt nicht die Rolle „Data Lineage Viewer“ (roles/datalineage.viewer) .
  • Die Datenherkunft ist noch nicht verfügbar. Je nach Umfang und Komplexität der verarbeiteten Daten kann es zwischen 30 Minuten und 24 Stunden dauern, bis die Datenherkunft angezeigt wird.

Wenn unten auf der Seite die Meldung „Fetching lineage failed due to missing permissions.“ angezeigt wird, fehlen Ihnen Berechtigungen für das aktive Projekt. Andernfalls fehlen Ihnen Berechtigungen für das Compute-Projekt.

Ein leeres Herkunftsdiagramm.
Abbildung 4 Beispiel dafür, dass die Herkunft in der BigQuery-UI nicht angezeigt wird.

Prüfen Sie, ob die Data Lineage API für das Compute-Projekt aktiviert ist. Nach dem Aktivieren der API müssen Sie einen Job ausführen, um die Datenherkunft zu sehen. Je nach Umfang und Komplexität der verarbeiteten Daten kann es zwischen 30 Minuten und 24 Stunden dauern, bis die Datenherkunft angezeigt wird.

Prüfen Sie als Nächstes, ob die Data Lineage API für das aktive Projekt aktiviert ist.

Wenn die Data Lineage API aktiviert ist, weisen Sie die Rolle „Data Lineage Viewer“ (roles/datalineage.viewer) sowohl im aktiven als auch im Compute-Projekt zu.

BigQuery-Prozessmetadaten werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen, in dem nicht alle Details wie die SQL-Anweisung oder die Eigenschaft Process type angezeigt werden. Das passiert, obwohl die Datenherkunft ordnungsgemäß angezeigt wird.

Das kann passieren, wenn Sie nicht berechtigt sind, Metadaten im Compute-Projekt zu sehen.

Beispiel:

  • BigQuery-Quelltabelle: docs-source.dataset.source-001
  • BigQuery-Zieltabelle: docs-target.dataset.target-001
  • Datenherkunft zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 in Compute-Projekt docs-compute
  • Sie haben die Rolle „Data Lineage Viewer“ für die aktiven und Compute- docs-compute Projekte.

Wenn Sie auf die BigQuery-Prozessdetails klicken, wird in der Google Cloud Console die folgende Meldung angezeigt:

You don't have permission to view BigQuery process metadata in project X.
In der BigQuery-Benutzeroberfläche wird im Bereich „Details“ auf dem Tab „Lineage“ eine Fehlermeldung angezeigt.
Abbildung 5 Beispiel dafür, dass die BigQuery-Prozessdetails in der BigQuery-UI nicht angezeigt werden.

Weisen Sie dem Nutzer die Berechtigung bigquery.jobs.get (z. B. in der Rolle „BigQuery Resource Viewer“ enthalten) im Compute-Projekt zu, um dieses Problem zu beheben.

BigQuery-Tabellendetails werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen, in dem nur die Eigenschaft Fully qualified name angezeigt wird. Das passiert, obwohl die Datenherkunft ordnungsgemäß angezeigt wird. Das kann passieren, wenn Sie nicht alle erforderlichen Berechtigungen in den Speicherprojekten der Tabelle haben.

Beispiel:

Wenn Sie in diesem Fall auf die Details des BigQuery-Knotens klicken, wird eine Meldung Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it angezeigt.

Details zur BigQuery-Tabelle werden nicht angezeigt.
Abbildung 6 Beispiel dafür, dass die BigQuery-Tabellendetails in der BigQuery-UI nicht angezeigt werden.

Weisen Sie die bigquery.tables.get Berechtigungen (z. B. in der Rolle „BigQuery Data Viewer“ enthalten) im Speicherprojekt zu, um dieses Problem zu beheben.