Probleme mit der Datenabfolge beheben

In diesem Dokument erfahren Sie, wie Sie die häufigsten Probleme beheben, die dazu führen, dass Datenherkunftsgraphen in Knowledge Catalog (ehemals Dataplex Universal Catalog) nicht angezeigt werden. Wenn Sie diese Probleme beheben, können Sie die Datenbewegung erfolgreich nachverfolgen, die Datenherkunft nachvollziehen und Datenpipelines debuggen.

Projekttypen

Daten-Assets können sich in verschiedenen Projekten befinden. Im Folgenden finden Sie eine Zusammenfassung der möglichen Projekte und ihrer Asset-Namen.

BigQuery-Speicherprojekt

In diesem Projekt werden Ihre BigQuery-Daten-Assets gespeichert. Sie finden es in den Asset-Details als Teil der Table ID vor dem ersten Punkt.

In der BigQuery-Benutzeroberfläche wird der Name des Speicherprojekts im Feld „Tabellen-ID“ vor dem ersten Punkt im voll qualifizierten Tabellennamen angezeigt.
Abbildung 1 Der Name eines BigQuery-Speicherprojekts.

Compute-Projekt

In diesem Projekt werden die Metadaten zur Datenherkunft gespeichert. Bei BigQuery führen Sie hier einen Job aus. Wenn Sie einen Job mit der Google Cloud Console ausführen, finden Sie den Namen des Compute-Projekts in der Projektauswahl:

In der BigQuery-Benutzeroberfläche wird auf der Seite, auf der Sie SQL-Abfragen ausführen, ein Rechenprojekt namens „docs-compute“ angezeigt.
Abbildung 2 Der Name eines Compute-Projekts, in dem BigQuery-Jobs ausgeführt werden.

Geben Sie beim Senden von Anfragen an die BigQuery API das Compute-Projekt in der URL an, z. B.:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Aktives Projekt

Dies ist das Projekt, in dem Sie die Datenherkunft ansehen. In der Google Cloud Console wird das aktive Projekt in der Projektauswahl angezeigt. Wenn Sie die API verwenden, ist das aktive Projekt das Projekt, von dem aus Sie API-Aufrufe ausführen.

In der BigQuery-Benutzeroberfläche wird der Datenursprung für ein Dataset mit dem Namen „source-001“ angezeigt, das sich in einem Projekt mit dem Namen „docs-source“ befindet.
Abbildung 3. Das aktive Projekt in der Google Cloud Console.

BigQuery-Datenherkunft wird nicht angezeigt

Das folgende Problem tritt nach dem Ausführen eines BigQuery-Jobs auf. In diesem Fall kann das Problem durch drei Szenarien verursacht werden:

  • Die Data Lineage API ist im aktiven Projekt oder im Compute-Projekt deaktiviert.
  • Sie haben im aktiven Projekt oder im Compute-Projekt nicht die Rolle „Data Lineage Viewer“ (roles/datalineage.viewer) .
  • Die Datenherkunft ist noch nicht verfügbar. Je nach Umfang und Komplexität der verarbeiteten Daten kann es 30 Minuten bis 24 Stunden dauern, bis die Datenherkunft angezeigt wird.

Wenn die Meldung „Fetching lineage failed due to missing permissions.“ angezeigt wird, fehlen Ihnen Berechtigungen für das aktive Projekt. Andernfalls fehlen Ihnen Berechtigungen für das Compute-Projekt.

Ein leeres Herkunftsdiagramm.
Abbildung 4 Beispiel dafür, dass die Datenherkunft in der BigQuery-UI nicht angezeigt wird.

Prüfen Sie, ob die Data Lineage API für das Compute-Projekt aktiviert ist, um dieses Problem zu beheben. Nachdem Sie die API aktiviert haben, müssen Sie einen Job ausführen, um die Datenherkunft zu sehen. Je nach Umfang und Komplexität der verarbeiteten Daten kann es 30 Minuten bis 24 Stunden dauern, bis die Datenherkunft angezeigt wird.

Prüfen Sie als Nächstes, ob die Data Lineage API für das aktive Projekt aktiviert ist.

Wenn die Data Lineage API aktiviert ist, weisen Sie die Rolle „Data Lineage Viewer“ (roles/datalineage.viewer) sowohl im aktiven als auch im Compute-Projekt zu.

BigQuery-Prozessmetadaten werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen. Dort werden nicht alle Details wie die SQL-Anweisung oder die Eigenschaft Process type angezeigt. Das passiert, obwohl die Datenherkunft ordnungsgemäß angezeigt wird.

Das kann passieren, wenn Sie keine Berechtigungen haben, Metadaten im Compute-Projekt zu sehen.

Beispiel:

  • BigQuery-Quelltabelle: docs-source.dataset.source-001
  • BigQuery-Zieltabelle: docs-target.dataset.target-001
  • Datenherkunft zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 in Compute-Projekt docs-compute
  • Sie haben die Rolle „Data Lineage Viewer“ für die aktiven und Compute- docs-compute Projekte.

Wenn Sie auf die BigQuery-Prozessdetails klicken, wird in der Google Cloud Console die folgende Meldung angezeigt:

You don't have permission to view BigQuery process metadata in project X.
In der BigQuery-Benutzeroberfläche wird im Detailbereich auf dem Tab „Lineage“ eine Fehlermeldung angezeigt.
Abbildung 5 Beispiel dafür, dass die BigQuery-Prozessdetails in der BigQuery-UI nicht angezeigt werden.

Weisen Sie dem Nutzer die Berechtigung bigquery.jobs.get im Compute-Projekt zu (z. B. in der Rolle „BigQuery Resource Viewer“ enthalten), um dieses Problem zu beheben.

BigQuery-Tabellendetails werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen. Dort wird nur die Eigenschaft Fully qualified name angezeigt. Das passiert, obwohl die Datenherkunft ordnungsgemäß angezeigt wird. Das kann passieren, wenn Sie nicht alle erforderlichen Berechtigungen in den Speicherprojekten der Tabelle haben.

Beispiel:

Wenn Sie in diesem Fall auf die Details des BigQuery-Knotens klicken, wird die Meldung Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it angezeigt.

Details zur BigQuery-Tabelle werden nicht angezeigt.
Abbildung 6 Beispiel dafür, dass die BigQuery-Tabellendetails in der BigQuery-UI nicht angezeigt werden.

Weisen Sie die bigquery.tables.get Berechtigung im Speicherprojekt zu (z. B. in der Rolle „BigQuery Data Viewer“ enthalten), um dieses Problem zu beheben.

Unerwartete Gebühren für die Premium-Verarbeitung von Knowledge Catalog

Sie haben die Dataplex API (dataplex.googleapis.com) deaktiviert, um Gebühren zu vermeiden, sehen aber weiterhin tägliche Gebühren für die SKU „Knowledge Catalog Premium Processing“.

Dieses Problem kann auftreten, wenn die Data Lineage API (datalineage.googleapis.com) aktiviert bleibt. Die Data Lineage API wird unter der SKU „Knowledge Catalog Premium Processing“ abgerechnet, aber in der Google Cloud Console als separate API verwaltet. Wenn Sie die Dataplex API deaktivieren, wird die Data Lineage API nicht deaktiviert und es werden weiterhin Gebühren dafür erhoben.

Wenn Sie feststellen möchten, ob die Datenherkunft die Ursache für die Gebühren ist, suchen Sie in Ihrem Cloud Billing-Bericht nach dem Label goog-dataplex-workload-type mit dem Wert LINEAGE.

Wenn Sie die Gebühren vermeiden möchten, deaktivieren Sie die Datenherkunft indem Sie die Data Lineage API in Ihren Projekten deaktivieren.