Herkunft im Knowledge Catalog ansehen

Auf dieser Seite wird beschrieben, wie Sie die von Ihren Cloud Data Fusion-Pipelines generierte Data Lineage – zusammen mit anderen Datenverschiebungen in Google Cloud, für Suchanfragen und Governance-Zwecke – ansehen. Sie können die Lineage-Diagramme für unterstützte Datenquellen auf der Knowledge Catalog-Seite in der Console ansehen oder die Data Lineage API verwenden, um vollständige Data Lineage-Datensätze abzurufen.

Plug-ins, die Knowledge Catalog-Data Lineage unterstützen

Cloud Data Fusion und Knowledge Catalog unterstützen die Lineage auf Asset-Ebene für die folgenden Plug-ins:

  • Amazon S3
  • BigQuery
  • BigQuery-Multitabellensenke (Version 6.9.1 und höher)
  • Spanner
  • Cloud Storage
  • Cloud SQL for MySQL
  • Cloud SQL for PostgreSQL
  • Knowledge Catalog
  • FTP
  • Generische Datenbank
  • HTTP
  • MSSQL/SQL Server
  • Quelle für mehrere Datenbanktabellen (Version 6.9.1 und höher)
  • MySQL
  • Oracle
  • PostgreSQL
  • SAP OData
  • SAP ODP
  • SAP-Tabelle

Weitere Informationen finden Sie unter Cloud Data Fusion-Plug-ins.

Hinweis

So aktivieren Sie das Ansehen von Cloud Data Fusion-Lineage-Diagrammen auf der Knowledge Catalog-Seite in der Console:

  1. Erstellen Sie eine Datenpipeline in der nur die unterstützten Plug-ins verwendet werden.

  2. Aktivieren Sie die Data Lineage API in dem Projekt, das Ihre Cloud Data Fusion-Instanz enthält.

  3. Weisen Sie dem von Cloud Data Fusion verwalteten Dienstkonto, dem Cloud Data Fusion API Service Agent, die Rolle „Data Lineage Events Producer“ (roles/datalineage.producer) zu. Der Vorgang variiert, wenn Ihre Instanz in einer früheren Version von Cloud Data Fusion ausgeführt wird und RBAC aktiviert ist.

    6.10+ oder keine RBAC

    Wenn Ihre Cloud Data Fusion-Instanz Version 6.10.0 oder höher verwendet oder eine frühere Version verwendet und RBAC nicht aktiviert ist, führen Sie die folgenden Schritte aus:

    1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

      IAM aufrufen

    2. Klicken Sie auf das Kästchen Von Google bereitgestellte Rollenzuweisungen einschließen.

    3. Wählen Sie das Dienstkonto „Cloud Data Fusion API Service Agent“ aus und klicken Sie auf Bearbeiten.

    4. Klicken Sie auf Weitere Rolle hinzufügen und wählen Sie die Rolle Data Lineage Events Producer aus.

    5. Klicken Sie auf Speichern.

    < 6.10 mit RBAC

    Wenn Ihre Cloud Data Fusion-Instanz eine Version vor 6.10.0 verwendet und RBAC aktiviert ist, wird das Dienstkonto nicht in der Liste der Hauptkonten auf der Seite „IAM“ angezeigt. Sie müssen den Namen des Dienstkontos manuell eingeben.

    So weisen Sie die erforderliche Rolle zu:

    1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

      IAM aufrufen

    2. Klicken Sie auf Zugriff erlauben.

    3. Geben Sie im Feld Neue Hauptkonten das Dienstkonto „Cloud Data Fusion API Service Agent“ ein. Verwenden Sie das folgende Format: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Ersetzen Sie TENANT_PROJECT_ID durch die Mandanten-ID für Ihre Instanz. Die Mandantenprojekt-ID finden Sie auf der Seite Instanzen. Klicken Sie dort auf den Instanznamen, um die Instanzdetails aufzurufen.

      Zur Seite „VM-Instanzen“

    4. Wählen Sie die Rolle Data Lineage Events Producer aus.

    5. Klicken Sie auf Speichern.

Knowledge Catalog-Data Lineage in Cloud Data Fusion aktivieren

Für neue Instanzen in Cloud Data Fusion ist die Knowledge Catalog-Data Lineage standardmäßig deaktiviert. Wenn Sie die Instanz vor dem 27. Januar 2024 mit Version 6.8.0 oder höher erstellt haben, ist sie standardmäßig aktiviert, nachdem Sie die Schritte unter Hinweis ausgeführt haben.

Knowledge Catalog-Data Lineage beim Erstellen einer Instanz aktivieren

Console

So aktivieren Sie die Knowledge Catalog-Data Lineage beim Erstellen einer Instanz:

  1. Rufen Sie die Seite Instanzen von Cloud Data Fusion auf und klicken Sie auf Instanz erstellen.

    Eine Instanz erstellen

  2. Maximieren Sie beim Konfigurieren der Instanz den Bereich Erweiterte Optionen und klicken Sie auf Einbindung von Dataplex Data Lineage aktivieren. Weitere Informationen zum Erstellen von Instanzen finden Sie unter Öffentliche Instanz erstellen.

REST API

Wenn Sie die Knowledge Catalog-Data Lineage beim Erstellen einer Instanz aktivieren möchten, legen Sie die optionale Property dataplex_data_lineage_integration_enabled auf true fest:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Wenn Sie sie deaktivieren möchten, legen Sie die Property entweder auf „false“ fest oder lassen Sie sie weg, da die Lineage beim Erstellen einer neuen Instanz standardmäßig deaktiviert ist.

Knowledge Catalog-Data Lineage in einer vorhandenen Instanz aktivieren oder deaktivieren

Console

So aktivieren oder deaktivieren Sie die Knowledge Catalog-Data Lineage in einer vorhandenen Instanz in Cloud Data Fusion:

  1. Rufen Sie die Instanzdetails auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie im Feld Einbindung von Dataplex Data Lineage auf Bearbeiten.
  3. Aktivieren oder deaktivieren Sie die Knowledge Catalog-Data Lineage und klicken Sie dann auf Speichern.

REST API

Wenn Sie die Knowledge Catalog-Data Lineage in einer vorhandenen Instanz in Cloud Data Fusion aktivieren möchten, legen Sie die Property dataplex_data_lineage_integration_enabled auf true fest und fügen Sie den Parameterwert updateMask ein:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Wenn Sie die Knowledge Catalog-Data Lineage in einer vorhandenen Instanz in Cloud Data Fusion deaktivieren möchten, legen Sie die Property dataplex_data_lineage_integration_enabled auf false fest und fügen Sie den Parameterwert updateMask ein:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Data Lineage-Diagramme ansehen

So rufen Sie Lineage-Diagramme für Entitäten in allen Google Cloud Diensten auf:

  1. Rufen Sie Ihre Instanz in Cloud Data Fusion auf und führen Sie eine Datenpipeline aus, in der unterstützte Plug-ins verwendet werden.

  2. Rufen Sie die Lineage-Diagramme auf der Knowledge Catalog-Seite in der Console auf und suchen Sie das Asset, für das Sie Lineage-Informationen ansehen möchten.

Beschränkungen

Für das Ansehen der Lineage in Knowledge Catalog gelten die folgenden Einschränkungen:

Nächste Schritte