Daten mit Cloud Data Fusion aufnehmen

Cloud Data Fusion bietet ein Knowledge Catalog-Senken-Plug-in (früher Dataplex Universal Catalog), mit dem Daten in alle vom Knowledge Catalog unterstützten Assets aufgenommen werden können.

Hinweis

  • Wenn Sie keine Cloud Data Fusion-Instanz haben, erstellen Sie eine. Dieses Plug-in ist in Instanzen verfügbar, die in Cloud Data Fusion Version 6.6 oder höher ausgeführt werden. Weitere Informationen finden Sie unter Öffentliche Cloud Data Fusion-Instanz erstellen.
  • Das BigQuery-Dataset oder der Cloud Storage-Bucket, in das Daten aufgenommen werden, muss Teil eines Knowledge Catalog-Lake sein.
  • Damit Daten aus Cloud Storage-Entitäten gelesen werden können, muss Dataproc Metastore an den Lake angehängt sein.
  • CSV-Daten in Cloud Storage-Entitäten werden nicht unterstützt.
  • Aktivieren Sie im Knowledge Catalog-Projekt den privater Google-Zugriff für das Subnetzwerk, das in der Regel auf default festgelegt ist, oder legen Sie internal_ip_only auf false fest.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für den Dataproc-Dienst-Agent und den Cloud Data Fusion-Dienst-Agent (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Rollen benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Plug-in zur Pipeline hinzufügen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Data Fusion-Instanzen auf.

    Zur Seite „VM-Instanzen“

    Auf dieser Seite können Sie Ihre Instanzen verwalten.

  2. Klicken Sie auf Instanz aufrufen, um Ihre Instanz zu öffnen.

  3. Rufen Sie die Seite Studio auf, maximieren Sie das Menü Sink und klicken Sie auf Dataplex.

Plug-in konfigurieren

Nachdem Sie dieses Plug-in auf der Seite Studio zu Ihrer Pipeline hinzugefügt haben, klicken Sie auf die Knowledge Catalog-Senke, um ihre Attribute zu konfigurieren und zu speichern.

Weitere Informationen zu Konfigurationen finden Sie in der Referenz zu Dataplex Sink.

Optional: Mit einer Beispielpipeline beginnen

Es sind Beispielpipelines verfügbar, darunter eine Pipeline von einer SAP-Quelle zu einer Knowledge Catalog-Senke und eine Pipeline von einer Knowledge Catalog-Quelle zu einer BigQuery-Senke.

Wenn Sie eine Beispielpipeline verwenden möchten, öffnen Sie Ihre Instanz in der Cloud Data Fusion-UI, klicken Sie auf Hub> Pipelines und wählen Sie eine der Knowledge Catalog-Pipelines aus. Ein Dialogfeld wird geöffnet, in dem Sie die Pipeline erstellen können.

Pipeline ausführen

  1. Öffnen Sie nach der Bereitstellung der Pipeline die Pipeline auf der Cloud Data Fusion-Seite Studio.

  2. Klicken Sie auf Konfigurieren > Ressourcen.

  3. Optional: Ändern Sie die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.

  4. Klicken Sie auf Speichern.

  5. Klicken Sie zum Starten der Datenpipeline auf Ausführen.

Nächste Schritte