Datenpipeline erstellen

Datenpipeline erstellen

In dieser Kurzanleitung erfahren Sie, wie Sie Folgendes tun:

1. Erstellen Sie eine Cloud Data Fusion-Instanz.
2. Beispielpipeline bereitstellen, die in Ihrer Cloud Data Fusion-Instanz bereitgestellt wird Die Pipeline führt Folgendes aus:
   1. Eine JSON-Datei mit NYT-Bestseller-Daten aus Cloud Storage lesen
   2. Transformationen an der Datei ausführen, um die Daten zu analysieren und zu bereinigen
   3. Die bestbewerteten Bücher, die in der letzten Woche hinzugefügt wurden und weniger als 25 $ kosten, in BigQuery laden

Hinweis

Führen Sie die folgenden Schritte aus, bevor Sie eine Datenpipeline erstellen.

Projekt einrichten

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie noch kein Google Cloud-Konto haben, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „Cloud Data Fusion-Administrator “ (roles/datafusion.admin) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Cloud Data Fusion-Instanz und zum Verwalten von Pipelines benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Ausführen des Dataproc-Jobs hat:

Wichtig: Sie müssen diese Rollen dem Compute Engine-Standarddienstkonto und nicht Ihrem Nutzerkonto zuweisen. Wenn die Rollen nicht dem richtigen Hauptkonto zugewiesen werden, können Berechtigungsfehler auftreten.

• Dataproc-Worker (roles/dataproc.worker)
• Cloud Data Fusion-Ausführer (roles/datafusion.runner)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Ihr Administrator kann dem Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen möglicherweise auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen zuweisen.

Erstellen Sie eine Cloud Data Fusion-Instanz.

1. Klicken Sie auf Instanz erstellen.

   Zur Seite „Instanzen“

2. Geben Sie einen Instanznamen ein.
3. Geben Sie eine Beschreibung für Ihre Instanz ein.
4. Geben Sie die Region ein, in der die Instanz erstellt werden soll.
5. Wählen Sie die zu verwendende Version von Cloud Data Fusion aus.
6. Wählen Sie die Edition von Cloud Data Fusion aus.
7. Wählen Sie für Cloud Data Fusion Version 6.2.3 und höher im Feld Autorisierung das Dataproc-Dienstkonto aus, das zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc verwendet werden soll. Der Standardwert, das Compute Engine-Konto, ist bereits ausgewählt.
8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist. Während Cloud Data Fusion die Instanz erstellt, wird neben dem Instanznamen auf der Seite Instanzen ein Radsymbol angezeigt, das den Fortschritt angibt. Nachdem der Vorgang abgeschlossen ist, wird es zu einem grünen Häkchen. Dies zeigt an, dass Sie die Instanz verwenden können.

Weboberfläche von Cloud Data Fusion meistern

Bei Verwendung von Cloud Data Fusion verwenden Sie sowohl die Google Cloud console als auch die separate Weboberfläche von Cloud Data Fusion.

• In der Google Cloud console können Sie Folgendes tun:

  • console-Projekt erstellen Google Cloud
  • Cloud Data Fusion-Instanzen erstellen und löschen
  • Details zur Cloud Data Fusion-Instanz ansehen

• In der Weboberfläche von Cloud Data Fusion können Sie die verschiedenen Seiten wie Studio oder Wrangler nutzen, um die Funktionen von Cloud Data Fusion zu nutzen.

So navigieren Sie in der Cloud Data Fusion-Oberfläche:

1. Öffnen Sie in der Google Cloud console die Seite Instanzen.

   Zur Seite „Instanzen“

2. Klicken Sie in der Spalte Aktionen der Instanz auf den Link Instanz aufrufen.
3. Rufen Sie in der Weboberfläche von Cloud Data Fusion über den linken Navigationsbereich die gewünschte Seite auf.

Beispielpipeline bereitstellen

Beispielpipelines sind über den Cloud Data Fusion Hub verfügbar, mit dem Sie wiederverwendbare Pipelines, Plug-ins und Lösungen für Cloud Data Fusion teilen können.

1. Klicken Sie in der Weboberfläche von Cloud Data Fusion auf Hub.
2. Klicken Sie im linken Bereich auf Pipelines.
3. Klicken Sie auf die Pipeline Cloud Data Fusion-Quickstart.
4. Klicken Sie auf Erstellen.
5. Klicken Sie im Cloud Data Fusion-Quickstart-Konfigurationsbereich auf Fertigstellen.

6. Klicken Sie auf Pipeline anpassen.

   Eine visuelle Darstellung Ihrer Pipeline wird auf der Seite Studio angezeigt. Dies ist eine grafische Benutzeroberfläche zur Entwicklung von Pipelines zur Datenintegration. Auf der linken Seite sind die Pipeline-Plug-ins aufgelistet und Ihre Pipeline wird im Hauptbereich angezeigt. Sie können Ihre Pipeline untersuchen, indem Sie den Mauszeiger auf die einzelnen Knoten der Pipeline bewegen und auf Eigenschaften klicken. Über das Menü „Eigenschaften“ für jeden Knoten können Sie die mit dem Knoten verknüpften Objekte und Vorgänge aufrufen.

7. Klicken Sie im Menü oben rechts auf Deploy (Bereitstellen). Dadurch wird die Pipeline an Cloud Data Fusion gesendet. Im nächsten Abschnitt dieser Kurzanleitung führen Sie die Pipeline aus.

Pipeline anzeigen

Die bereitgestellte Pipeline wird in der Ansicht der Pipelinedetails angezeigt. Hier können Sie Folgendes tun:

• Struktur und Konfiguration der Pipeline anzeigen
• Pipeline manuell ausführen oder einen Zeitplan bzw. Trigger einrichten
• Zusammenfassung des Ausführungsverlaufs der Pipeline anzeigen, einschließlich Ausführungszeiten, Logs und Messwerte

Pipeline ausführen

Klicken Sie in der Ansicht „Pipelinedetails“ auf Ausführen, um die Pipeline auszuführen.

Beim Ausführen einer Pipeline führt Cloud Data Fusion folgende Schritte aus:

1. Stellt einen sitzungsspezifischen Dataproc-Cluster bereit
2. Führt die Pipeline mithilfe von Apache Spark im Cluster aus
3. Löscht den Cluster

Hinweis: Wenn der Status der Pipeline in Aktiv wechselt, können Sie das Erstellen und Löschen des Dataproc-Clusters überwachen. Dieser Cluster ist nur für die Dauer der Pipeline vorhanden.

Ergebnisse aufrufen

Nach einigen Minuten ist die Pipeline abgeschlossen. Der Pipelinestatus ändert sich in Erfolgreich und die Anzahl der von jedem Knoten verarbeiteten Datensätze wird angezeigt.

1. Rufen Sie die BigQuery-Weboberfläche auf.

2. Wenn Sie ein Beispiel der Ergebnisse aufrufen möchten, rufen Sie das Dataset DataFusionQuickstart in Ihrem Projekt auf, klicken Sie auf die Tabelle top_rated_inexpensive und führen Sie eine einfache Abfrage aus. Beispiel:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

1. Löschen Sie das BigQuery-Dataset in das die Pipeline in dieser Kurzanleitung geschrieben hat.

2. Löschen Sie die Cloud Data Fusion-Instanz.

   Hinweis: Durch das Löschen der Instanz werden keine Ihrer Daten in dem Projekt gelöscht.

3. Optional: Löschen Sie das Projekt.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:
• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.
1. Wechseln Sie in der Google Cloud console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte

• Anleitung zu Cloud Data Fusion
• Informationen über Konzepte zu Cloud Data Fusion Konzepte