Workflow mit Cloud Scheduler

Ziel :

1. Erstellen Sie eine Workflowvorlage für Managed Service for Apache Spark, mit der ein
   -Spark-PI-Job ausgeführt wird.
2. Erstellen Sie einen Cloud Scheduler-Job, um den Workflow zu einem bestimmten Zeitpunkt zu starten.

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Dataproc
• Compute Engine
• Cloud Scheduler

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.

Neuen Nutzern von Google Cloud steht möglicherweise eine kostenlose Testversion zur Verfügung.

Hinweis

Projekt einrichten

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Benutzerdefinierte Rolle erstellen

1. Öffnen Sie in der Google Cloud Console die Seite IAM & Verwaltung → Rollen.
   1. Klicken Sie auf ROLLE ERSTELLEN, um die Seite Rolle erstellen zu öffnen.
   2. Füllen Sie die Felder "Titel", "Beschreibung", "ID" und "Startphase" aus. Vorschlag: Verwenden Sie "Dataproc-Workflow-Vorlage erstellen" als Rollentitel.
   3. Klicken Sie auf
      Berechtigungen hinzufügen.
      1. Klicken Sie im Formular Berechtigungen hinzufügen auf Filtern und wählen Sie dann „Berechtigung“ aus. Schließen Sie den Filter ab, um "Berechtigung: dataproc.workflowTemplates.instantiate" zu lesen.
      2. Setzen Sie ein Häkchen in das Kästchen links neben der aufgeführten Berechtigung und klicken Sie dann auf Hinzufügen.
   4. Klicken Sie auf der Seite "Rolle erstellen" noch einmal auf PERMISSIONS HINZUFÜGEN, um die vorherigen Unterschritte zu wiederholen und der benutzerdefinierten Rolle die Berechtigung "iam.serviceAccounts.actAs" hinzuzufügen. Auf der Seite Rolle erstellen werden jetzt zwei Berechtigungen aufgeführt.
   5. Klicken Sie auf der Seite Benutzerdefinierte Rolle auf ERSTELLEN. Die benutzerdefinierte Rolle wird auf der Seite Rollen aufgeführt.

Dienstkonto erstellen

1. Rufen Sie in der Google Cloud Console die Seite Dienstkonten auf.

   Zur Seite „Dienstkonten“

2. Wählen Sie Ihr Projekt aus.

3. Klicken Sie auf Dienstkonto erstellen.

4. Geben Sie im Feld Name des Dienstkontos den Namen workflow-scheduler ein. Die Google Cloud Console füllt das Feld Dienstkonto-ID anhand dieses Namens aus.

5. Optional: Im Feld Beschreibung des Dienstkontos können Sie eine entsprechende Beschreibung eingeben.

6. Klicken Sie auf Erstellen und fortfahren.

7. Klicken Sie auf das Feld Rolle auswählen und wählen Sie die benutzerdefinierte Rolle Dataproc Workflow Template Create aus, die Sie im vorherigen Schritt erstellt haben.

8. Klicken Sie auf Weiter.

9. Geben Sie im Feld Rolle "Dienstkontoadministrator" die E-Mail-Adresse Ihres Google-Kontos ein.

10. Klicken Sie auf Fertig, um das Erstellen des Dienstkontos abzuschließen.

Workflow-Vorlage erstellen

Kopieren Sie die unten aufgeführten Befehle und führen Sie sie in einem lokalen Terminalfenster oder in Cloud Shell aus, um eine Workflow-Vorlage zu erstellen und zu definieren.

Hinweise:

• Die Befehle geben die Region "us-central1" an. Sie können eine andere Region angeben oder das Flag --region löschen, wenn Sie zuvor gcloud config set compute/region ausgeführt haben, um das Regionsattribut festzulegen.
• Die Sequenz "--" (Bindestrich-Bindestrich-Leerzeichen) im Befehl add-job übergibt das Argument 1000 an den SparkPi-Job, der die Anzahl der Stichproben angibt, die zur Schätzung des Werts von Pi verwendet werden.

1. Erstellen Sie die Workflow-Vorlage.

   gcloud dataproc workflow-templates create sparkpi \
       --region=us-central1
   

2. Fügen Sie der Workflow-Vorlage den Spark-Job hinzu. Die Schritt-ID "compute" ist erforderlich und identifiziert den hinzugefügten SparkPi-Job.

   gcloud dataproc workflow-templates add-job spark \
       --workflow-template=sparkpi \
       --step-id=compute \
       --class=org.apache.spark.examples.SparkPi \
       --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
       --region=us-central1 \
       -- 1000
   

3. Verwenden Sie einen verwalteten Einzelknotencluster, um den Workflow auszuführen. Managed Service for Apache Spark erstellt den Cluster, führt den Workflow darauf aus und löscht den Cluster dann, wenn der Workflow abgeschlossen ist.

   gcloud dataproc workflow-templates set-managed-cluster sparkpi \
       --cluster-name=sparkpi \
       --single-node \
       --region=us-central1
   

4. Klicken Sie auf der Seite Workflows des Managed Service for Apache Spark in der Google Cloud Console auf den Namen des sparkpi, um die Seite Workflowvorlagendetails zu öffnen. Bestätigen Sie die Attribute der SparkPi-Vorlage.

Cloud Scheduler-Job erstellen

1. Öffnen Sie in derGoogle Cloud Console die Seite Cloud Scheduler. Möglicherweise müssen Sie Ihr Projekt auswählen, um die Seite zu öffnen. Klicken Sie auf Job ERSTELLEN.

2. Geben Sie die folgenden Jobinformationen ein oder wählen Sie diese aus:

   1. Region auswählen: "us-central" oder eine andere Region, in der Sie Ihre Workflow-Vorlage erstellt haben
   2. Name: "sparkpi"
   3. Häufigkeit: Mit "* * * * *" wird jede Minute ausgewählt. "0 9 * * 1" wählt jeden Montag um 9 Uhr aus. Weitere Informationen zu anderen unix-cron-Werten finden Sie unter Jobzeitplan definieren. Hinweis:Sie können in der Google Cloud Console in den Cloud Scheduler-Jobs auf den Button JETZT AUSFÜHREN klicken, um den Job auszuführen und zu testen, unabhängig von der Häufigkeit, die Sie für den Job eingestellt haben.
   4. Zeitzone: Wählen Sie Ihre timezone aus. Geben Sie "USA" ein, um die US-Zeitzonen aufzulisten.
   5. Ziel: „HTTP“
   6. URL: Fügen Sie nach dem Einfügen von your-project-id die folgende URL ein. Ersetzen Sie "us-central1", wenn Sie Ihre Workflow-Vorlage in einer anderen Region erstellt haben. Über diese URL wird die Managed Service for Apache Spark-API workflowTemplates.instantiate aufgerufen, um die sparkpi-Workflowvorlage auszuführen.

      https://dataproc.googleapis.com/v1/projects/your-project-id/regions/us-central1/workflowTemplates/sparkpi:instantiate?alt=json
      

   7. HTTP-Methode:
      1. "POST"
      2. Text: "{}"
         Wenn der geplante Job einen parametrisierten Workflow ausführt, können Sie die Parameter mithilfe einer JSON-Nutzlast im Text an den Workflow übergeben:

         {"parameters": {"PARAMETER_NAME": "VALUE"}}
         

   8. Auth-Header:
      1. "Add OAuth token"
      2. Dienstkonto: Fügen Sie den service account address des Dienstkontos ein, das Sie für diese Anleitung erstellt haben. Sie können die folgende Kontoadresse nach dem Einfügen von your-project-id verwenden:

         [e-mail]
         

      3. Bereich: Sie können dieses Element ignorieren.
   9. Klicken Sie auf ERSTELLEN.

Geplanten Workflow-Job testen

1. Klicken Sie in der Jobzeile sparkpi auf der Seite Cloud Scheduler-Jobs auf JETZT AUSFÜHREN.

2. Warten Sie einige Minuten und öffnen Sie dann die Seite Workflows von Managed Service for Apache Spark, um zu prüfen, ob der Workflow „sparkpi“ abgeschlossen wurde.

3. Nachdem der verwaltete Cluster durch den Workflow gelöscht wurde, bleiben die Jobdetails in der Google Cloud -Konsole erhalten. Klicken Sie auf der Seite Jobs von Managed Service for Apache Spark auf den compute...-Job, um die Workflow-Jobdetails aufzurufen.

Bereinigen

Der Workflow in dieser Anleitung löscht den verwalteten Cluster, wenn der Workflow abgeschlossen ist. Wenn Sie den Workflow beibehalten, können Sie ihn noch einmal ausführen, ohne dass Kosten anfallen. Sie können andere in dieser Anleitung erstellte Ressourcen löschen, um wiederkehrende Kosten zu vermeiden.

Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Workflowvorlage löschen

gcloud dataproc workflow-templates delete sparkpi \
    --region=us-central1

Cloud Scheduler-Job löschen

Öffnen Sie in der Google Cloud Console die Seite Cloud Scheduler Jobs, wählen Sie das Kästchen links neben der sparkpi-Funktion aus und klicken Sie dann auf „LÖSCHEN“.

Dienstkonto löschen

Öffnen Sie in der Google Cloud Console die Seite IAM & Verwaltung → Dienstkonten, setzen Sie ein Häkchen links neben dem workflow-scheduler...-Dienstkonto und klicken Sie dann auf „LÖSCHEN“.

Nächste Schritte

• Weitere Informationen finden Sie unter Übersicht über Workflowvorlagen für Managed Service for Apache Spark.
• Lösungen für die Workflow-Planung