In diesem Abschnitt werden die Google Cloud Optionen beschrieben, mit denen Sie Workflows planen können.
Dataproc-Workflowvorlagen
Workflowvorlagen für Managed Service for Apache Spark bieten einen flexiblen und benutzerfreundlichen Mechanismus zum Verwalten und Ausführen von Workflows. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.
Cloud Scheduler
Cloud Scheduler ist ein vollständig verwalteter Cronjob-Planer für Unternehmen. Sie können damit praktisch jeden Job planen, einschließlich Batchjobs, Big Data-Jobs und Cloud-Infrastrukturvorgängen. Cloud Scheduler bietet eine einfache zeitbasierte Planung, z. B. täglich oder stündlich, ohne dass Sie Code schreiben müssen.
Vorteile:
Aktiviert die zeitbasierte Instanziierung von Workflowvorlagen basierend auf vertrauten Cron-Ausdrücken
Kein Code muss geschrieben werden
Anleitung: Workflow mit Cloud Scheduler
Cloud Functions
Cloud Run Functions ist eine einfache Computing-Lösung zum Erstellen von eigenständigen und zweckgebundenen Funktionen, die auf Cloud-Ereignisse reagieren, ohne einen Server oder eine Laufzeitumgebung verwalten zu müssen. Sie können mit Cloud Run Functions Workflows starten, um auf Pub/Sub-Ereignisse oder Dateiänderungen in Cloud Storage zu reagieren. Sie können Cloud Run-Funktionen mit Cloud Scheduler für Workflows verwenden, für die zeitbasierte Parameter berechnet werden müssen.
Vorteile:
Aktiviert die Workflowinstanziierung als Reaktion auf Datenereignisse, z. B. neue Dateien in Cloud Storage oder Pub/Sub-Ereignisse.
Minimale Programmierung mit Managed Service for Apache Spark Go-, Node.js- oder Python-Clientbibliotheken
Workflows und Workflowparameter dynamisch generieren
Anleitung: Workflow mit Cloud Run-Funktionen
Cloud Composer
Cloud Composer ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.
Vorteile:
Unterstützt zeit- und ereignisbasierter Planung
Vereinfachte Aufrufe von Managed Service for Apache Spark mit Operatoren
Workflows und Workflowparameter dynamisch generieren
Datenflüsse erstellen, die mehrere Google Cloud -Produkte umfassen
Anleitung: Workflow mit Cloud Composer