Daten- und KI-Pipelines ausführen und Ressourcen dafür mit Orchestration Pipelines bereitstellen

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird die Beziehung zwischen Orchestration Pipelines und Managed Airflow beschrieben.

Informationen zu Orchestration Pipelines

Orchestration Pipelines ist ein einheitliches, deklaratives Framework für die Orchestrierung und automatisierte Bereitstellung, das für die nahtlose Verwaltung von Daten- und KI Pipelines in optimiert ist Google Cloud.

Mit Orchestration Pipelines können Sie Ihre Pipelines und ihre Bereitstellungskonfigurationen mithilfe einer deklarativen YAML-basierten domänenspezifischen Sprache (Domain Specific Language, DSL) definieren. Dieses Framework abstrahiert die zugrunde liegende Infrastruktur, sodass Sie sich auf die Logik Ihrer Daten- und KI-Workflows konzentrieren können, während Orchestration Pipelines die Bereitstellung, Versionsverwaltung und Orchestrierung übernimmt.

Informationen zu Managed Airflow-Umgebungen in Orchestration Pipelines

Managed Airflow ist die Orchestrierungs-Engine, die Ihre Pipelines nach der Bereitstellung ausführt. Sie weisen eine Managed Airflow-Umgebung als Teil einer Pipelinedefinition zu. Diese Umgebung wird in Orchestration Pipelines als Runner-Umgebung bezeichnet.

Vorteile von Orchestration Pipelines:

  1. Sie können Teams in Ihren Organisationen, die keine Airflow-Experten sind, in die Lage versetzen, ihre Workflows zu erstellen und auszuführen, ohne DAGs zu schreiben oder Airflow zu konfigurieren. Sie können beispielsweise ein Notebook in einem kurzlebigen Managed Service for Apache Spark-Cluster ausführen und alle Parameter für Zeitplan, Ressourcen und Konfiguration für die Ausführung in YAML angeben, ohne DAG-Code zu schreiben.

  2. Die gesamte Konfiguration und Bereitstellung in Orchestration Pipelines basiert auf YAML- und gcloud CLI-Befehlen. Alle Airflow-DAGs werden automatisch generiert und die Interaktion mit Airflow-, Managed Airflow-Umgebungen oder Umgebungs-Buckets ist nicht erforderlich. Sie können Ihre Workflows in einem regulären Git-Repository entwickeln und bereitstellen, in dem sich die Asset-Dateien befinden.

  3. Ihre YAML-Definitionen funktionieren mit allen Airflow-Versionen. Sie müssen Ihren Code nicht an Änderungen zwischen Airflow-Versionen oder Unterschiede bei installierten Paketen anpassen. Beispielsweise ist es nicht erforderlich, Ihre Pipelines zu migrieren, wenn Sie von Airflow 2 zu Airflow 3 wechseln.

  4. Orchestration Pipelines ist in die Google Cloud Data Agent Kit-Erweiterung integriert, sodass Sie die agentengestützte Erstellung und Fehlerbehebung nutzen können. Sie können den Agenten verwenden, um Ihre Pipelines zu schreiben, die Bereitstellung zu vereinfachen und den Status Ihrer Pipelines über dieselbe Erweiterung zu beobachten.

Funktionsweise von Orchestration Pipelines

Orchestration Pipelines unterstützt eine Vielzahl von Aktionen und Google Cloud Diensten, z. B.:

  • PySpark-Skripts in Managed Service for Apache Spark ausführen
  • Notebook-Dateien in Managed Service for Apache Spark ausführen
  • SQL-Abfragen in BigQuery oder Managed Service for Apache Spark ausführen
  • Datenverarbeitungspipelines in Dataform oder im dbt-Framework ausführen
  • Python-Skripts ausführen

Ein typischer Workflow für Orchestration Pipelines sieht so aus:

  1. Sie definieren Ihre Pipeline als eine Abfolge von Aktionen die mit einem der Google Cloud Dienste ausgeführt werden müssen.
  2. Sie definieren Ressourcenkonfigurationen für Ihre Pipelineaktionen. Sie können beispielsweise angeben, dass eine bestimmte Aktion in einem kurzlebigen Managed Service for Apache Spark-Cluster mit einer bestimmten Konfiguration ausgeführt werden muss.
  3. (Optional) Sie definieren Ressourcen, die automatisch bereitgestellt werden müssen, wenn sie noch nicht vorhanden sind, und zwar über den Mechanismus für bereitgestellte Ressourcen. Sie können beispielsweise angeben, dass ein statischer Managed Service for Apache Spark-Cluster mit einer bestimmten Konfiguration erstellt werden muss.
  4. Sie fügen Ihrem Git-Repository die Pipelinedefinitionsdatei mit den auszuführenden Aktionen hinzu.
  5. Sie fügen einem Git-Repository Assets für einzelne Pipelineaktionen hinzu, z. B. Skript- oder Notebook-Dateien.

  6. Sie stellen Ihre Pipelines mit einem gcloud CLI-Befehl in Ihrer Managed Airflow-Umgebung bereit. Orchestration Pipelines erstellt automatisch einige DAG-Dateien, die Ihre Pipeline ausführen.

    Im Vergleich zu eigenständigen Airflow-DAGs werden diese DAGs automatisch generiert und Sie müssen sie nicht verwalten. Sie können den Status der Pipelineausführung prüfen und Pipelines mit gcloud CLI-Befehlen verwalten.

  7. Ihre Umgebung führt die Pipeline nach Zeitplan aus.

Nächste Schritte