Orchestrierungspipelines verwalten

Sie können Orchestrierungspipelines, die in Runner-Umgebungen bereitgestellt wurden, mit Google Cloud CLI-Befehlen verwalten.

Informationen zu Bereitstellungsumgebungen

Ihr Projekt kann eine oder mehrere Bereitstellungsumgebungen haben. In der Konfiguration jeder Bereitstellungsumgebung wird festgelegt, wie Pipelines und Ressourcen, die zu dieser Umgebung gehören, bereitgestellt werden. Sie können beispielsweise eine Bereitstellungsumgebung für die Entwicklung und eine weitere Umgebung für die Produktion haben. Diese Bereitstellungsumgebungen können separate Pipelines haben und in verschiedenen Runner-Umgebungen ausgeführt werden.

Jede Bereitstellungsumgebung muss eine Runner-Umgebung haben. Managed Airflow ist die Orchestrierungs-Engine, die Ihre Pipelines ausführt, nachdem sie bereitgestellt wurden. Eine Runner-Umgebung ist eine Managed Airflow-Umgebung, die Sie Ihrer Bereitstellungsumgebung zugewiesen haben.

Informationen zu Pipeline-Bundles

Orchestrierungspipelines werden in Pipeline-Bundles bereitgestellt. Ein Pipeline-Bundle enthält eine oder mehrere Pipelines und Pipeline-Assets, die einen gemeinsamen Bereitstellungszyklus haben.

Jedes Bundle kann mehrere Versionen haben. Wenn Sie ein Bundle bereitstellen, werden alle Pipelines und zugehörigen Skripts im Bundle-Paket einer bestimmten Version zusammen bereitgestellt. Wenn eine Pipelineausführung ausgelöst wird, bleiben alle Pipelines und Pipeline-Assets in der Bundle-Version, die zum Starten der Ausführung verwendet wurde. Das gilt auch, wenn Sie in der Zwischenzeit eine neue Version bereitstellen.

Liste der Pipelines ansehen

gcloud

Führen Sie den folgenden Google Cloud CLI-Befehl im Verzeichnis aus, in dem sich die Datei deployment.yaml befindet, um die Liste der Orchestrierungspipelines in einer Bereitstellungsumgebung aufzurufen:

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Pipelines in der angegebenen Bereitstellungsumgebung auflisten.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • (Optional) BUNDLE_NAME: Pipelines auflisten, die zum angegebenen Bundle gehören.

  • (Optional) OWNER_NAME: Wenn angegeben, Pipelines auflisten, die zum angegebenen Inhaber gehören.

Beispiel:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

Console

So rufen Sie die Liste der Orchestrierungspipelines in einer Bereitstellungsumgebung auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Orchestrierungspipelines auf. Auf dem Tab wird die Liste aller in Ihrer Umgebung bereitgestellten Pipelines angezeigt.

Detaillierte Beschreibung einer Pipeline ansehen

gcloud

Führen Sie den folgenden Befehl in der gcloud CLI aus, um die Beschreibung einer bestimmten Pipeline aufzurufen:

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung der Pipeline.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: Bundle, zu dem die Pipeline gehört.

  • PIPELINE_NAME: Name der Pipeline.

Beispiel:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Orchestrierungspipelines auf. Auf dem Tab wird die Liste aller in Ihrer Umgebung bereitgestellten Pipelines angezeigt.

  4. Klicken Sie auf den Namen der Pipeline. Die Seite Pipelinedetails wird geöffnet:

    • Auf dem Tab Details finden Sie detaillierte Informationen zur Pipeline, z. B. die Pipeline-ID, den Status und die SHA des Quell-Commits.
    • Auf dem Tab Diagramm wird ein Diagramm mit den einzelnen Aktionen der Pipeline angezeigt. Klicken Sie auf Diagrammknoten, um detaillierte Informationen zu den einzelnen Aktionen aufzurufen.
    • Auf dem Tab YAML-Quelle wird die Pipelinedefinition angezeigt.
    • Auf dem Tab Ausführungsverlauf werden der Verlauf und der Status der Pipelineausführungen angezeigt.

Pipeline-Bundle bereitstellen

Mit diesem Befehl werden Pipeline-Bundles und Pipeline-Assets gemäß der angegebenen Bereitstellungskonfiguration bereitgestellt. Achten Sie darauf, dass Sie die Pipelinebereitstellung bereits konfiguriert haben, bevor Sie diesen Befehl ausführen.

So stellen Sie ein Pipeline-Bundle für eine Bereitstellungsumgebung bereit:

  • Festgeschriebene Änderungen bereitstellen: Nachdem Sie Änderungen an Ihren Pipeline-Assets, Pipelinedefinitionen und der Bereitstellungskonfiguration vorgenommen haben, können Sie eine neue Version des Pipeline-Bundles in der Runner-Umgebung bereitstellen. Die ID des neuen Bundles wird mit dem Commit in Ihrem Repository verknüpft. Diese Art der Bereitstellung sollte in der Regel im Rahmen von CI/CD ausgeführt werden. Beispielsweise über den GitHub Actions-Workflow.

  • Lokale Bundle-Version bereitstellen: Stellen Sie die aktuellen Versionen von Pipeline-Assets, Pipelinedefinitionen und der Bereitstellungskonfiguration bereit. Die neue Paket-ID wird als lokale Bereitstellung gekennzeichnet. Diese Art der Bereitstellung ist für Entwicklungszwecke vorgesehen.

Führen Sie den folgenden Befehl in der gcloud CLI aus, um festgeschriebene Änderungen bereitzustellen:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

Verwenden Sie das Argument --local, um eine lokale Version bereitzustellen:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung der Pipeline.

Beispiel:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

Die Beispielausgabe enthält den Bereitstellungsstatus.

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

Manuelle Ausführung einer Pipeline auslösen

Sie können eine manuelle Ausführung einer bestimmten Orchestrierungspipeline auslösen:

  • Das Pipeline-Bundle muss bereits bereitgestellt sein, bevor Sie es auslösen.

  • Sie können nur die zuletzt bereitgestellte Version der Pipeline im Bundle auslösen. Nachdem die Ausführung ausgelöst wurde, werden alle Aufgaben der Pipeline immer in der Bundle-Version ausgeführt, mit der sie gestartet wurde. Das gilt auch, wenn Sie in der Zwischenzeit eine neuere Bundle-Version des Codes hochladen.

Führen Sie den folgenden Befehl in der gcloud CLI aus, um eine manuelle Ausführung auszulösen:

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung der Pipeline.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: Bundle, zu dem die Pipeline gehört.

  • PIPELINE_NAME: Name der Pipeline.

Beispiel:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Ausführungsverlauf einer Pipeline auflisten

gcloud

Führen Sie den folgenden Befehl in der gcloud CLI aus, um den Ausführungsverlauf einer einzelnen Orchestrierungspipeline aufzurufen, einschließlich der Ausführungen aller vorherigen Pipelineversionen:

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung, in der sich die Pipeline befindet.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: Bundle, zu dem die Pipeline gehört.

  • PIPELINE_NAME: Name der Pipeline.

Beispiel:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Orchestrierungspipelines auf. Auf dem Tab wird die Liste aller in Ihrer Umgebung bereitgestellten Pipelines angezeigt.

  4. Klicken Sie auf den Namen der Pipeline. Die Seite Pipelinedetails wird geöffnet.

  5. Rufen Sie den Tab Ausführungsverlauf auf. Auf dem Tab werden der Verlauf und der Status der Pipelineausführungen angezeigt.

  6. Klicken Sie auf eine DAG-Ausführungs-ID, um zur Detailseite der DAG-Ausführung zu gelangen.

Details zur Pipelineausführung auflisten

Führen Sie den folgenden Befehl in der gcloud CLI aus, um die Details einer einzelnen Orchestrierungspipelineausführung aufzurufen:

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung, in der sich die Pipeline befindet.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: Bundle, zu dem die Pipeline gehört.

  • PIPELINE_NAME: Name der Pipeline.

  • RUN_ID: Die ID der Pipelineausführung. Sie finden diese ID in der Liste der Ausführungen.

Beispiel:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

Beispielausgabe:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

Geplante Pipelineausführungen pausieren

Nach dem Pausieren wird die Pipeline nicht mehr gemäß ihrem Zeitplan ausgeführt. Sie können für solche Pipelines eine manuelle Pipelineausführung auslösen. Dadurch bleibt die Pipeline pausiert und es wird eine manuelle Pipelineausführung außerhalb des Zeitplans erstellt. Heben Sie die Pausierung der Pipeline auf, um den Zeitplan zu aktivieren.

Führen Sie den folgenden Befehl in der gcloud CLI aus, um alle geplanten Pipelineausführungen zu pausieren:

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung, in der sich die Pipeline befindet.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: Bundle, zu dem die Pipeline gehört.

  • PIPELINE_NAME: Name der Pipeline.

Beispiel:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Pausierung geplanter Pipelineausführungen aufheben

Führen Sie den folgenden Befehl in der gcloud CLI aus, um die Pausierung geplanter Pipelineausführungen aufzuheben:

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Ersetzen Sie Folgendes:

  • DEPLOYMENT_ENVIRONMENT: Bereitstellungsumgebung, in der sich die Pipeline befindet.

    Alternativ können Sie diesen Befehl für eine bestimmte Runner-Umgebung ausführen. Ersetzen Sie in diesem Fall das Argument --environment durch das Argument --runner und geben Sie die vollständige Ressourcen-ID Ihrer Runner-Umgebung an. Beispiel: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: Bundle, zu dem die Pipeline gehört.

  • PIPELINE_NAME: Name der Pipeline.