Gestisci le pipeline di orchestrazione

Puoi gestire le pipeline di orchestrazione di cui è stato fatto il deployment negli ambienti runner utilizzando i comandi di Google Cloud CLI.

Informazioni sugli ambienti di deployment

Il tuo progetto può avere uno o più ambienti di deployment. La configurazione di ogni ambiente di deployment definisce la modalità di deployment delle pipeline e delle risorse appartenenti a questo ambiente. Ad esempio, puoi avere un ambiente di deployment per lo sviluppo e un altro per la produzione. Questi ambienti di deployment possono avere set di pipeline separati ed essere eseguiti in ambienti runner diversi.

Ogni ambiente di deployment deve avere un ambiente runner. Managed Airflow è il motore di orchestrazione che esegue le pipeline dopo il deployment. Un ambiente runner è un ambiente Managed Airflow che hai assegnato a l tuo ambiente di deployment.

Informazioni sui bundle di pipeline

Le pipeline di orchestrazione vengono sottoposte a deployment in bundle di pipeline. Un bundle di pipeline contiene una o più pipeline e asset di pipeline che condividono un ciclo di deployment comune.

Ogni bundle può avere più versioni. Quando esegui il deployment di un bundle, vengono sottoposte a deployment contemporaneamente tutte le pipeline e gli script di accompagnamento nel pacchetto del bundle di una versione specifica. Se viene attivata un'esecuzione della pipeline, tutte le pipeline e gli asset della pipeline rimarranno nella versione del bundle utilizzata per avviare l'esecuzione, anche se nel frattempo esegui il deployment di una nuova versione.

Visualizzare l'elenco delle pipeline

gcloud

Per visualizzare l'elenco delle pipeline di orchestrazione in un ambiente di deployment, esegui il seguente comando di Google Cloud CLI nella directory in cui si trova il file deployment.yaml:

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: elenca le pipeline nell'ambiente di deployment specificato.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • (Facoltativo) BUNDLE_NAME: elenca le pipeline appartenenti al bundle specificato.

  • (Facoltativo) OWNER_NAME: se specificato, elenca le pipeline appartenenti al proprietario specificato.

Esempio:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

Console

Per visualizzare l'elenco delle pipeline di orchestrazione in un ambiente di deployment:

  1. Nella Google Cloud console, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Vai alla scheda Orchestration Pipelines. La scheda mostra l'elenco di tutte le pipeline di cui è stato fatto il deployment nel tuo ambiente.

Visualizzare la descrizione dettagliata di una pipeline

gcloud

Per visualizzare la descrizione di una pipeline specifica, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment della pipeline.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: bundle a cui appartiene la pipeline.

  • PIPELINE_NAME: nome della pipeline.

Esempio:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

Console

  1. Nella Google Cloud console, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Vai alla scheda Orchestration Pipelines. La scheda mostra l'elenco di tutte le pipeline di cui è stato fatto il deployment nel tuo ambiente.

  4. Fai clic sul nome della pipeline. Si apre la pagina Dettagli pipeline:

    • La scheda Dettagli mostra informazioni dettagliate sulla pipeline, come l'ID pipeline, lo stato e lo SHA del commit di origine.
    • La scheda Grafico mostra un grafico che delinea le singole azioni della pipeline. Fai clic sui nodi del grafico per visualizzare informazioni dettagliate su ogni azione.
    • La scheda Origine YAML mostra la definizione della pipeline.
    • La scheda Cronologia esecuzioni mostra la cronologia e lo stato delle esecuzioni della pipeline.

Eseguire il deployment di un bundle di pipeline

Questo comando esegue il deployment dei bundle di pipeline e degli asset della pipeline in base alla configurazione di deployment fornita. Prima di eseguire questo comando, assicurati di aver già configurato il deployment della pipeline.

Per eseguire il deployment di un bundle di pipeline per un ambiente di deployment:

  • Esegui il deployment delle modifiche di cui è stato eseguito il commit: dopo aver eseguito il commit delle modifiche agli asset della pipeline, alle definizioni della pipeline e alla configurazione di deployment, puoi eseguire il deployment di una nuova versione del bundle di pipeline nell'ambiente runner. L'ID del nuovo bundle verrà collegato al commit nel repository. In genere, questo tipo di deployment viene eseguito nell'ambito di CI/CD. Ad esempio, tramite il flusso di lavoro di GitHub Actions.

  • Esegui il deployment di una versione del bundle locale: esegui il deployment delle versioni correnti degli asset della pipeline, delle definizioni della pipeline e della configurazione di deployment. Il nuovo ID pacchetto verrà contrassegnato come deployment locale. Questo tipo di deployment è destinato a scopi di sviluppo.

Per eseguire il deployment delle modifiche di cui è stato eseguito il commit, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

Per eseguire il deployment di una versione locale, utilizza l'argomento --local:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment della pipeline.

Esempio:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

L'output di esempio contiene lo stato del deployment.

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

Attivare un'esecuzione manuale di una pipeline

Puoi attivare un'esecuzione manuale di una pipeline di orchestrazione specifica:

  • Prima di attivare il bundle di pipeline, devi averne già eseguito il deployment .

  • Puoi attivare solo l'ultima versione della pipeline di cui è stato fatto il deployment nel bundle. Dopo l'attivazione dell'esecuzione, le pipeline eseguiranno sempre tutte le attività nella versione del bundle con cui è stata avviata, anche se nel frattempo carichi una versione più recente del bundle di codice.

Per attivare un'esecuzione manuale, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment della pipeline.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: bundle a cui appartiene la pipeline.

  • PIPELINE_NAME: nome della pipeline.

Esempio:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Elencare la cronologia delle esecuzioni di una pipeline

gcloud

Per visualizzare la cronologia delle esecuzioni di una singola pipeline di orchestrazione, incluse le esecuzioni di tutte le versioni precedenti della pipeline, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment in cui si trova la pipeline.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: bundle a cui appartiene la pipeline.

  • PIPELINE_NAME: nome della pipeline.

Esempio:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Console

  1. Nella Google Cloud console, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Vai alla scheda Orchestration Pipelines. La scheda mostra l'elenco di tutte le pipeline di cui è stato fatto il deployment nel tuo ambiente.

  4. Fai clic sul nome della pipeline. Si apre la pagina Dettagli pipeline.

  5. Vai alla scheda Cronologia esecuzioni. La scheda mostra la cronologia e lo stato delle esecuzioni della pipeline.

  6. Fai clic sull'ID di un'esecuzione DAG per andare alla pagina dei dettagli dell'esecuzione DAG.

Elencare i dettagli dell'esecuzione della pipeline

Per visualizzare i dettagli di una singola esecuzione della pipeline di orchestrazione, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment in cui si trova la pipeline.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: bundle a cui appartiene la pipeline.

  • PIPELINE_NAME: nome della pipeline.

  • RUN_ID: l'identificatore dell'esecuzione della pipeline. Puoi ottenere questo ID da l' elenco delle esecuzioni.

Esempio:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

Output di esempio:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

Mettere in pausa le esecuzioni pianificate della pipeline

Una volta messa in pausa, la pipeline non verrà eseguita in base alla pianificazione. Puoi attivare un'esecuzione manuale della pipeline per queste pipeline. In questo modo, la pipeline rimarrà in pausa e verrà creata un'esecuzione manuale della pipeline al di fuori della pianificazione. Riattiva la pipeline per abilitare la pianificazione.

Per mettere in pausa tutte le esecuzioni pianificate della pipeline, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment in cui si trova la pipeline.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: bundle a cui appartiene la pipeline.

  • PIPELINE_NAME: nome della pipeline.

Esempio:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Riattivare le esecuzioni pianificate della pipeline

Per riattivare le esecuzioni pianificate della pipeline, esegui il seguente comando in gcloud CLI:

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Sostituisci quanto segue:

  • DEPLOYMENT_ENVIRONMENT: ambiente di deployment in cui si trova la pipeline.

    In alternativa, puoi eseguire questo comando per un ambiente runner specifico. In questo caso, sostituisci l'argomento --environment con l'argomento --runner e specifica l'ID risorsa completo dell'ambiente runner. Esempio: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: bundle a cui appartiene la pipeline.

  • PIPELINE_NAME: nome della pipeline.