Mengelola pipeline orkestrasi

Anda dapat mengelola pipeline orkestrasi yang di-deploy ke lingkungan runner menggunakan perintah Google Cloud CLI.

Tentang lingkungan deployment

Project Anda dapat memiliki satu atau beberapa lingkungan deployment. Konfigurasi setiap lingkungan deployment menentukan cara pipeline dan resource yang termasuk dalam lingkungan ini di-deploy. Misalnya, Anda dapat memiliki satu lingkungan deployment untuk pengembangan, dan lingkungan lain untuk produksi. Lingkungan deployment ini dapat memiliki kumpulan pipeline terpisah dan berjalan di lingkungan runner yang berbeda.

Setiap lingkungan deployment harus memiliki lingkungan runner. Managed Airflow adalah mesin orkestrasi yang menjalankan pipeline Anda setelah di-deploy. Lingkungan runner adalah lingkungan Managed Airflow yang telah Anda tetapkan ke lingkungan deployment.

Tentang paket pipeline

Pipeline orkestrasi di-deploy dalam paket pipeline. Paket pipeline berisi satu atau beberapa pipeline dan aset pipeline yang memiliki siklus deployment yang sama.

Setiap paket dapat memiliki beberapa versi. Saat Anda men-deploy paket, semua pipeline dan skrip pendamping dalam paket bundle dari versi tertentu akan di-deploy bersama-sama. Jika operasi pipeline dipicu, semua pipeline dan aset pipeline akan tetap berada di versi paket yang digunakan untuk memulai operasi, meskipun Anda men-deploy versi baru sementara itu.

Melihat daftar pipeline

gcloud

Untuk melihat daftar pipeline orkestrasi di lingkungan deployment, jalankan perintah Google Cloud CLI berikut di direktori tempat file deployment.yaml berada:

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: mencantumkan pipeline di lingkungan deployment yang ditentukan.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • (Opsional) BUNDLE_NAME: mencantumkan pipeline yang termasuk dalam paket yang ditentukan.

  • (Opsional) OWNER_NAME: jika ditentukan, mencantumkan pipeline yang termasuk dalam pemilik yang ditentukan.

Contoh:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

Konsol

Untuk melihat daftar pipeline orkestrasi di lingkungan deployment:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Buka tab Orchestration Pipelines. Tab ini menampilkan daftar semua pipeline yang di-deploy di lingkungan Anda.

Melihat deskripsi mendetail pipeline

gcloud

Untuk melihat deskripsi pipeline tertentu, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment pipeline.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: paket yang berisi pipeline.

  • PIPELINE_NAME: nama pipeline.

Contoh:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

Konsol

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Buka tab Orchestration Pipelines. Tab ini menampilkan daftar semua pipeline yang di-deploy di lingkungan Anda.

  4. Klik nama pipeline. Halaman Pipeline details akan terbuka:

    • Tab Details menampilkan informasi mendetail tentang pipeline, seperti ID pipeline, status, dan SHA commit sumber.
    • Tab Graph menampilkan grafik yang menguraikan tindakan individual pipeline. Klik node grafik untuk melihat informasi mendetail tentang setiap tindakan.
    • Tab YAML source menampilkan definisi pipeline.
    • Tab Run history menampilkan histori dan status operasi pipeline.

Men-deploy paket pipeline

Perintah ini men-deploy paket pipeline dan aset pipeline sesuai dengan konfigurasi deployment yang disediakan. Pastikan Anda telah mengonfigurasi deployment pipeline sebelum menjalankan perintah ini.

Untuk men-deploy paket pipeline untuk lingkungan deployment:

  • Men-deploy perubahan yang di-commit: Setelah Anda melakukan commit perubahan pada aset pipeline, definisi pipeline, dan konfigurasi deployment, Anda dapat men-deploy versi baru paket pipeline ke lingkungan runner. ID paket baru akan ditautkan ke commit di repositori Anda. Jenis deployment ini biasanya dijalankan sebagai bagian dari CI/CD. Misalnya, melalui alur kerja GitHub Actions.

  • Men-deploy versi paket lokal: Men-deploy versi aset pipeline, definisi pipeline, dan konfigurasi deployment saat ini. ID paket baru akan ditandai sebagai deployment lokal. Jenis deployment ini ditujukan untuk tujuan pengembangan.

Untuk men-deploy perubahan yang di-commit, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

Untuk men-deploy versi lokal, gunakan argumen --local:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment pipeline.

Contoh:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

Contoh output berisi status deployment.

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

Memicu operasi manual pipeline

Anda dapat memicu operasi manual pipeline orkestrasi tertentu:

  • Paket pipeline harus sudah di-deploy sebelum Anda memicunya.

  • Anda hanya dapat memicu versi pipeline yang di-deploy terbaru dalam paket. Setelah operasi dipicu, pipeline akan selalu menjalankan semua tugasnya dalam versi paket yang digunakan untuk memulai, meskipun Anda mengupload versi paket kode yang lebih baru sementara itu.

Untuk memicu operasi manual, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment pipeline.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: paket yang berisi pipeline.

  • PIPELINE_NAME: nama pipeline.

Contoh:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Mencantumkan histori operasi pipeline

gcloud

Untuk melihat histori operasi satu pipeline orkestrasi, termasuk operasi di semua versi pipeline sebelumnya, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment tempat pipeline berada.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: paket yang berisi pipeline.

  • PIPELINE_NAME: nama pipeline.

Contoh:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Konsol

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Buka tab Orchestration Pipelines. Tab ini menampilkan daftar semua pipeline yang di-deploy di lingkungan Anda.

  4. Klik nama pipeline. Halaman Pipeline details akan terbuka.

  5. Buka tab Run history. Tab ini menampilkan histori dan status operasi pipeline.

  6. Klik ID operasi DAG untuk membuka halaman detail operasi DAG.

Mencantumkan detail operasi pipeline

Untuk melihat detail satu operasi pipeline orkestrasi, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment tempat pipeline berada.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: paket yang berisi pipeline.

  • PIPELINE_NAME: nama pipeline.

  • RUN_ID: ID operasi pipeline. Anda dapat memperoleh ID ini dari daftar operasi.

Contoh:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

Contoh output:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

Menjeda operasi pipeline terjadwal

Setelah dijeda, pipeline tidak akan berjalan sesuai jadwalnya. Anda dapat memicu operasi pipeline manual untuk pipeline tersebut. Tindakan ini akan membuat pipeline tetap dijeda dan akan membuat operasi pipeline manual di luar jadwal. Lanjutkan pipeline untuk mengaktifkan jadwalnya.

Untuk menjeda semua operasi pipeline terjadwal, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment tempat pipeline berada.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: paket yang berisi pipeline.

  • PIPELINE_NAME: nama pipeline.

Contoh:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Membatalkan jeda operasi pipeline terjadwal

Untuk membatalkan jeda operasi pipeline terjadwal, jalankan perintah berikut di gcloud CLI:

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Ganti kode berikut:

  • DEPLOYMENT_ENVIRONMENT: lingkungan deployment tempat pipeline berada.

    Sebagai alternatif, Anda dapat menjalankan perintah ini untuk lingkungan runner tertentu . Dalam hal ini, ganti argumen --environment dengan argumen --runner dan tentukan ID resource lengkap lingkungan runner Anda. Contoh: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: paket yang berisi pipeline.

  • PIPELINE_NAME: nama pipeline.