조정 파이프라인 관리

Google Cloud CLI 명령어를 사용하여 실행기 환경에 배포된 조정 파이프라인을 관리할 수 있습니다.

배포 환경 정보

프로젝트에는 배포 환경 이 하나 이상 포함될 수 있습니다. 각 배포 환경의 구성은 이 환경에 속한 파이프라인과 리소스가 배포되는 방식을 정의합니다. 예를 들어 개발을 위한 배포 환경과 프로덕션을 위한 다른 환경을 사용할 수 있습니다. 이러한 배포 환경에는 별도의 파이프라인 집합이 있을 수 있으며 서로 다른 실행기 환경에서 실행될 수 있습니다.

각 배포 환경에는 실행기 환경 이 있어야 합니다. Managed Airflow는 배포된 후 파이프라인을 실행하는 조정 엔진입니다. 실행기 환경은 배포 환경에 할당한 Managed Airflow 환경입니다.

파이프라인 번들 정보

조정 파이프라인은 파이프라인 번들 에 배포됩니다. 파이프라인 번들에는 공통 배포 주기를 공유하는 하나 이상의 파이프라인과 파이프라인 애셋이 포함되어 있습니다.

각 번들에는 여러 버전 이 있을 수 있습니다. 번들을 배포하면 특정 버전의 번들 패키지에 있는 모든 파이프라인과 함께 제공되는 스크립트가 함께 배포됩니다. 파이프라인 실행이 트리거되면 그동안 새 버전을 배포하더라도 모든 파이프라인과 파이프라인 애셋은 실행을 시작하는 데 사용된 번들 버전에 유지됩니다.

파이프라인 목록 보기

gcloud

배포 환경에서 조정 파이프라인 목록을 보려면 deployment.yaml 파일이 있는 디렉터리에서 다음 Google Cloud CLI 명령어를 실행합니다.

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 지정된 배포 환경의 파이프라인을 나열합니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • (선택사항) BUNDLE_NAME: 지정된 번들에 속한 파이프라인을 나열합니다.

  • (선택사항) OWNER_NAME: 지정된 경우 지정된 소유자에 속한 파이프라인을 나열합니다.

예:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

콘솔

배포 환경에서 조정 파이프라인 목록을 보려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 오케스트레이션 파이프라인 탭으로 이동합니다. 이 탭에는 환경에 배포된 모든 파이프라인 목록이 표시됩니다.

파이프라인의 세부 설명 보기

gcloud

특정 파이프라인의 설명을 보려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인의 배포 환경입니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: 파이프라인이 속한 번들입니다.

  • PIPELINE_NAME: 파이프라인의 이름입니다.

예:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

콘솔

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 오케스트레이션 파이프라인 탭으로 이동합니다. 이 탭에는 환경에 배포된 모든 파이프라인 목록이 표시됩니다.

  4. 파이프라인의 이름을 클릭합니다. 파이프라인 세부정보 페이지가 열립니다.

    • 세부정보 탭에는 파이프라인 ID, 상태, 소스 커밋 SHA와 같은 파이프라인에 관한 세부정보가 표시됩니다.
    • 그래프 탭에는 파이프라인의 개별 작업을 간략하게 보여주는 그래프가 표시됩니다. 그래프 노드를 클릭하여 각 작업에 관한 세부정보를 확인합니다.
    • YAML 소스 탭에는 파이프라인 정의가 표시됩니다.
    • 실행 기록 탭에는 파이프라인 실행의 기록과 상태가 표시됩니다.

파이프라인 번들 배포

이 명령어는 제공된 배포 구성에 따라 파이프라인 번들과 파이프라인 애셋을 배포합니다. 이 명령어를 실행하기 전에 파이프라인 배포를 이미 구성했는지 확인하세요.

배포 환경에 파이프라인 번들을 배포하려면 다음 단계를 따르세요.

  • 커밋된 변경사항 배포: 파이프라인 애셋, 파이프라인 정의, 배포 구성을 커밋한 후 실행기 환경에 새 버전의 파이프라인 번들을 배포할 수 있습니다. 새 번들의 ID는 저장소의 커밋에 연결됩니다. 이 배포 유형은 일반적으로 CI/CD의 일부로 실행됩니다. 예를 들어 GitHub Actions 워크플로를 통해 실행됩니다.

  • 로컬 번들 버전 배포: 파이프라인 애셋, 파이프라인 정의, 배포 구성의 현재 버전을 배포합니다. 새 번들 ID는 로컬 배포로 표시됩니다. 이 배포 유형은 개발 목적으로 사용됩니다.

커밋된 변경사항을 배포하려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

로컬 버전을 배포하려면 --local 인수를 사용합니다.

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인의 배포 환경입니다.

예:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

출력 예시에는 배포 상태가 포함되어 있습니다.

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

파이프라인의 수동 실행 트리거

특정 조정 파이프라인의 수동 실행을 트리거할 수 있습니다.

  • 파이프라인 번들은 트리거하기 전에 이미 배포되어 있어야 합니다.

  • 번들에서 배포된 최신 버전의 파이프라인만 트리거할 수 있습니다. 실행이 트리거된 후에는 그동안 새 번들 버전의 코드를 업로드하더라도 파이프라인은 항상 시작된 번들 버전에서 모든 작업을 실행합니다.

수동 실행을 트리거하려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인의 배포 환경입니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: 파이프라인이 속한 번들입니다.

  • PIPELINE_NAME: 파이프라인의 이름입니다.

예:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

파이프라인의 실행 기록 나열

gcloud

이전의 모든 파이프라인 버전에 걸친 실행을 포함하여 단일 조정 파이프라인의 실행 기록을 보려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인이 있는 배포 환경입니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: 파이프라인이 속한 번들입니다.

  • PIPELINE_NAME: 파이프라인의 이름입니다.

예:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

콘솔

  1. 콘솔 Google Cloud 에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 오케스트레이션 파이프라인 탭으로 이동합니다. 이 탭에는 환경에 배포된 모든 파이프라인 목록이 표시됩니다.

  4. 파이프라인의 이름을 클릭합니다. 파이프라인 세부정보 페이지가 열립니다.

  5. 실행 기록 탭으로 이동합니다. 이 탭에는 파이프라인 실행의 기록과 상태가 표시됩니다.

  6. DAG 실행 ID를 클릭하여 DAG 실행 세부정보 페이지로 이동합니다.

파이프라인 실행 세부정보 나열

단일 조정 파이프라인 실행의 세부정보를 보려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인이 있는 배포 환경입니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: 파이프라인이 속한 번들입니다.

  • PIPELINE_NAME: 파이프라인의 이름입니다.

  • RUN_ID: 파이프라인 실행의 식별자입니다. 실행 목록에서 이 ID를 가져올 수 있습니다.

예:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

출력 예시:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

예약된 파이프라인 실행 일시중지

일시중지되면 파이프라인이 일정에 따라 실행되지 않습니다. 이러한 파이프라인의 경우 수동 파이프라인 실행을 트리거할 수 있습니다. 이렇게 하면 파이프라인이 일시중지되고 일정 외에 수동 파이프라인 실행이 생성됩니다. 파이프라인을 재개하여 일정을 사용 설정합니다.

예약된 모든 파이프라인 실행을 일시중지하려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인이 있는 배포 환경입니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: 파이프라인이 속한 번들입니다.

  • PIPELINE_NAME: 파이프라인의 이름입니다.

예:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

예약된 파이프라인 실행 재개

예약된 파이프라인 실행을 재개하려면 gcloud CLI에서 다음 명령어를 실행합니다.

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

다음을 바꿉니다.

  • DEPLOYMENT_ENVIRONMENT: 파이프라인이 있는 배포 환경입니다.

    또는 특정 실행기 환경에 대해 이 명령어를 실행할 수 있습니다. 이 경우 --environment 인수를 --runner 인수로 바꾸고 실행기 환경의 전체 리소스 ID를 지정합니다. 예: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME: 파이프라인이 속한 번들입니다.

  • PIPELINE_NAME: 파이프라인의 이름입니다.