러너 환경 만들기

이 페이지에서는 오케스트레이션 파이프라인을 실행하는 실행기 환경을 만드는 프로세스를 설명합니다.

실행기 환경 정보

각 배포 환경에는 실행기 환경 이 있어야 합니다. Managed Airflow는 배포된 후 파이프라인을 실행하는 오케스트레이션 엔진입니다. 실행기 환경은 배포 환경에 할당한 Managed Airflow 환경입니다.

시작하기 전에

현재 오케스트레이션 파이프라인에서 사용할 수 있는 유일한 실행기는 Google Cloud Managed Service for Apache Airflow입니다. 모든 Managed Airflow 할당량 및 시스템 한도가 적용됩니다. 실행기 환경 비용에 대한 자세한 내용은 Managed Airflow 가격 책정을 참조하세요.
오케스트레이션 파이프라인은 Managed Airflow (3세대) 및 (2세대) 실행기 환경에서 실행할 수 있습니다. Managed Airflow (3세대)에서는 Airflow 3과 Airflow 2를 모두 사용할 수 있습니다.
오케스트레이션 파이프라인 패키지는 다음 버전부터 Managed Airflow에 사전 설치됩니다.
- composer-3-airflow-3.1.7-build.5
- composer-3-airflow-2.11.1-build.1, composer-3-airflow-2.10.5-build.34, composer-3-airflow-2.9.3-build.54
- composer-2.16.11-airflow-2.11.1, composer-2.16.11-airflow-2.10.5
이전 버전의 Managed Airflow를 사용하는 경우 PyPI에서 패키지를 orchestration-pipelines수동으로 설치할 수 있습니다.
Managed Airflow 환경을 만드는 데 걸리는 시간은 약 25분입니다.
콘솔, gcloud CLI, Terraform에서 Managed Airflow 환경을 만들 수 있습니다. Google Cloud 이 가이드에서는 gcloud CLI 명령어만 보여줍니다. 다른 접근 방식에 관한 안내 및 예시는 Managed Airflow 문서의 환경 만들기를 참조하세요.
이 가이드에 제공된 기본 구성은 공개 IP Managed Airflow 환경을 만듭니다. Managed Airflow는 네트워킹 및 보안 구성에 관한 다양한 옵션을 제공합니다. 실행기 환경을 설정하는 다양한 방법에 대한 자세한 내용은 Managed Airflow 문서의 환경 만들기를 참조하세요.

필수 IAM 역할 검토

프로젝트에서 실행기 환경을 만드는 데 필요한 권한을 얻으려면 관리자에게 다음 역할을 부여해 달라고 요청하세요.

환경 및 스토리지 객체 관리자(composer.environmentAndStorageObjectAdmin) 및 서비스 계정 사용자 (iam.serviceAccountUser) 역할은 Managed Service for Apache Airflow에서 환경을 만들고 관리하며 이러한 환경과 연결된 버킷의 객체를 관리합니다. 이러한 사용자 역할에 대한 자세한 내용은 Managed Service for Apache Airflow 문서의 사용자에게 역할 부여를 참조하세요.

Cloud Composer API 및 작업 API 사용 설정

Cloud Composer API를 사용 설정합니다. Managed Airflow에서 사용하는 서비스의 전체 목록은 Managed Airflow에 필요한 서비스를 참조하세요.
사용하려는 서비스 Google Cloud (예: Dataproc API)의 API를 사용 설정합니다.

실행기 환경의 새 서비스 계정을 만들고 IAM 역할 부여

실행기 환경의 서비스 계정은 새 Managed Service for Apache Airflow 환경을 만들고 여기에 배포하는 모든 오케스트레이션 파이프라인을 실행하는 데 사용됩니다.

관리자에게 다음 작업을 요청하세요.

새 서비스 계정을 만듭니다. Identity and Access Management 문서에 설명된 대로
Composer 작업자 (composer.worker) 역할을 부여합니다. 이 역할은 대부분의 경우 필요한 권한 집합을 제공합니다.

프로젝트의 다른 리소스에 액세스하려면 이러한 리소스에 액세스할 수 있는 추가 권한을 이 서비스 계정에 부여합니다. Google Cloud 오케스트레이션 파이프라인의 작동에 필요한 경우에만 이 서비스 계정에 추가 권한을 추가합니다.
Managed Airflow (2세대) 환경을 사용하려면 Managed Airflow 서비스 계정에 필요한 권한 부여 의 안내에 따라 추가 권한을 부여하세요.
파이프라인에 필요한 권한을 부여합니다. 파이프라인의 모든 오케스트레이션 태스크는 이 실행기 환경의 서비스 계정에서 실행되므로 이 서비스 계정에 필요한 모든 권한을 수동으로 부여해야 합니다.

예를 들어 파이프라인에서 Managed Service for Apache Spark 임시 클러스터에서 실행되는 작업을 사용하는 경우 실행기 환경의 서비스 계정에는 Managed Service for Apache Spark 클러스터를 만들고 삭제할 수 있는 권한과 Managed Service for Apache Spark 작업을 트리거하고 관리할 수 있는 권한이 있어야 합니다. 또한 Dataproc API를 사용 설정해야 합니다.

Managed Service for Apache Airflow 환경 만들기

다음 고려사항을 사용하여 Managed Service for Apache Airflow 환경을 만듭니다.

환경 이름: 모든 이름. 이 이름은 나중에 파이프라인을 [배포][op-deploy] 하는 데 사용됩니다. 예: example-runner.
이미지 버전: 사용할 Managed Service for Apache Airflow 및 Airflow 버전. gcloud CLI에서는 기본 버전을 가리키는 별칭(예: composer-3-airflow-3 또는 composer-2-airflow-2)을 사용할 수 있습니다.
위치: 모든 위치. 예: us-central1.
서비스 계정: 이 환경을 위해 만든 서비스 계정.

gcloud CLI 명령어 예시:

gcloud composer environments create example-runner \
  --location us-central1 \
  --image-version composer-3-airflow-3 \
  --service-account "example-account@example-project.iam.gserviceaccount.com"

미리보기에 권장되는 워크로드 구성 예시 (나중에 언제든지 확장 또는 축소할 수 있음):

gcloud composer environments create example-runner \
  --location us-central1 \
  --image-version composer-3-airflow-3 \
  --service-account "example-account@example-project.iam.gserviceaccount.com" \
  --scheduler-cpu 2 \
  --scheduler-memory 8GB \
  --dag-processor-cpu 4 \
  --dag-processor-memory 8GB \
  --worker-cpu 4 \
  --worker-memory 8GB

Managed Airflow 환경을 만드는 데 약 25분 정도 걸립니다.

(선택사항) PyPI에서 오케스트레이션 파이프라인 패키지 설치

오케스트레이션 파이프라인은 orchestration-pipelines PyPI 패키지에 따라 달라집니다. 기본적으로 실행기 환경에는 이 패키지가 사전 설치되어 있습니다.

이 패키지가 사전 설치되어 있지 않은 이전 버전의 Managed Airflow를 사용하거나 다른 버전의 패키지를 설치하려면 PyPI에서 이 패키지를 설치하면 됩니다.

**중요:** 엄격한 요구사항 (==)을 지정하지 않는 것이 좋습니다. 버전이 단일 옵션으로 고정되어 있으므로 패키지 충돌이 발생할 수 있습니다. 대신 엄격하지 않은 버전 요구사항 (>=)을 사용하세요.

예:

gcloud composer environments update example-runner \
    --location us-central1 \
    --update-pypi-package "orchestration-pipelines>=0.11.1"

실행기 환경에 PyPI 패키지를 설치하는 방법과 콘솔 및 Terraform에서 이 작업을 실행하는 예시에 대한 자세한 내용은 Google Cloud Managed Service for Apache Airflow 문서의Python 종속 항목 설치를 참조하세요.

다음 단계

[배포 구성][op-deploy]에 실행기 환경을 추가합니다.