Managed Airflow (3세대) | Managed Airflow (2세대) | Managed Airflow (기존 1세대)
이 페이지에서는 프로젝트에서 Managed Service for Apache Airflow 서비스를 사용 설정하고 중지하는 방법을 설명합니다. Google Cloud
의 서비스 관리에 대한 자세한 내용은 Google Cloud 서비스 사용 설정 및 중지를 참조하세요.
VPC 서비스 제어 구성에서 Managed Airflow에 필요한 서비스 목록은 VPC 서비스 제어 구성을 참조하세요.
Managed Service for Apache Airflow에 필요한 서비스
이 섹션에서는 Managed Airflow (3세대)에 필요한 서비스를 설명합니다. 경우에 따라 조직 또는 프로젝트 관리자는 프로젝트에서 사용할 수 있는 Google 서비스를 제한할 수 있습니다.
관리형 Airflow (3세대)에 필요한 서비스는 다음과 같습니다.
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com - Cloud KMS 또는 CMEK 키를 사용하는 경우
secretmanager.googleapis.com - Secret Manager를 보안 비밀 백엔드로 사용하는 경우
Cloud DNS 또는 IAM과 같은 Google 서비스는 기본적으로 대부분의 프로젝트에서 이미 허용됩니다.
관리형 Airflow 서비스 사용 설정
이 섹션에서는 프로젝트에서 Managed Airflow 서비스를 사용 설정하는 방법을 설명합니다. Google Cloud
서비스를 사용 설정하기 전에
관리형 Airflow 서비스를 사용 설정하려면 올바른 Identity and Access Management 권한이 있어야 합니다. 서비스 사용량에 대한 IAM 요구사항에 대해 알아보려면 액세스 제어의 서비스 사용량 페이지 를 참조하세요.
프로젝트에 결제가 사용 설정되어 있는지 확인하세요.
Cloud Composer API 사용 설정
콘솔
Cloud Composer API를 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면 serviceusage.services.enable 권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할 (roles/owner)을 통해 이 권한을 이미 보유하고 있을 가능성이 높습니다. 그렇지 않은 경우 서비스 사용량 관리자 역할 (roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할을 부여하는 방법을 알아보세요.
gcloud
composer.googleapis.com API를 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면 serviceusage.services.enable 권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할 (roles/owner)을 통해 이 권한을 이미 보유하고 있을 가능성이 높습니다. 그렇지 않은 경우 서비스 사용량 관리자 역할 (roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할을 부여하는 방법을 알아보세요.
gcloud services enable composer.googleapis.com
API
services.enable 메서드를 사용하여 composer.googleapis.com API를 사용 설정합니다.
Terraform
google_project_service
리소스를 사용하여 composer.googleapis.com API를 구성합니다.
DAG에 필요한 서비스 사용 설정
관리형 Airflow에 필요한 서비스 외에도 DAG에서 사용하는 모든 서비스를 사용 설정합니다. 예를 들면 다음과 같습니다.
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
서비스의 *.googleapis.com 이름은 API 페이지 에서 확인할 수 있습니다. 이 페이지는 API 탐색기 페이지에서 연결됩니다.
Managed Airflow 서비스 사용 중지
이 섹션에서는 프로젝트에서 Managed Airflow 서비스를 사용 중지하는 방법을 설명합니다. Google Cloud
서비스를 사용 중지하기 전에
Managed Airflow 서비스를 사용 중지하려면 올바른 Identity and Access Management 권한이 있어야 합니다. 서비스 사용량에 대한 IAM 요구사항에 대해 알아보려면 액세스 제어의 서비스 사용량 페이지를 참조하세요.
프로젝트의 모든 Managed Airflow 환경이 삭제되었는지 확인합니다. API를 사용 중지하면 Managed Airflow 환경의 테넌트 프로젝트 부분이 되돌릴 수 없게 삭제되고, 이러한 환경을 사용할 수 없게 됩니다.
추가 요금 청구를 방지하려면 Cloud Composer API를 중지하기 전에 각 환경에서 다음 단계를 완료합니다.
- DAG를 일시중지합니다.
- 필요한 경우 환경 버킷에서 DAG와 같은 환경 데이터를 내보냅니다.
- 자동으로 삭제되지 않는 리소스를 포함하여 환경을 삭제합니다.
Cloud Composer API 사용 중지
Managed Airflow 서비스를 사용 중지하려면 다음 단계를 따르세요.
콘솔
콘솔에서 Google Cloud **Cloud Composer API** 페이지로 이동합니다.
관리를 클릭합니다.
API 사용 중지를 클릭합니다.
gcloud
gcloud services disable 명령어를 실행합니다.
gcloud services disable composer.googleapis.com
API
services.disable 메서드를 사용하여 composer.googleapis.com API를 사용 중지합니다.
Terraform
composer.googleapis.com API 구성을 삭제합니다. 일반적으로
google_project_service
리소스를 사용하여 서비스를 구성합니다. Google Cloud
관리형 Airflow (3세대)에 필요하지 않은 서비스 지원 중단
관리형 Airflow (3세대)에 필요하지 않은 API는 단계적으로 지원 중단됩니다.
다음 API 종속 항목은 아직 분리되지 않았으며 향후 Cloud Composer API에서 분리될 예정입니다.
- sqladmin.googleapis.com
다음 API는 완전히 분리 가능 해졌습니다. 이러한 API를 비활성화해도 Cloud Composer API가 비활성화되지는 않습니다.
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
분리된 것으로 나열된 모든 API는 Cloud Composer API를 사용 설정할 때 더 이상 자동으로 사용 설정되지 않습니다. 새 프로젝트에서 Managed Airflow (2세대) 환경을 만들려면 Cloud Composer API 외에도 분리된 API 그룹을 사용 설정하세요.
Cloud Composer API가 이미 사용 설정된 프로젝트의 기존 Managed Airflow (3세대) 및 Managed Airflow (2세대) 환경은 이 변경사항의 영향을 받지 않습니다. 다음을 수행하면 됩니다.
프로젝트에 Managed Airflow (3세대) 환경만 있는 경우 분리된 API를 수동으로 사용 중지할 수 있습니다.
프로젝트에 Managed Airflow (2세대) 환경이 있는 경우 이러한 API를 사용 설정된 상태로 유지하는 것이 좋습니다. 사용 중지하면 환경이 오작동할 수 있습니다.
자동화 스크립트를 사용하여 Managed Airflow (2세대) 환경을 프로비저닝하는 경우 Cloud Composer API 외에도 나열된 API가 사용 설정되어 있는지 확인하세요. 수동으로 또는 gcloud CLI 명령어를 사용하여 사용 설정할 수 있습니다.