Managed Airflow(第 3 世代) | Managed Airflow(第 2 世代) | Managed Airflow(以前の第 1 世代)
このページでは、 Google Cloud プロジェクトで Managed Service for Apache Airflow サービスを有効または無効にする方法について説明します。
Google Cloudでのサービスの管理については、サービスの有効化と無効化をご覧ください。
VPC Service Controls 構成の Managed Airflow で必要なサービスのリストについては、VPC Service Controls の構成をご覧ください。
Managed Service for Apache Airflow で必要なサービス
このセクションでは、Managed Airflow(第 2 世代)で必要なサービスについて説明します。組織管理者やプロジェクト管理者は、プロジェクトで使用できる Google サービスを制限できる場合があります。
Managed Airflow(第 2 世代)には次のサービスが必要です。
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com、KMS 鍵または CMEK 鍵を使用している場合
secretmanager.googleapis.com(Secret Manager をシークレットのバックエンドとして使用している場合)
artifactregistry.googleapis.com
cloudbuild.googleapis.com
container.googleapis.com
pubsub.googleapis.com
(Managed Airflow バージョン 2.0.* のみ)deploymentmanager.googleapis.com
Cloud DNS や IAM などの Google サービスは、ほとんどのプロジェクトですでにデフォルトで許可されています。
マネージド Airflow サービスを有効にする
このセクションでは、 Google Cloud プロジェクトで Managed Airflow サービスを有効にする方法について説明します。
サービスを有効にする前に
マネージド Airflow サービスを有効にするには、適切な Identity and Access Management 権限を付与されていることが必要です。Service Usage に関する IAM の要件については、アクセス制御に関する Service Usage のページをご覧ください。
プロジェクトで課金が有効になっていることを確認します。
Cloud Composer API を有効にする
コンソール
Cloud Composer API を有効にします。
API を有効にするために必要なロール
API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法をご覧ください。
gcloud
composer.googleapis.com API を有効にします。
API を有効にするために必要なロール
API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法をご覧ください。
gcloud services enable composer.googleapis.com
API
services.enable メソッドを使用して composer.googleapis.com API を有効にします。
Terraform
google_project_service リソースを使用して composer.googleapis.com API を構成します。
Managed Airflow(第 2 世代)の依存関係を有効にする
マネージド Airflow(第 2 世代)に必要なすべての依存関係を有効にするには、次の Google Cloud CLI コマンドを使用して services/composer.googleapis.com/groups/dependencies@composer2 サービス グループを有効にします。
gcloud
gcloud beta services enable コマンドを実行します。
gcloud beta services enable composer.googleapis.com \
--group dependencies@composer2
または、Managed Airflow(第 2 世代)に必要な追加の依存関係を手動で有効にすることもできます( Google Cloud コンソールや Terraform などを使用)。
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
DAG に必要なサービスを有効にする
マネージド Airflow で必要なサービスに加えて、DAG が使用するすべてのサービスを有効にします。次に例を示します。
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
サービスの名前 *.googleapis.com は、API Explorer ページからリンクされた API ページで確認できます。
Managed Airflow サービスを無効にする
このセクションでは、 Google Cloud プロジェクトで Managed Airflow サービスを無効にする方法について説明します。
サービスを無効にする前に
マネージド Airflow サービスを無効にするには、適切な Identity and Access Management 権限を付与されていることが必要です。Service Usage に関する IAM の要件については、アクセス制御に関する Service Usage のページをご覧ください。
プロジェクト内の Managed Airflow 環境がすべて削除されていることを確認してください。API を無効にすると、Managed Airflow 環境のテナント プロジェクト部分が削除されます。この削除は元に戻すことができず、これらの環境が使用できなくなります。
追加料金の発生を回避するには、Cloud Composer API を無効にする前に、各環境で次の手順を行います。
- DAG を一時停止します。
- 必要に応じて、環境のデータを DAG などの環境のバケットからエクスポートします。
- 自動的に削除されないリソースを含む環境を削除します。
Cloud Composer API を無効にする
マネージド Airflow サービスを無効にするには:
コンソール
Google Cloud コンソールで、[Cloud Composer API] ページに移動します。
[管理] をクリックします。
[API を無効にする] をクリックします。
gcloud
gcloud services disable コマンドを実行します。
gcloud services disable composer.googleapis.com
API
services.disable メソッドを使用して、composer.googleapis.com API を無効にします。
Terraform
composer.googleapis.com API の構成を削除します。 Google Cloud サービスを構成するには、通常 google_project_service リソースを使用します。
Managed Airflow(第 3 世代)で必要とされないサービスの非推奨
Managed Airflow(第 3 世代)で必要とされない API は段階的に廃止されます。
次の API 依存関係はまだ分離されておらず、今後 Cloud Composer API から分離される予定です。
- sqladmin.googleapis.com
次の API が完全に分離可能になりました。これらの API を無効にしても、Cloud Composer API は無効になりません。
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
切り離された API として一覧表示されているすべての API は、Cloud Composer API を有効にしても自動的に有効にならなくなります。新しいプロジェクトで Managed Airflow(第 2 世代)環境を作成するには、Cloud Composer API に加えて、分離された API のグループを有効にします。
Cloud Composer API がすでに有効になっているプロジェクトの既存の Managed Airflow(Gen 3)環境と Managed Airflow(Gen 2)環境は、この変更の影響を受けません。以下の操作を行うことができます。
プロジェクトに Managed Airflow(第 3 世代)環境しかない場合は、デタッチされた API を手動で無効にできます。
プロジェクトに Managed Airflow(第 2 世代)環境がある場合は、これらの API を有効にしておくことをおすすめします。無効にすると、環境の誤動作につながる可能性があります。
自動化スクリプトを使用して Managed Airflow(第 2 世代)環境をプロビジョニングする場合は、Cloud Composer API に加えて、リストされている API が有効になっていることを確認してください。これらは、手動で有効にするか、gcloud CLI コマンドを使用して有効にすることができます。