Managed Airflow(第 3 世代) | Managed Airflow(第 2 世代) | Managed Airflow(レガシー第 1 世代)
このページでは、 プロジェクトで Google Cloud Managed Service for Apache Airflow サービスを有効または無効にする方法について説明します。
でのサービスの管理については、 Google Cloudをご覧ください。 サービスの有効化と無効化
VPC Service Controls 構成の Managed Airflow で必要なサービスのリストについては、VPC Service Controls の構成をご覧ください。
Managed Service for Apache Airflow に必要なサービス
このセクションでは、Managed Airflow(第 3 世代)で必要なサービスについて説明します。 組織管理者やプロジェクト管理者は、プロジェクトで使用できる Google サービスを制限できる場合があります。
Managed Airflow(第 3 世代)には次のサービスが必要です。
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com、KMS 鍵または CMEK 鍵を使用している場合
secretmanager.googleapis.com、Secret Manager をシークレットのバックエンドとして使用している場合
Cloud DNS や IAM などの Google サービスは、ほとんどのプロジェクトですでにデフォルトで許可されています。
Managed Airflow サービスを有効にする
このセクションでは、 プロジェクト Google Cloud で Managed Airflow サービスを有効にする方法について説明します。
サービスを有効にする前に
Managed Airflow サービスを有効にするには、適切な Identity and Access Management 権限を付与されていることが必要です。Service Usage に関する IAM の要件については、アクセス制御に関する Service Usage のページ をご覧ください。
プロジェクトで課金が有効になっていることを確認します。
Cloud Composer API を有効にする
コンソール
Cloud Composer API を有効にします。
API を有効にするために必要なロール
API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限が付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法をご覧ください。
gcloud
composer.googleapis.com API を有効にします。
API を有効にするために必要なロール
API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限が付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法をご覧ください。
gcloud services enable composer.googleapis.com
API
services.enable メソッドを使用して composer.googleapis.com API を有効にします。
Terraform
google_project_service
リソースを使用して composer.googleapis.com API を構成します。
DAG に必要なサービスを有効にする
Managed Airflow に必要なサービスに加えて、DAG が使用するすべてのサービスを有効にします。次に例を示します。
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
サービスの名前 *.googleapis.com は、API ページ API Explorer ページからリンクされた API ページで確認できます。
Managed Airflow サービスを無効にする
このセクションでは、 プロジェクト Google Cloud で Managed Airflow サービスを無効にする方法について説明します。
サービスを無効にする前に
Managed Airflow サービスを無効にするには、適切な Identity and Access Management 権限を付与されていることが必要です。Service Usage に関する IAM の要件については、アクセス制御に関する Service Usage のページをご覧ください。
プロジェクト内の Managed Airflow 環境がすべて削除されていることを確認してください。API を無効にすると、Managed Airflow 環境のテナント プロジェクト部分が削除されます。この削除は元に戻すことができず、これらの環境が使用できなくなります。
追加料金の発生を回避するには、Cloud Composer API を無効にする前に、各環境で次の手順を行います。
- DAG を一時停止します。
- 必要に応じて、環境のデータを DAG などの環境のバケットからエクスポートします。
- 自動的に削除されないリソースを含む環境を削除します。
Cloud Composer API を無効にする
Managed Airflow サービスを無効にするには:
コンソール
Google Cloud コンソールで、[Cloud Composer API] ページに移動します。
[管理] をクリックします。
[API を無効にする] をクリックします。
gcloud
gcloud services disable コマンドを実行します。
gcloud services disable composer.googleapis.com
API
services.disable メソッドを使用して、composer.googleapis.com API を無効にします。
Terraform
composer.googleapis.com API の構成を削除します。サービスを構成するには Google Cloud 、通常
google_project_service
リソースを使用します。
Managed Airflow(第 3 世代)で必要とされないサービスの非推奨
Managed Airflow(第 3 世代)で必要とされない API は段階的に廃止されます。
次の API の依存関係はまだ切り離されていません。今後、Cloud Composer API から 切り離される予定です。
- sqladmin.googleapis.com
次の API は完全に切り離すことができるようになりました 。これらの API を無効にしても、Cloud Composer API は無効になりません。
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
切り離された API としてリストされている API は、Cloud Composer API を有効にしても自動的に有効になりません 。 新しいプロジェクトで Managed Airflow(第 2 世代)環境を作成するには、Cloud Composer API に加えて、 切り離された API のグループを有効にします。
Cloud Composer API がすでに有効になっているプロジェクトの既存の Managed Airflow(第 3 世代)環境と Managed Airflow(第 2 世代)環境は、この変更の影響を受けません。以下の操作を行うことができます。
プロジェクトに Managed Airflow(第 3 世代)環境のみがある場合は、切り離された API を手動で無効にできます。
プロジェクトに Managed Airflow(第 2 世代)環境がある場合は、これらの API を有効にしておくことをおすすめします。無効にすると、環境が誤動作する可能性があります。
自動化スクリプトを使用して Managed Airflow(第 2 世代)環境をプロビジョニングする場合は、Cloud Composer API に加えて、リストされている API が有効になっていることを確認してください。 手動で有効にするか、 gcloud CLI コマンドを使用して有効にできます。