マネージド Airflow サービスを有効または無効にする

Managed Airflow(第 3 世代) | Managed Airflow(第 2 世代) | Managed Airflow(以前の第 1 世代)

このページでは、 Google Cloud プロジェクトで Managed Service for Apache Airflow サービスを有効または無効にする方法について説明します。

Google Cloudでのサービスの管理については、サービスの有効化と無効化をご覧ください。

VPC Service Controls 構成の Managed Airflow で必要なサービスのリストについては、VPC Service Controls の構成をご覧ください。

Managed Service for Apache Airflow で必要なサービス

このセクションでは、Managed Airflow(第 2 世代)で必要なサービスについて説明します。組織管理者やプロジェクト管理者は、プロジェクトで使用できる Google サービスを制限できる場合があります。

Managed Airflow(第 2 世代)には次のサービスが必要です。

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • cloudkms.googleapis.com、KMS 鍵または CMEK 鍵を使用している場合
  • secretmanager.googleapis.com(Secret Manager をシークレットのバックエンドとして使用している場合)

  • artifactregistry.googleapis.com

  • cloudbuild.googleapis.com

  • container.googleapis.com

  • pubsub.googleapis.com

  • (Managed Airflow バージョン 2.0.* のみ)deploymentmanager.googleapis.com

Cloud DNS や IAM などの Google サービスは、ほとんどのプロジェクトですでにデフォルトで許可されています。

マネージド Airflow サービスを有効にする

このセクションでは、 Google Cloud プロジェクトで Managed Airflow サービスを有効にする方法について説明します。

サービスを有効にする前に

Cloud Composer API を有効にする

コンソール

Cloud Composer API を有効にします。

API を有効にするために必要なロール

API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法をご覧ください。

API の有効化

gcloud

composer.googleapis.com API を有効にします。

API を有効にするために必要なロール

API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法をご覧ください。

gcloud services enable composer.googleapis.com

API

services.enable メソッドを使用して composer.googleapis.com API を有効にします。

Terraform

google_project_service リソースを使用して composer.googleapis.com API を構成します。

Managed Airflow(第 2 世代)の依存関係を有効にする

マネージド Airflow(第 2 世代)に必要なすべての依存関係を有効にするには、次の Google Cloud CLI コマンドを使用して services/composer.googleapis.com/groups/dependencies@composer2 サービス グループを有効にします。

gcloud

gcloud beta services enable コマンドを実行します。

gcloud beta services enable composer.googleapis.com \
    --group dependencies@composer2

または、Managed Airflow(第 2 世代)に必要な追加の依存関係を手動で有効にすることもできます( Google Cloud コンソールや Terraform などを使用)。

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com

DAG に必要なサービスを有効にする

マネージド Airflow で必要なサービスに加えて、DAG が使用するすべてのサービスを有効にします。次に例を示します。

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

サービスの名前 *.googleapis.com は、API Explorer ページからリンクされた API ページで確認できます。

Managed Airflow サービスを無効にする

このセクションでは、 Google Cloud プロジェクトで Managed Airflow サービスを無効にする方法について説明します。

サービスを無効にする前に

  • マネージド Airflow サービスを無効にするには、適切な Identity and Access Management 権限を付与されていることが必要です。Service Usage に関する IAM の要件については、アクセス制御に関する Service Usage のページをご覧ください。

  • プロジェクト内の Managed Airflow 環境がすべて削除されていることを確認してください。API を無効にすると、Managed Airflow 環境のテナント プロジェクト部分が削除されます。この削除は元に戻すことができず、これらの環境が使用できなくなります。

  • 追加料金の発生を回避するには、Cloud Composer API を無効にする前に、各環境で次の手順を行います。

    1. DAG を一時停止します。
    2. 必要に応じて、環境のデータを DAG などの環境のバケットからエクスポートします。
    3. 自動的に削除されないリソースを含む環境を削除します。

Cloud Composer API を無効にする

マネージド Airflow サービスを無効にするには:

コンソール

  1. Google Cloud コンソールで、[Cloud Composer API] ページに移動します。

    Cloud Composer API に移動

  2. [管理] をクリックします。

  3. [API を無効にする] をクリックします。

gcloud

gcloud services disable コマンドを実行します。

gcloud services disable composer.googleapis.com

API

services.disable メソッドを使用して、composer.googleapis.com API を無効にします。

Terraform

composer.googleapis.com API の構成を削除します。 Google Cloud サービスを構成するには、通常 google_project_service リソースを使用します。

Managed Airflow(第 3 世代)で必要とされないサービスの非推奨

Managed Airflow(第 3 世代)で必要とされない API は段階的に廃止されます。

次の API 依存関係はまだ分離されておらず、今後 Cloud Composer API から分離される予定です。

  • sqladmin.googleapis.com

次の API が完全に分離可能になりました。これらの API を無効にしても、Cloud Composer API は無効になりません。

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com

切り離された API として一覧表示されているすべての API は、Cloud Composer API を有効にしても自動的に有効にならなくなります。新しいプロジェクトで Managed Airflow(第 2 世代)環境を作成するには、Cloud Composer API に加えて、分離された API のグループを有効にします

Cloud Composer API がすでに有効になっているプロジェクトの既存の Managed Airflow(Gen 3)環境と Managed Airflow(Gen 2)環境は、この変更の影響を受けません。以下の操作を行うことができます。

  • プロジェクトに Managed Airflow(第 3 世代)環境しかない場合は、デタッチされた API を手動で無効にできます。

  • プロジェクトに Managed Airflow(第 2 世代)環境がある場合は、これらの API を有効にしておくことをおすすめします。無効にすると、環境の誤動作につながる可能性があります。

  • 自動化スクリプトを使用して Managed Airflow(第 2 世代)環境をプロビジョニングする場合は、Cloud Composer API に加えて、リストされている API が有効になっていることを確認してください。これらは、手動で有効にするか、gcloud CLI コマンドを使用して有効にすることができます。

次のステップ