Airflow 構成オプションをオーバーライドする

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

このページでは、新しい Cloud Composer 環境と既存の Cloud Composer 環境で Airflow 構成オプションをオーバーライドする方法について説明します。

環境を作成または更新する際は、異なる値で Apache Airflow の構成オプションをオーバーライドできます。そのように処理することで、Airflow インスタンスをニーズと要件に合わせて調整できます。

新しい環境の Airflow 構成オプションをオーバーライドする

環境の作成時に Airflow 構成オプションをオーバーライドできます。詳細については、環境の作成をご覧ください。

既存の環境の Airflow 構成オプションをオーバーライドする

コンソール

既存の環境の Airflow 構成オプションをオーバーライドするには:

  1. Google Cloud コンソールで、[環境] ページに移動します。

    [環境] に移動

  2. 環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。

  3. [Airflow 構成のオーバーライド] タブに移動します。

  4. [編集] をクリックします。

  5. 変更する Airflow 構成オプションの [セクション]、[キー]、[値] を入力します。

次に例を示します。

セクション キー 値
webserver dag_orientation RL

gcloud

次の引数は、既存の環境の Airflow 構成オプションをオーバーライドします。

  • --update-airflow-configs は、指定された Airflow 構成のオーバーライドを追加または変更します。
  • --remove-airflow-configs は、指定された Airflow 構成のオーバーライドを削除します。
  • --clear-airflow-configs は Airflow 構成のオーバーライドをすべて削除します。
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

以下のように置き換えます。

  • ENVIRONMENT_NAME を環境の名前に置き換えます。
  • LOCATION は、環境が配置されているリージョン。
  • KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。
  • VALUE はオプションの対応する値に置き換えます。

次に例を示します。

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

既存の環境の Airflow 構成オプションをオーバーライドするには:

  1. environments.patch API リクエストを作成します。

  2. このリクエストで次のように操作します。

    • 既存の Airflow 構成のオーバーライドをすべて指定したオプションに置き換えるには、updateMask パラメータで config.softwareConfig.airflowConfigOverrides マスクを指定します。

    • 特定の Airflow 構成オプションをオーバーライドするには、updateMask パラメータで config.softwareConfig.airflowConfigOverrides.KEY マスクを指定します。KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。

      複数の Airflow 構成オプションをオーバーライドする場合は、updateMask パラメータで、複数のマスクをカンマで区切って指定します。

  3. リクエストの本文には Airflow 構成オプションのリストを含める必要があります。既存のオーバーライドをすべて置き換える場合は、保持するすべてのオーバーライドを含める必要があります。

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

以下のように置き換えます。

  • KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。
  • VALUE はオプションの対応する値に置き換えます。

次の例は、2 つの特定の Airflow 構成オプションをオーバーライドします。

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

software_config ブロックの airflow_config_overrides ブロックでは、環境の Airflow 構成オプションのオーバーライドを制御します。

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

次のように置き換えます。

  • KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。
  • VALUE はオプションの対応する値に置き換えます。

例:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

次のステップ