Airflow 構成オプションをオーバーライドする

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (レガシー Gen 1)

このページでは、新しい Managed Airflow 環境と既存の Managed Airflow 環境で Airflow 構成オプションをオーバーライドする方法について説明します。

環境を作成または更新する際は、異なる値で Apache Airflow の構成オプションを オーバーライドできます。そのように処理することで、Airflow インスタンスをニーズと要件に合わせて調整できます。

注: 一部の Airflow 構成オプションはブロックされているため、オーバーライドすることはできません。

新しい環境の Airflow 構成オプションをオーバーライドする

環境の作成時に Airflow 構成オプションをオーバーライドできます。詳細については、環境の作成をご覧ください。

既存の環境の Airflow 構成オプションをオーバーライドする

コンソール

既存の環境の Airflow 構成オプション をオーバーライドするには:

1. コンソールで、[**環境**] ページに移動します。 Google Cloud

   [環境] に移動

2. 環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。

3. [Airflow 構成のオーバーライド] タブに移動します。

4. [編集] をクリックします。

5. 変更する Airflow 構成オプションの [セクション]、[キー]、[値] を入力します。

次に例を示します。

セクション	キー	値
webserver	dag_orientation	RL

gcloud

次の引数は、既存の 環境の Airflow 構成オプションをオーバーライドします。

• --update-airflow-configs は、指定された Airflow 構成のオーバーライドを追加または変更します。
• --remove-airflow-configs は、指定された Airflow 構成のオーバーライドを削除します。
• --clear-airflow-configs は Airflow 構成のオーバーライドをすべて削除します。

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

以下のように置き換えます。

• ENVIRONMENT_NAME を環境の名前に置き換えます。
• LOCATION は、環境が配置されているリージョン。
• KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。
• VALUE はオプションの対応する値に置き換えます。

次に例を示します。

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

既存の環境の Airflow 構成オプション をオーバーライドするには:

1. environments.patch API リクエストを作成します。

2. このリクエストで次のように操作します。

   • 既存の Airflow 構成のオーバーライドをすべて指定したオプションに置き換えるには、updateMask パラメータで config.softwareConfig.airflowConfigOverrides マスクを指定します。

   • 特定の Airflow 構成オプションをオーバーライドするには、updateMask パラメータで config.softwareConfig.airflowConfigOverrides.KEY マスクを指定します。KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。

     複数の Airflow 構成オプションをオーバーライドする場合は、updateMask パラメータで、複数のマスクをカンマで区切って指定します。

3. リクエストの本文には Airflow 構成オプションのリストを含める必要があります。既存のオーバーライドをすべて置き換える場合は、保持するすべてのオーバーライドを含める必要があります。

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

以下のように置き換えます。

• KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。
• VALUE はオプションの対応する値に置き換えます。

次の例は、2 つの特定の Airflow 構成オプションをオーバーライドします。

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

software_config ブロックの airflow_config_overrides ブロックは、環境の Airflow 構成オプションのオーバーライドを制御します。

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

以下のように置き換えます。

• KEY は、ハイフンで区切られた構成セクションとオプション名（例: webserver-dag_orientation）に置き換えます。
• VALUE はオプションの対応する値に置き換えます。

例:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

次のステップ

• ブロックされている Airflow 構成
• 環境を更新する