Mengganti opsi konfigurasi Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara mengganti opsi konfigurasi Airflow untuk lingkungan Cloud Composer baru dan yang sudah ada.

Saat membuat atau memperbarui lingkungan, Anda dapat mengganti opsi konfigurasi Apache Airflow dengan nilai yang berbeda. Dengan begitu, Anda dapat menyesuaikan instance Airflow dengan kebutuhan dan persyaratan Anda.

Mengganti opsi konfigurasi Airflow untuk lingkungan baru

Anda dapat mengganti opsi konfigurasi Airflow saat membuat lingkungan. Untuk mengetahui informasi selengkapnya, lihat Membuat lingkungan.

Mengganti opsi konfigurasi Airflow untuk lingkungan yang ada

Konsol

Untuk mengganti opsi konfigurasi Airflow untuk lingkungan yang ada:

  1. Di Google Cloud console, buka halaman Environments.

    Buka Lingkungan

  2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman detail lingkungan akan terbuka.

  3. Buka tab Penggantian konfigurasi Airflow.

  4. Klik Edit.

  5. Masukkan Bagian, Kunci, dan Nilai untuk opsi konfigurasi Airflow yang ingin Anda ubah.

Contoh:

Bagian Kunci Nilai
webserver dag_orientation RL

gcloud

Argumen berikut menggantikan opsi konfigurasi Airflow untuk lingkungan yang ada:

  • --update-airflow-configs menambahkan atau mengubah penggantian konfigurasi Airflow yang ditentukan.
  • --remove-airflow-configs menghapus penggantian konfigurasi Airflow yang ditentukan.
  • --clear-airflow-configs menghapus semua penggantian konfigurasi Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk opsi.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Untuk mengganti opsi konfigurasi Airflow untuk lingkungan yang ada:

  1. Buat permintaan API environments.patch.

  2. Dalam permintaan ini:

    • Untuk mengganti semua penggantian konfigurasi Airflow yang ada dengan opsi yang ditentukan, dalam parameter updateMask, tentukan mask config.softwareConfig.airflowConfigOverrides.

    • Untuk mengganti opsi konfigurasi Airflow tertentu, di parameter updateMask, tentukan masker config.softwareConfig.airflowConfigOverrides.KEY. Ganti KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.

      Jika Anda ingin mengganti beberapa opsi konfigurasi Airflow, di parameter updateMask, tentukan beberapa mask yang dipisahkan dengan koma.

  3. Isi permintaan harus berisi daftar opsi konfigurasi Airflow. Jika Anda mengganti semua penggantian yang ada, pastikan untuk menyertakan semua penggantian yang ingin Anda pertahankan.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Ganti:

  • KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk opsi.

Contoh berikut menggantikan dua opsi konfigurasi Airflow tertentu:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Blok airflow_config_overrides di blok software_config mengontrol penggantian opsi konfigurasi Airflow untuk lingkungan Anda:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Ganti:

  • KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk opsi.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Langkah berikutnya