Menetapkan variabel lingkungan

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara menyetel variabel lingkungan di lingkungan Cloud Composer Anda.

Anda dapat menggunakan variabel lingkungan sebagai alternatif untuk variabel Airflow saat memberikan konfigurasi runtime untuk DAG Anda. Variabel Airflow ditetapkan di database Airflow, sedangkan variabel lingkungan ditetapkan di container pekerja Airflow.

Sebagai contoh, Anda dapat menggunakan nama variabel lingkungan apa adanya dalam perintah yang dijalankan oleh BashOperator, atau mendapatkan nilai ini dari objek os.environ di DAG, atau menggunakan variabel Airflow.

Variabel lingkungan bersifat persisten. Setelah Anda menentukan variabel lingkungan, Airflow akan terus menggunakannya hingga Anda menghapus variabel dari lingkungan Anda.

Cloud Composer menetapkan variabel lingkungan yang dicadangkan sendiri untuk mengontrol lingkungan.

Format nama

Variabel lingkungan harus cocok dengan ekspresi reguler [a-zA-Z_][a-zA-Z0-9_]*.

Opsi konfigurasi Airflow

Anda tidak dapat menentukan variabel yang mengubah opsi konfigurasi Apache Airflow.

Variabel tidak dapat menggunakan format AIRFLOW__{SECTION}__{KEY} atau cocok dengan ekspresi reguler AIRFLOW__[A-Z0-9_]+__[A-Z0-9_]+. Misalnya, AIRFLOW__WEBSERVER__DAG_DEFAULT_VIEW tidak dapat disetel.

Sebagai gantinya, Anda dapat mengganti opsi konfigurasi Airflow.

Variabel yang dicadangkan

Nama variabel berikut dicadangkan oleh Cloud Composer. Variabel dengan nama ini tidak dapat dibuat.

  • AIRFLOW_DATABASE_VERSION
  • AIRFLOW_HOME
  • AIRFLOW_SRC_DIR
  • AIRFLOW_WEBSERVER
  • AUTO_GKE
  • CLOUDSDK_METRICS_ENVIRONMENT
  • CLOUD_LOGGING_ONLY
  • COMPOSER_AGENT_BUILD_SERVICE_ACCOUNT
  • COMPOSER_ENVIRONMENT
  • COMPOSER_GKE_LOCATION
  • COMPOSER_GKE_NAME
  • COMPOSER_GKE_ZONE
  • COMPOSER_LOCATION
  • COMPOSER_OPERATION_UUID
  • COMPOSER_PYTHON_VERSION
  • COMPOSER_VERSION
  • CONTAINER_NAME
  • C_FORCE_ROOT
  • DAGS_FOLDER
  • GCE_METADATA_TIMEOUT
  • GCP_PROJECT
  • GCP_TENANT_PROJECT
  • GCSFUSE_EXTRACTED
  • GCS_BUCKET
  • GKE_CLUSTER_NAME
  • GKE_IN_TENANT

  • GOOGLE_APPLICATION_CREDENTIALS

  • MAJOR_VERSION

  • MINOR_VERSION

  • PATH

  • PIP_DISABLE_PIP_VERSION_CHECK

  • PORT

  • PROJECT_ID

  • PYTHONPYCACHEPREFIX

  • PYTHONWARNINGS

  • REDIS_PASSWORD

  • REDIS_PORT

  • REDIS_USER

  • SQL_DATABASE

  • SQL_HOST

  • SQL_INSTANCE

  • SQL_PASSWORD

  • SQL_PROJECT

  • SQL_REGION

  • SQL_USER

Menetapkan variabel lingkungan untuk lingkungan baru

Anda dapat menentukan variabel lingkungan saat membuat lingkungan. Untuk mengetahui informasi selengkapnya, lihat Membuat lingkungan.

Menetapkan variabel lingkungan untuk lingkungan yang ada

Konsol

Untuk menetapkan variabel lingkungan untuk lingkungan yang ada:

  1. Di Google Cloud console, buka halaman Environments.

    Buka Lingkungan

  2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

  3. Buka tab Environment variables, lalu klik Edit.

  4. Tambahkan, ubah, atau hapus variabel lingkungan untuk lingkungan Anda:

    • Di kolom Name, tentukan nama variabel.
    • Di kolom Value, tentukan nilai variabel.
    • Untuk menambahkan variabel tambahan, klik Tambahkan variabel lingkungan.
    • Untuk menghapus variabel, tahan kursor di atas variabel, lalu klik Hapus item.

gcloud

Argumen berikut mengontrol variabel lingkungan:

  • --update-env-variables menentukan daftar variabel lingkungan yang dipisahkan koma untuk dibuat atau diperbarui.

  • --remove-env-variables menentukan daftar variabel lingkungan yang dipisahkan koma yang akan dihapus.

  • --clear-env-variables menghapus semua variabel lingkungan yang ada.

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --update-env-variables=NAME=VALUE

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • NAME dengan nama variabel yang ingin Anda buat atau perbarui.
  • VALUE dengan nilai untuk variabel.
  • Untuk menambahkan lebih dari satu variabel, pisahkan definisi dengan koma: NAME=VALUE,NAME=VALUE,....

Contoh:

gcloud composer environments update \
  example-environment \
  --location us-central1 \
  --update-env-variables=EXAMPLE_VARIABLE=True,ANOTHER_VARIABLE=test

API

Buat permintaan API environments.patch.

Dalam permintaan ini:

  1. Dalam parameter updateMask, tentukan mask config.softwareConfig.envVariables untuk mengganti semua variabel yang ada dengan variabel yang ditentukan. Variabel yang tidak Anda tentukan akan dihapus.

  2. Dalam isi permintaan, tentukan variabel dan nilainya:

    {
  "config": {
    "softwareConfig": {
      "envVariables": {
        "VAR_NAME": "VAR_VALUE"
      }
    }
  }
}

    Ganti:

    • VAR_NAME dengan nama variabel lingkungan.
    • VAR_VALUE dengan nilai variabel lingkungan.
    • Untuk menambahkan lebih dari satu variabel, tambahkan entri tambahan untuk variabel ke envVariables.

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.envVariables
{
  "config": {
    "softwareConfig": {
      "envVariables": {
        "EXAMPLE_VARIABLE": "True",
        "ANOTHER_VARIABLE": "test"
      }
    }
  }
}

Terraform

Blok env_variables di blok software_config menentukan variabel lingkungan.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      env_variables = {
        VAR_NAME = "VAR_VALUE"
      }

    }
  }
}

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • VAR_NAME dengan nama variabel lingkungan.
  • VAR_VALUE dengan nilai variabel lingkungan.
  • Untuk menambahkan lebih dari satu variabel, tambahkan entri tambahan untuk variabel ke env_variables.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {

      env_variables = {
        EXAMPLE_VARIABLE = "True"
        ANOTHER_VARIABLE = "test"
      }
    }
  }
}

Langkah berikutnya