Airflow-Konfigurationsoptionen überschreiben

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird beschrieben, wie Sie Airflow-Konfigurationsoptionen für neue und vorhandene Managed Airflow-Umgebungen überschreiben.

Wenn Sie eine Umgebung erstellen oder aktualisieren, können Sie Apache Airflow-Konfigurationsoptionen mit anderen Werten überschreiben. So können Sie die Airflow-Instanz an Ihre Anforderungen und Anforderungen anpassen.

Airflow-Konfigurationsoptionen für neue Umgebungen überschreiben

Sie können Airflow-Konfigurationsoptionen überschreiben, wenn Sie Ihre Umgebung erstellen. Weitere Informationen finden Sie unter Umgebungen erstellen.

Airflow-Konfigurationsoptionen für vorhandene Umgebungen überschreiben

Console

So überschreiben Sie die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite „Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Wechseln Sie zum Tab Airflow-Konfigurationsüberschreibungen.

  4. Klicken Sie auf Bearbeiten.

  5. Geben Sie den Bereich, den Schlüssel und den Wert für die Airflow -Konfigurationsoption ein, die Sie ändern möchten.

Beispiel:

Bereich Schlüssel Wert
webserver dag_orientation RL

gcloud

Mit den folgenden Argumenten werden Airflow-Konfigurationsoptionen für eine vorhandene Umgebung überschrieben:

  • --update-airflow-configs fügt die angegebenen Airflow-Konfigurationsüberschreibungen hinzu oder ändert sie.
  • --remove-airflow-configs entfernt die angegebenen Airflow-Konfigurationsüberschreibungen.
  • --clear-airflow-configs entfernt alle Airflow-Konfigurationsüberschreibungen.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.
  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.
  • VALUE durch den entsprechenden Wert für eine Option.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

So überschreiben Sie Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    • Wenn Sie alle vorhandenen Airflow-Konfigurationsüberschreibungen durch die angegebenen Optionen ersetzen möchten, geben Sie im Parameter updateMask die Maske config.softwareConfig.airflowConfigOverrides an.

    • Wenn Sie eine bestimmte Airflow-Konfigurationsoption überschreiben möchten, geben Sie in dem updateMask Parameter die config.softwareConfig.airflowConfigOverrides.KEY Maske an. Ersetzen Sie KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.

      Wenn Sie mehrere Airflow-Konfigurationsoptionen überschreiben möchten, geben Sie im Parameter updateMask mehrere Masken durch Kommas getrennt an.

  3. Der Anfragetext muss die Liste der Airflow-Konfigurationsoptionen enthalten. Wenn Sie alle vorhandenen Überschreibungen ersetzen, müssen Sie alle Überschreibungen angeben, die Sie behalten möchten.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Ersetzen Sie:

  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.
  • VALUE durch den entsprechenden Wert für eine Option.

Im folgenden Beispiel werden zwei bestimmte Airflow-Konfigurationsoptionen überschrieben:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Der Block airflow_config_overrides im Block software_config steuert die Überschreibungen von Airflow-Konfigurationsoptionen für Ihre Umgebung:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Ersetzen Sie:

  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.
  • VALUE durch den entsprechenden Wert für eine Option.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Nächste Schritte