שינוי אפשרויות ההגדרה של Airflow

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך לשנות את הגדרות ברירת המחדל של Airflow בסביבות חדשות וקיימות של Managed Airflow.

כשיוצרים או מעדכנים סביבה, אפשר להגדיר ערכים שונים לאפשרויות ההגדרה של Apache Airflow. כך תוכלו להתאים את מופע Airflow לצרכים ולדרישות שלכם.

ביטול של אפשרויות ההגדרה של Airflow בסביבות חדשות

אתם יכולים לשנות את אפשרויות ההגדרה של Airflow כשאתם יוצרים את הסביבה. מידע נוסף זמין במאמר בנושא יצירת סביבות.

שינוי של אפשרויות ההגדרה של Airflow בסביבות קיימות

המסוף

כדי לשנות אפשרויות הגדרה של Airflow בסביבה קיימת:

  1. במסוף Google Cloud , עוברים לדף Environments.

    מעבר אל Environments

  2. ברשימת הסביבות, לוחצים על שם הסביבה. ייפתח הדף 'פרטי הסביבה'.

  3. עוברים לכרטיסייה Airflow configuration overrides.

  4. לוחצים על Edit.

  5. מזינים את הקטע, המפתח והערך של אפשרות ההגדרה של Airflow שרוצים לשנות.

לדוגמה:

קטע מפתח ערך
webserver dag_orientation RL

gcloud

הארגומנטים הבאים מבטלים את אפשרויות ההגדרה של Airflow בסביבה קיימת:

  • ‫--update-airflow-configs מוסיף או משנה חריגות שצוינו בהגדרות של Airflow.
  • ‫--remove-airflow-configs מסיר שינויים בהגדרות של Airflow שצוינו.
  • --clear-airflow-configs מסירה את כל שינויי ברירת המחדל בהגדרות של Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

מחליפים את:

  • ‫ENVIRONMENT_NAME בשם הסביבה.
  • ‫LOCATION עם האזור שבו הסביבה ממוקמת.
  • ‫KEY עם קטע ההגדרה ושם האפשרות מופרדים במקף, לדוגמה, webserver-dag_orientation.
  • ‫VALUE עם הערך המתאים לאפשרות.

לדוגמה:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

כדי לשנות אפשרויות הגדרה של Airflow בסביבה קיימת:

  1. יוצרים בקשת API של environments.patch.

  2. בבקשה הזו:

    • כדי להחליף את כל ההגדרות הקיימות של Airflow עם האפשרויות שצוינו, צריך לציין את המסכה config.softwareConfig.airflowConfigOverrides בפרמטר updateMask.

    • כדי לשנות את ברירת המחדל של אפשרות הגדרה ספציפית ב-Airflow, מציינים את המסכה config.softwareConfig.airflowConfigOverrides.KEY בפרמטר updateMask. מחליפים את KEY בשם האפשרות ובשם קטע ההגדרות, מופרדים במקף, לדוגמה, webserver-dag_orientation.

      אם רוצים לשנות כמה אפשרויות הגדרה של Airflow, בפרמטר updateMask מציינים כמה מסכות שמופרדות בפסיקים.

  3. גוף הבקשה צריך להכיל את רשימת אפשרויות ההגדרה של Airflow. אם אתם מחליפים את כל השינויים הקיימים, הקפידו לכלול את כל השינויים שאתם רוצים לשמור.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

מחליפים את:

  • ‫KEY עם קטע ההגדרה ושם האפשרות מופרדים במקף, לדוגמה, webserver-dag_orientation.
  • ‫VALUE עם הערך המתאים לאפשרות.

בדוגמה הבאה, שתי אפשרויות הגדרה ספציפיות של Airflow מוחלפות:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

הבלוק airflow_config_overrides בבלוק software_config שולט בשינויים של אפשרויות התצורה של Airflow בסביבה שלכם:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

מחליפים את:

  • ‫KEY עם קטע ההגדרה ושם האפשרות מופרדים במקף, לדוגמה, webserver-dag_orientation.
  • ‫VALUE עם הערך המתאים לאפשרות.

דוגמה:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

המאמרים הבאים