התאמת סביבות

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך לשנות את גודל הסביבות של Managed Airflow.

• מידע על אופן ההתאמה של הסביבה זמין במאמר התאמת הסביבה.

שינוי גודל אנכי ואופקי

ב-Managed Airflow (Legacy Gen 1), לא מגדירים משאבי מעבד וזיכרון ספציפיים לרכיבי Managed Airflow ו-Airflow, כמו workers ו-schedulers. במקום זאת, מציינים את המספר והסוג של המכונות לצמתים באשכול של הסביבה.

הערה: במהלך הפצת הרכיבים ב-Managed Airflow (Legacy Gen 1), יכול להיות שחלק מרכיבי Airflow ימוקמו בצורה לא אחידה על הצמתים הזמינים. במקרה כזה, העומס על המעבד או על הזיכרון של צומת אחד או יותר גבוה יותר בהשוואה לצמתים אחרים באשכול.

אפשרויות להרחבה אופקית:

• שינוי מספר הצמתים
• שינוי מספר המתזמנים

אפשרויות להגדלה אנכית:

• שינוי סוג המכונה של מופע Cloud SQL
• שינוי סוג המכונה של שרת האינטרנט

הערה: כשמגדירים מגבלות על משאבים לרכיבי Airflow, חשוב לוודא שהמגבלות גבוהות מדרישות המינימום למשאבים בתרחיש השימוש שלכם. קונטיינרים מסוג Sidecar שפועלים לצד הקונטיינר של רכיב Airflow הראשי, משתמשים בחלק מהמשאבים שהוקצו.

שינוי פרמטרים של מתזמן

בסביבה שלכם יכולים לפעול כמה מתזמני Airflow בו-זמנית. כדי לשפר את הביצועים והאמינות, מומלץ להשתמש בכמה מתזמנים כדי לחלק את העומס בין כמה מופעים של מתזמן.

אם בסביבה שלכם נעשה שימוש ב-Airflow 2, אתם יכולים לציין מספר מתזמנים עד למספר הצמתים בסביבה שלכם.

כשמגדילים את מספר המתזמנים, חשוב לקחת בחשבון את הנקודות הבאות:

• הגדלת מספר המתזמנים לא תמיד משפרת את הביצועים של Airflow.

  לדוגמה, זה יכול לקרות כשלא נעשה שימוש במתזמן הנוסף, והוא צורך משאבים מהסביבה שלכם בלי לתרום לביצועים הכוללים. הביצועים בפועל של מתזמן המשימות תלויים במספר העובדים של Airflow, במספר ה-DAG והמשימות שפועלים בסביבה שלכם ובהגדרות של Airflow ושל הסביבה.

• מומלץ להתחיל עם שני מתזמנים ואז לעקוב אחרי הביצועים של הסביבה.

מידע נוסף על הגדרת מספר מתזמנים זמין במאמרי העזרה של Airflow.

המסוף

1. נכנסים לדף Environments במסוף Google Cloud .

   מעבר אל Environments

2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

3. עוברים לכרטיסייה Environment configuration (הגדרת הסביבה).

4. בפריט Resources (משאבים) > Workloads configuration (הגדרת עומסי עבודה), לוחצים על Edit (עריכה).

5. בקטע משאבים > מספר המתזמנים, לוחצים על עריכה.

6. בחלונית Scheduler configuration, בשדה Number of schedulers, מציינים את מספר המתזמנים לסביבה שלכם.

7. לוחצים על Save.

gcloud

הפרמטרים הבאים של מתזמן Airflow זמינים:

• ‫--scheduler-count: מספר המתזמנים בסביבה שלכם.

מריצים את הפקודה הבאה ב-Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

מחליפים את מה שכתוב בשדות הבאים:

• ‫ENVIRONMENT_NAME: שם הסביבה.

• ‫LOCATION: האזור שבו נמצאת הסביבה.

דוגמה:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. יוצרים בקשת API של environments.patch.

2. בבקשה הזו:

   1. בפרמטר updateMask, מציינים את המסכה config.workloadsConfig.schedulerCount.

   2. בגוף הבקשה, מציינים את מספר המתזמנים בסביבה.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫ENVIRONMENT_NAME: שם הסביבה.

• ‫LOCATION: האזור שבו נמצאת הסביבה.

• ‫SCHEDULER_COUNT: מספר המתזמנים.

דוגמה:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

השדות הבאים בבלוק workloads_config.scheduler שולטים בפרמטרים של מתזמן Airflow. כל מתזמן משתמש בכמות המשאבים שצוינה.

• ‫scheduler.count: מספר המתזמנים בסביבה שלכם.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫ENVIRONMENT_NAME: שם הסביבה.

• ‫LOCATION: האזור שבו נמצאת הסביבה.

• ‫SCHEDULER_COUNT: מספר המתזמנים.

דוגמה:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

שינוי מספר הצמתים

אפשר לשנות את מספר הצמתים בסביבה.

המספר הזה תואם למספר העובדים של Airflow בסביבה שלכם. בנוסף להפעלת עובדי Airflow, צמתי הסביבה מפעילים גם מתזמני Airflow ורכיבים אחרים של הסביבה.

המסוף

1. נכנסים לדף Environments במסוף Google Cloud .

   מעבר אל Environments

2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

3. עוברים לכרטיסייה Environment configuration (הגדרת הסביבה).

4. בפריט Worker nodes (צמתי עובד) > Node count (מספר הצמתים), לוחצים על Edit (עריכה).

5. בחלונית Worker nodes configuration, בשדה Node count, מציינים את מספר הצמתים בסביבה.

6. לוחצים על Save.

gcloud

הארגומנט --node-count קובע את מספר הצמתים בסביבה:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

מחליפים את מה שכתוב בשדות הבאים:

• ‫ENVIRONMENT_NAME: שם הסביבה.
• ‫LOCATION: האזור שבו נמצאת הסביבה.
• NODE_COUNT: מספר הצמתים. מספר הצמתים המינימלי הוא 3.
• ‫NODE_ZONE: האזור ב-Compute Engine שבו נמצאות המכונות הווירטואליות של הסביבה.

דוגמה:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. יוצרים בקשת API של environments.patch.

2. בבקשה הזו:

   1. בפרמטר updateMask, מציינים את המסכה config.nodeCount.

   2. בגוף הבקשה, מציינים את מספר הצמתים בסביבה.

  "config": {
    "nodeCount": NODE_COUNT
  }

מחליפים את מה שכתוב בשדות הבאים:

• ‫NODE_COUNT: מספר הצמתים. מספר הצמתים המינימלי הוא 3.

דוגמה:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

השדה node_count בבלוק node_config מציין את מספר הצמתים בסביבה שלכם.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫NODE_COUNT: מספר הצמתים.

דוגמה:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

הערה: שינוי מספר הצמתים בסביבה לא מפעיל את הבנייה מחדש של תמונות Airflow שמשמשות את הסביבה.

שינוי סוג המכונה של מופע Cloud SQL

אתם יכולים לשנות את סוג המכונה של מופע Cloud SQL שבו מאוחסן מסד הנתונים של Airflow בסביבה שלכם.

המסוף

1. נכנסים לדף Environments במסוף Google Cloud .

   מעבר אל Environments

2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

3. עוברים לכרטיסייה Environment configuration (הגדרת הסביבה).

4. בפריט Cloud SQL machine type (סוג מכונה של Cloud SQL) בקטע Resources (משאבים) > לוחצים על Edit (עריכה).

5. בחלונית Cloud SQL configuration, ברשימה הנפתחת Cloud SQL machine type, בוחרים את סוג המכונה למופע Cloud SQL של הסביבה.

6. לוחצים על Save.

gcloud

הארגומנטים --cloud-sql-machine-type שולטים בסוג המכונה של מכונת Cloud SQL בסביבה שלכם.

מריצים את הפקודה הבאה ב-Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

מחליפים את מה שכתוב בשדות הבאים:

• ‫ENVIRONMENT_NAME: שם הסביבה.
• ‫LOCATION: האזור שבו נמצאת הסביבה.
• ‫SQL_MACHINE_TYPE: סוג המכונה של מופע Cloud SQL.

דוגמה:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. יוצרים בקשת API של environments.patch.

2. בבקשה הזו:

   1. בפרמטר updateMask, מציינים את המסכה config.databaseConfig.machineType.

   2. בגוף הבקשה, מציינים את סוג המכונה של מופע Cloud SQL.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SQL_MACHINE_TYPE: סוג המכונה של מופע Cloud SQL.

דוגמה:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

השדה machine_type בבלוק database_config מציין את סוג המכונה של מופע Cloud SQL.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SQL_MACHINE_TYPE: סוג המכונה של מופע Cloud SQL.

דוגמה:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

שינוי סוג המכונה של שרת האינטרנט

אתם יכולים לשנות את סוג המכונה של שרת האינטרנט של Airflow בסביבה שלכם.

המסוף

1. נכנסים לדף Environments במסוף Google Cloud .

   מעבר אל Environments

2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

3. עוברים לכרטיסייה Environment configuration (הגדרת הסביבה).

4. בפריט Resources (משאבים) > Web server machine type (סוג המכונה של שרת האינטרנט), לוחצים על Edit (עריכה).

5. בחלונית Web server configuration, ברשימה הנפתחת Web server machine type, בוחרים את סוג המכונה של שרת האינטרנט של Airflow.

6. לוחצים על Save.

gcloud

הארגומנטים --web-server-machine-type שולטים בסוג המכונה של מופע שרת האינטרנט של Airflow בסביבה שלכם.

מריצים את הפקודה הבאה ב-Google Cloud CLI:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

מחליפים את מה שכתוב בשדות הבאים:

• ‫ENVIRONMENT_NAME: שם הסביבה.
• ‫LOCATION: האזור שבו נמצאת הסביבה.
• ‫WS_MACHINE_TYPE: סוג המכונה של מופע שרת האינטרנט של Airflow.

דוגמה:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. יוצרים בקשת API של environments.patch.

2. בבקשה הזו:

   1. בפרמטר updateMask, מציינים את המסכה config.webServerConfig.machineType.

   2. בגוף הבקשה, מציינים את סוג המכונה של שרת האינטרנט.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫WS_MACHINE_TYPE: סוג המכונה של מופע שרת האינטרנט של Airflow.

דוגמה:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

השדה machine_type בבלוק web_server_config מציין את סוג המכונה של מופע שרת האינטרנט של Airflow.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫WS_MACHINE_TYPE: סוג המכונה של מופע שרת האינטרנט של Airflow.

דוגמה:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

המאמרים הבאים

• התאמה לעומס וביצועים של סביבות
• תמחור של Managed Airflow
• עדכון סביבות
• ארכיטקטורת הסביבה