שימוש בקטגוריה של סביבה מותאמת אישית

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

כשיוצרים סביבה, אפשר לציין קטגוריה מותאמת אישית של Cloud Storage כקטגוריה של הסביבה. הסביבה שלכם משתמשת בקטגוריה הזו באותו אופן שבו היא משתמשת בקטגוריה של סביבת ברירת המחדל, והקטגוריה של סביבת ברירת המחדל לא נוצרת.

בעזרת קטגוריה מותאמת אישית, אתם יכולים:

  • משתמשים בהגדרות של קטגוריה שעומדות בדרישות שלכם.
  • שימוש בדלי שקיים באופן רציף למטרות פיתוח או בדיקה תקופתיות.
  • שימוש חוזר בקטגוריית קבצים קיימת מסביבה קודמת ושמירה על שילובים של CI/CD ונתונים.
  • מחיקה ויצירה מחדש של סביבה בלי להעביר נתונים בין דליים.
  • מאכלסים מראש את הקטגוריה המותאמת אישית בנתונים הנדרשים, כמו קובצי ה-DAG, ואז יוצרים סביבה.

לפני שמתחילים

  • הקטגוריה המותאמת אישית צריכה להיות באותו אזור שבו נמצאת הסביבה. אין תמיכה בקטגוריות שנמצאות בכמה אזורים או בשני אזורים.
  • קטגוריית היעד והסביבה צריכות להיות באותו פרויקט.
  • קטגוריית האחסון המותאמת אישית חייבת להיות Standard storage class.
  • לא יכולות להיות מדיניות שמירת נתונים או נעילות של מדיניות שמירת נתונים בקטגוריית היעד.
  • בקבוצת היעד המותאמת אישית לא יכול להיות מופעל מרחב שמות היררכי.

  • אי אפשר להשתמש באותו מאגר בהתאמה אישית בכמה סביבות בו-זמנית. מערכת Managed Airflow יוצרת שגיאה אם הדלי שצוין כבר נמצא בשימוש בסביבה אחרת. אפשר למחוק סביבה ואז להשתמש באותה קטגוריה לסביבה אחרת.

  • כשמשתמשים ב-Managed Airflow כדי ליצור סביבה, הוא לא מוסיף לקטגוריית Cloud Storage הרשאות IAM חסרות. מוודאים שלחשבון השירות של הסביבה יש הרשאות מהתפקיד Composer Worker בקטגוריה.

יצירת סביבה עם קטגוריה בהתאמה אישית

המסוף

כדי לציין קטגוריה מותאמת אישית של Cloud Storage כשיוצרים סביבה:

  1. בדף Create environment (יצירת סביבה), בקטע Advanced configuration (הגדרה מתקדמת), לוחצים על Show advanced configuration (הצגת הגדרה מתקדמת).
  2. בוחרים באפשרות Custom bucket (סיווג מותאם אישית).
  3. בשדה Bucket name, מציינים או בוחרים קטגוריה.

gcloud

כשיוצרים סביבה, הארגומנט --storage-bucket מציין את הקטגוריה המותאמת אישית של הסביבה.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --storage-bucket CUSTOM_STORAGE_BUCKET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ENVIRONMENT_NAME: השם של הסביבה.
  • ‫LOCATION: האזור שבו נמצאת הסביבה.
  • ‫CUSTOM_STORAGE_BUCKET: שם של קטגוריה של Cloud Storage. אפשר גם לציין את מזהה ה-URI של הקטגוריה (עם הקידומת gs://).

דוגמה:

gcloud composer environments create example-environment \
    --location us-cental1 \
    --storage-bucket us-central1-example-bucket

API

כשיוצרים סביבה, במשאב Environment > StorageConfig, מציינים קטגוריה בהתאמה אישית לסביבה.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "storageConfig": {
    "bucket": "CUSTOM_STORAGE_BUCKET"
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו נמצאת הסביבה.
  • ‫ENVIRONMENT_NAME: השם של הסביבה.
  • ‫CUSTOM_STORAGE_BUCKET: שם של קטגוריה של Cloud Storage (בלי הקידומת gs://).

דוגמה:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "storageConfig": {
    "bucket": "us-central1-example-bucket"
  }
}

Terraform

כשיוצרים סביבה, בשדה bucket בבלוק storage_config מצוינת הקטגוריה המותאמת אישית של הסביבה.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  storage_config {

    bucket = CUSTOM_STORAGE_BUCKET

  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ENVIRONMENT_NAME: השם של הסביבה.
  • ‫LOCATION: האזור שבו נמצאת הסביבה.
  • ‫CUSTOM_STORAGE_BUCKET: שם של קטגוריה של Cloud Storage. אפשר גם לציין את מזהה ה-URI של הקטגוריה (עם הקידומת gs://).

דוגמה:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  storage_config {

    bucket = "gs://us-central1-example-bucket"

  }
}

המאמרים הבאים