הפעלה והשבתה של שירות Managed Airflow

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך להפעיל ולהשבית את השירות Managed Service for Apache Airflow בפרויקט ב- Google Cloud .

מידע על ניהול שירותים ב- Google Cloudזמין במאמר הפעלה והשבתה של שירותים.

רשימת השירותים הנדרשים על ידי Managed Airflow בהגדרות של VPC Service Controls זמינה במאמר הגדרת VPC Service Controls.

שירותים שנדרשים ל-Managed Service for Apache Airflow

בקטע הזה מתוארים השירותים שנדרשים ל-Managed Airflow (דור 2). במקרים מסוימים, אדמינים של ארגונים או פרויקטים יכולים להגביל את השימוש בשירותי Google בפרויקטים שלהם.

השירותים הבאים נדרשים ל-Managed Airflow (דור 2):

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • ‫cloudkms.googleapis.com, אם אתם משתמשים במפתחות Cloud KMS או CMEK

  • ‫secretmanager.googleapis.com, אם אתם משתמשים ב-Secret Manager כקצה עורפי של סודות

  • artifactregistry.googleapis.com

  • cloudbuild.googleapis.com

  • container.googleapis.com

  • pubsub.googleapis.com

  • (רק בגרסאות 2.0.* של Managed Airflow) deploymentmanager.googleapis.com

שירותי Google כמו Cloud DNS או IAM כבר מורשים כברירת מחדל ברוב הפרויקטים.

הפעלת שירות Managed Airflow

בקטע הזה מוסבר איך להפעיל את שירות Managed Airflow בפרויקט ב- Google Cloud .

לפני שמפעילים את השירות

הפעלת Cloud Composer API

המסוף

מפעילים את Cloud Composer API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

להפעלת ה-API

gcloud

מפעילים את ה-API של composer.googleapis.com:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים 

gcloud services enable composer.googleapis.com

API

משתמשים ב-method ‏services.enable כדי להפעיל את composer.googleapis.com API.

Terraform

משתמשים במשאב google_project_service כדי להגדיר את composer.googleapis.com API.

הפעלת יחסי תלות ב-Managed Airflow (Gen 2)

כדי להפעיל את כל התלות שנדרשת על ידי Managed Airflow (דור 2), אפשר להפעיל את קבוצת השירות services/composer.googleapis.com/groups/dependencies@composer2 באמצעות הפקודה הבאה של Google Cloud CLI:

gcloud

מריצים את הפקודה gcloud beta services enable:

gcloud beta services enable composer.googleapis.com \
    --group dependencies@composer2

לחלופין, אפשר להפעיל באופן ידני את התלות הנוספת שנדרשת על ידי Managed Airflow (דור 2), למשל דרך מסוף Google Cloud או Terraform:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com

הפעלת שירותים שנדרשים ל-DAG

בנוסף לשירותים שנדרשים על ידי Managed Airflow, צריך להפעיל את כל השירותים שמשמשים את ה-DAG, למשל:

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

תוכלו למצוא את השמות של השירותים בפורמט ‎ *.googleapis.com בדפי ה-API שמקושרים מדף ה-API Explorer.

השבתת שירות Managed Airflow

בקטע הזה מוסבר איך להשבית את שירות Managed Airflow בפרויקט ב- Google Cloud .

לפני שמשביתים את השירות

  • כדי להשבית את שירות Managed Airflow, צריכות להיות לכם ההרשאות המתאימות לניהול זהויות והרשאות גישה. במאמר בנושא בקרת גישה בדף Service Usage מוסבר מהן הדרישות של IAM לשימוש בשירות.

  • מוודאים שכל סביבות Managed Airflow בפרויקט נמחקו. השבתת ה-API מוחקת באופן סופי את חלקי פרויקט הדייר בסביבות Managed Airflow, והסביבות האלה הופכות ללא שמישות.

  • כדי להימנע מחיובים נוספים, צריך לבצע את השלבים הבאים לכל סביבה לפני שמשביתים את Cloud Composer API:

    1. משהים את ה-DAG.
    2. אם נדרש, מייצאים את נתוני הסביבה, כמו DAGs מהקטגוריה של הסביבה.
    3. מחיקת הסביבה, כולל המשאבים שלא נמחקים באופן אוטומטי.

השבתת Cloud Composer API

כדי להשבית את שירות Managed Airflow:

המסוף

  1. במסוף Google Cloud , עוברים לדף Cloud Composer API.

    כניסה ל-Cloud Composer API

  2. לוחצים על ניהול.

  3. לוחצים על השבתת ה-API.

gcloud

מריצים את הפקודה gcloud services disable:

gcloud services disable composer.googleapis.com

API

משתמשים ב-method ‏services.disable כדי להשבית את composer.googleapis.com API.

Terraform

מסירים את ההגדרה של composer.googleapis.com API. בדרך כלל משתמשים במשאב google_project_service כדי להגדיר Google Cloud שירותים.

הוצאה משימוש של שירותים שלא נדרשים על ידי Managed Airflow (דור 3)

אנחנו מוציאים משימוש את ממשקי ה-API שלא נדרשים על ידי Managed Airflow (דור 3).

תלות ה-API הבאה עדיין לא נותקה והיא מתוכננת לניתוק מ-Cloud Composer API בעתיד:

  • sqladmin.googleapis.com

ממשקי ה-API הבאים ניתנים להפרדה מלאה. השבתה של ממשקי ה-API האלה לא תגרום להשבתה של Cloud Composer API:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com

כל ממשקי ה-API שמופיעים כלא מצורפים לא מופעלים יותר באופן אוטומטי כשמפעילים את Cloud Composer API. כדי ליצור סביבות של Managed Airflow (דור 2) בפרויקטים חדשים, צריך להפעיל את קבוצת ממשקי ה-API המנותקים בנוסף ל-Cloud Composer API.

השינוי הזה לא ישפיע על סביבות קיימות של Managed Airflow (Gen 3) ו-Managed Airflow (Gen 2) בפרויקטים שבהם Cloud Composer API כבר מופעל. אפשר לבצע את הפעולות הבאות:

  • אם בפרויקט יש רק סביבות של Managed Airflow (דור 3), אפשר להשבית ידנית את ממשקי ה-API המנותקים.

  • אם בפרויקט שלכם יש סביבות של Managed Airflow (דור 2), מומלץ להשאיר את ממשקי ה-API האלה מופעלים כי השבתה שלהם עלולה לגרום לתקלה בסביבה.

  • אם אתם משתמשים בסקריפטים לאוטומציה כדי להקצות סביבות של Managed Airflow (דור 2), אתם צריכים לוודא שממשקי ה-API שמפורטים כאן מופעלים בנוסף ל-Cloud Composer API. אפשר להפעיל אותם באופן ידני או באמצעות פקודה ב-CLI של gcloud.

המאמרים הבאים