הפעלה והשבתה של שירות Managed Airflow

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך להפעיל ולהשבית את השירות Managed Service for Apache Airflow בפרויקט ב- Google Cloud .

מידע על ניהול שירותים ב- Google Cloudזמין במאמר הפעלה והשבתה של שירותים.

רשימת השירותים הנדרשים על ידי Managed Airflow בהגדרות של VPC Service Controls זמינה במאמר הגדרת VPC Service Controls.

שירותים שנדרשים ל-Managed Service for Apache Airflow

בקטע הזה מתוארים השירותים שנדרשים ל-Managed Airflow (דור 3). במקרים מסוימים, אדמינים של ארגונים או פרויקטים יכולים להגביל את השימוש בשירותי Google בפרויקטים שלהם.

השירותים הבאים נדרשים ל-Managed Airflow (דור 3):

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • ‫cloudkms.googleapis.com, אם אתם משתמשים במפתחות Cloud KMS או CMEK

  • ‫secretmanager.googleapis.com, אם אתם משתמשים ב-Secret Manager כקצה עורפי של סודות

שירותי Google כמו Cloud DNS או IAM כבר מורשים כברירת מחדל ברוב הפרויקטים.

הפעלת שירות Managed Airflow

בקטע הזה מוסבר איך להפעיל את שירות Managed Airflow בפרויקט ב- Google Cloud .

לפני שמפעילים את השירות

הפעלת Cloud Composer API

המסוף

מפעילים את Cloud Composer API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

להפעלת ה-API

gcloud

מפעילים את ה-API של composer.googleapis.com:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים 

gcloud services enable composer.googleapis.com

API

משתמשים ב-method ‏services.enable כדי להפעיל את composer.googleapis.com API.

Terraform

משתמשים במשאב google_project_service כדי להגדיר את composer.googleapis.com API.

הפעלת שירותים שנדרשים ל-DAG

בנוסף לשירותים שנדרשים על ידי Managed Airflow, צריך להפעיל את כל השירותים שמשמשים את ה-DAG, למשל:

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

תוכלו למצוא את השמות של השירותים בפורמט ‎ *.googleapis.com בדפי ה-API שמקושרים מדף ה-API Explorer.

השבתת שירות Managed Airflow

בקטע הזה מוסבר איך להשבית את שירות Managed Airflow בפרויקט ב- Google Cloud .

לפני שמשביתים את השירות

  • כדי להשבית את שירות Managed Airflow, צריכות להיות לכם ההרשאות המתאימות לניהול זהויות והרשאות גישה. במאמר בנושא בקרת גישה בדף Service Usage מוסבר מהן הדרישות של IAM לשימוש בשירות.

  • מוודאים שכל סביבות Managed Airflow בפרויקט נמחקו. השבתת ה-API מוחקת באופן סופי את החלקים בפרויקט הדייר בסביבות Managed Airflow, והסביבות האלה הופכות ללא שמישות.

  • כדי להימנע מחיובים נוספים, צריך לבצע את השלבים הבאים לכל סביבה לפני שמשביתים את Cloud Composer API:

    1. משהים את ה-DAG.
    2. אם נדרש, מייצאים את נתוני הסביבה, כמו DAGs מהקטגוריה של הסביבה.
    3. מחיקת הסביבה, כולל המשאבים שלא נמחקים באופן אוטומטי.

השבתת Cloud Composer API

כדי להשבית את שירות Managed Airflow:

המסוף

  1. במסוף Google Cloud , עוברים לדף Cloud Composer API.

    כניסה ל-Cloud Composer API

  2. לוחצים על ניהול.

  3. לוחצים על השבתת ה-API.

gcloud

מריצים את הפקודה gcloud services disable:

gcloud services disable composer.googleapis.com

API

משתמשים ב-method ‏services.disable כדי להשבית את composer.googleapis.com API.

Terraform

מסירים את ההגדרה של composer.googleapis.com API. בדרך כלל משתמשים במשאב google_project_service כדי להגדיר Google Cloud שירותים.

הוצאה משימוש של שירותים שלא נדרשים על ידי Managed Airflow (דור 3)

אנחנו מוציאים משימוש את ממשקי ה-API שלא נדרשים על ידי Managed Airflow (דור 3).

תלות ה-API הבאה עדיין לא נותקה והיא מתוכננת לניתוק מ-Cloud Composer API בעתיד:

  • sqladmin.googleapis.com

ממשקי ה-API הבאים ניתנים להפרדה מלאה. השבתה של ממשקי ה-API האלה לא תגרום להשבתה של Cloud Composer API:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com

כל ממשקי ה-API שמופיעים כלא מצורפים לא מופעלים יותר באופן אוטומטי כשמפעילים את Cloud Composer API. כדי ליצור סביבות של Managed Airflow (דור 2) בפרויקטים חדשים, צריך להפעיל את קבוצת ממשקי ה-API המנותקים בנוסף ל-Cloud Composer API.

השינוי הזה לא ישפיע על סביבות קיימות של Managed Airflow (Gen 3) ו-Managed Airflow (Gen 2) בפרויקטים שבהם Cloud Composer API כבר מופעל. אפשר לבצע את הפעולות הבאות:

  • אם בפרויקט יש רק סביבות של Managed Airflow (דור 3), אפשר להשבית ידנית את ממשקי ה-API המנותקים.

  • אם בפרויקט שלכם יש סביבות של Managed Airflow (דור 2), מומלץ להשאיר את ממשקי ה-API האלה מופעלים כי השבתה שלהם עלולה לגרום לתקלה בסביבה.

  • אם אתם משתמשים בסקריפטים לאוטומציה כדי להקצות סביבות של Managed Airflow (דור 2), אתם צריכים לוודא שממשקי ה-API שמפורטים כאן מופעלים בנוסף ל-Cloud Composer API. אפשר להפעיל אותם באופן ידני או באמצעות פקודה ב-CLI של gcloud.

המאמרים הבאים