הגדרת סביבות עם מדיניות שימוש בנקודת קצה מוגבלת

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך ליצור סביבות Managed Airflow כשמדיניות הארגון Restrict Endpoint Usage (הגבלת השימוש בנקודות קצה) נאכפת.

מדיניות הארגון constraints/gcp.restrictEndpointUsage מגבילה את נקודות הקצה של Google API שאפשר להשתמש בהן כדי לגשת למשאבים. כך ארגונים יכולים לאכוף את השימוש בנקודות קצה מבוססות-מיקום או אזוריות, למשל, כדי לעמוד בדרישות שהנתונים יישארו באזורים גיאוגרפיים מסוימים.

מידע על המדיניות בנושא הגבלת השימוש בנקודות קצה ב-Managed Airflow

כשיוצרים סביבת Managed Airflow בפרויקט שבו מדיניות השימוש בנקודות קצה מגבילה את הגישה לנקודות קצה גלובליות של שירותים כמו Cloud Storage API,‏ Cloud Logging API,‏ Pub/Sub API או Data Lineage API,‏ Managed Airflow מגדיר את הרכיבים הפנימיים של הסביבה כך שישתמשו בנקודות הקצה האזוריות (REP) המתאימות לשירותים האלה.

נקודות הקצה הספציפיות שסביבה מסוימת משתמשת בהן נקבעות על ידי המדיניות 'הגבלת השימוש בנקודות קצה' רק במהלך יצירת הסביבה. נקודות הקצה האלה לא משתנות גם אם המדיניות מוגדרת מחדש בהמשך.

הגבלת שירותים שנדרשים לסביבות Managed Airflow

כשהמדיניות Restrict Endpoint Usage (הגבלת השימוש בנקודת קצה) מגבילה חלק מהשירותים שנדרשים על ידי Managed Airflow, חלות ההגבלות הבאות:

  • יומני משימות של Airflow בממשק המשתמש של Airflow

    ממשק המשתמש של Airflow מסתמך על נקודת הקצה הגלובלית של Cloud Logging‏ (logging.googleapis.com) כדי להציג יומני משימות. אם תדחו את logging.googleapis.com במדיניות Restrict Endpoint Usage (הגבלת השימוש בנקודת קצה), יומני המשימות לא יהיו זמינים בממשק המשתמש של Airflow.

    ההגבלה הזו חלה רק על ממשק המשתמש של Airflow. עדיין תוכלו לראות את יומני המשימות בממשק המשתמש של DAG ואת יומני העובדים של Airflow במסוף וב-Cloud Logging. Google Cloud

  • מדדים של סביבה

    ‫Airflow מנוהל משתמש בנקודות קצה גלובליות ל-Cloud Monitoring‏ (monitoring.googleapis.com) כי חלק מממשקי ה-API של Monitoring‏ (monitoring.googleapis.com) לא תומכים באופן מלא בנקודות קצה אזוריות. הגבלת monitoring.googleapis.com עשויה להשפיע על חלק ממדדי הסביבה.

  • אופרטורים של Airflow בתרשימי ה-DAG

    האופרטורים של Airflow שמתחברים לנקודת קצה גלובלית שנחסמת על ידי מדיניות השימוש בנקודות קצה ייכשלו. מוודאים שכל האופרטורים של Airflow ב-DAG מוגדרים לשימוש בנקודות קצה אזוריות, אם האופרטור תומך בכך.

לפני שמתחילים

  • סביבות עם מדיניות שימוש בנקודות קצה מוגבלת נתמכות ב-Managed Airflow (דור 2) מגרסה 2.16.7 ואילך.

הגדרת מדיניות שימוש בנקודת קצה מוגבלת

מידע נוסף ודוגמאות לאופן ההגדרה של מדיניות שימוש בנקודת קצה כדי לדחות גישה לנקודות קצה גלובליות ספציפיות זמינים במאמר בנושא הגבלת השימוש בנקודת קצה.

יצירת סביבת IP ציבורי עם מדיניות שימוש בנקודת קצה מוגבלת

לא נדרשת הגדרה נוספת בסביבות Managed Airflow עם כתובות IP ציבוריות. צריך לבצע את הפעולות הבאות:

  1. מוודאים שלשירותים שרוצים להגדיר להם אזורים יש נקודות קצה אזוריות שזמינות באזורים שנבחרו.

  2. חשוב לוודא שמדיניות Restrict Endpoint Usage כבר מוגדרת ושהיא דוחה נקודות קצה גלובליות עבור השירותים שרוצים להגביל לאזור מסוים.

  3. יצירת סביבת Managed Airflow חדשה

    הסביבה תשתמש בנקודות קצה אזוריות בהתאם למדיניות 'הגבלת השימוש בנקודות קצה'.

יצירת סביבת IP פרטי עם מדיניות שימוש בנקודת קצה מוגבלת

כדי ליצור סביבה עם מדיניות Restrict Endpoint Usage (הגבלת השימוש בנקודת קצה) בהגדרת Private IP (כתובת IP פרטית), צריך להגדיר את רשת ה-VPC כך שתפתור את הבעיה ותנתב את התנועה לנקודות הקצה האזוריות (REP) הנדרשות באמצעות Private Service Connect ו-Cloud DNS.

כדי ליצור סביבת IP פרטית עם מדיניות שימוש בנקודת קצה מוגבלת:

  1. מוודאים שלשירותים שרוצים להגדיר להם אזורים יש נקודות קצה אזוריות שזמינות באזורים שנבחרו.

  2. חשוב לוודא שמדיניות Restrict Endpoint Usage כבר מוגדרת ושהיא דוחה נקודות קצה גלובליות עבור השירותים שרוצים להגביל לאזור מסוים.

  3. מוודאים שכבר יש לכם רשת VPC ותת-רשת שבהן אתם רוצים להשתמש בסביבת ה-IP הפרטית.

  4. חוזרים על השלבים להגדרת הרשת לכל אחד מהשירותים הבאים שמוגבלים על ידי המדיניות 'הגבלת השימוש בנקודת קצה':

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • נקודות הקצה של Google API לכל שאר השירותים שמשמשים ב-DAG.

הגדרת רשת עם כתובות IP פרטיות לשירות שמוגבל על ידי המדיניות

צריך לבצע את השלבים הבאים בנקודות הקצה האזוריות (REP) התואמות לכל שירותי Google בפרויקט שבהם הגישה לנקודות הקצה הגלובליות שלהם מוגבלת.

כדי לטרגט וריאציות אזוריות של השירותים האלה, צריך ליצור נקודות קצה של Private Service Connect ולציין את האזור של סביבת Managed Airflow. לדוגמה, אם הסביבה שלכם נמצאת ב-us-central1, אתם מטרידים את ה-REP של Cloud Storage ב-storage.us-central1.rep.googleapis.com.

למידע נוסף על שימוש בנקודות קצה של Private Service Connect כדי להתחבר לנקודות קצה אזוריות של ממשקי Google APIs נתמכים, אפשר לעיין במאמר גישה לממשקי Google APIs אזוריים דרך נקודות קצה.

יצירת נקודת קצה של Private Service Connect

  1. נכנסים לדף Private Service Connect במסוף Google Cloud .

    כניסה אל Private Service Connect

  2. לוחצים על Connect endpoint.

  3. מגדירים נקודת קצה מסוג Private Service Connect באופן הבא:

    • יעד: בוחרים באפשרות Google APIs.

    • פרטי היעד:

      1. היקף: בוחרים באפשרות Regional.
      2. אזור: בוחרים את האזור של סביבת Managed Airflow.
      3. שירות היעד: בוחרים את השירות שרוצים להגדיר. הפעולה הזו בוחרת נציג באזור שנבחר.

      דוגמה:

      אם הסביבה שלכם ממוקמת ב-us-central1 ואתם מגדירים את Cloud Storage, בוחרים באפשרות Iowa (us-central1) ואז באפשרות Cloud Storage (storage.us-central1.rep.googleapis.com).

    • פרטים על נקודת הקצה:

      1. שם נקודת הקצה: שם לנקודת הקצה.

        דוגמה: psc-storage-endpoint-us-central1

      2. רשת ורשת משנה: בוחרים את רשת ה-VPC ואת רשת המשנה של סביבת Managed Airflow.

      3. כתובת IP: בוחרים כתובת IP קיימת או לוחצים על יצירת כתובת IP כדי לשמור כתובת IP פנימית סטטית חדשה מרשת המשנה שנבחרה.

        נותנים לכתובת ה-IP שם תיאורי. תשתמשו בכתובת ה-IP הזו בהמשך כדי להגדיר רשומת DNS.

        דוגמה: psc-storage-us-central1

  4. לוחצים על הוספת נקודת קצה.

יצירת תחום DNS פרטי

  1. נכנסים לדף Cloud DNS במסוף Google Cloud .

    מעבר אל Cloud DNS

  2. לוחצים על יצירת אזור.

  3. בקטע Zone type (סוג האזור), בוחרים באפשרות Private.

  4. מציינים את ההגדרה הבאה:

    • שם האזור: שם לאזור.

      לדוגמה: storage-us-central1

    • שם DNS: שם DNS. חשוב לכלול את הנקודה בסוף.

      לדוגמה: storage.us-central1.rep.googleapis.com.

    • רשתות: בוחרים את רשת ה-VPC עבור סביבת Managed Airflow.

  5. לוחצים על יצירה.

הוספת רשומת DNS בתחום ה-DNS שנוצר

  1. נכנסים לדף Cloud DNS במסוף Google Cloud .

    מעבר אל Cloud DNS

  2. לוחצים על השם של האזור שיצרתם.

  3. לוחצים על הוספת תקן.

  4. מגדירים את רשומת ה-DNS באופן הבא:

    • שם DNS: מציינים את תת-הדומיין של תחום ה-DNS.

      לדוגמה: storage.us-central1.rep.googleapis.com

    • סוג רשומת המשאבים: בוחרים באפשרות A.

    • כתובת IPv4: בוחרים את כתובת ה-IP שהקציתם לנקודת הקצה של Private Service Connect.

  5. לוחצים על יצירה.

יצירת סביבת Managed Airflow עם כתובת IP פרטית

אחרי שמגדירים את כל השירותים שבהם ישתמשו בסביבה, ממשיכים ליצירת סביבת IP פרטית ברשת ה-VPC וברשת המשנה שנבחרו.

המאמרים הבאים