הגדרת סביבות עם מדיניות שימוש בנקודת קצה מוגבלת

Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך ליצור סביבות של Managed Airflow כשאוכפים את מדיניות הארגון Restrict Endpoint Usage.

מדיניות הארגון constraints/gcp.restrictEndpointUsage מגבילה את נקודות הקצה של Google API שאפשר להשתמש בהן כדי לגשת למשאבים. כך ארגונים יכולים לאכוף את השימוש בנקודות קצה מבוססות-מיקום או אזוריות, למשל כדי לעמוד בדרישות שהנתונים יישארו באזורים גיאוגרפיים מסוימים.

מידע על מדיניות השימוש בנקודות קצה מוגבלות ב-Managed Airflow

כשיוצרים סביבת Managed Airflow בפרויקט שבו המדיניות "הגבלת השימוש בנקודות קצה" מונעת גישה לנקודות קצה גלובליות של שירותים כמו Cloud Storage API,‏ Cloud Logging API,‏ Pub/Sub API או Data Lineage API, סביבת Managed Airflow מגדירה את הרכיבים הפנימיים של הסביבה כך שישתמשו בנקודות הקצה האזוריות (REPs) המתאימות לשירותים האלה.

נקודות הקצה הספציפיות שבהן משתמשת סביבה נקבעות על ידי המדיניות Restrict Endpoint Usage רק במהלך יצירת הסביבה. נקודות הקצה האלה לא משתנות גם אם המדיניות מוגדרת מחדש מאוחר יותר.

הגבלת השירותים שנדרשים לסביבות Managed Airflow

אם המדיניות Restrict Endpoint Usage מגבילה חלק מהשירותים שנדרשים ל-Managed Airflow, חלות המגבלות הבאות:

  • יומני המשימות של Airflow בממשק המשתמש של Airflow

    ממשק המשתמש של Airflow מסתמך על נקודת הקצה הגלובלית של Cloud Logging (logging.googleapis.com) כדי להציג את יומני המשימות. אם דחיתם את logging.googleapis.com במדיניות Restrict Endpoint Usage, יומני המשימות לא יהיו זמינים בממשק המשתמש של Airflow.

    המגבלה הזו חלה רק על ממשק המשתמש של Airflow. עדיין תוכלו לראות את יומני המשימות בממשק המשתמש של DAG ואת יומני ה-worker של Airflow במסוף Google Cloud וב-Cloud Logging.

  • מדדי סביבה

    ב-Managed Airflow משתמשים בנקודות קצה גלובליות ל-Cloud Monitoring (monitoring.googleapis.com) כי חלק מממשקי ה-API של Monitoring לא תומכים באופן מלא בנקודות קצה אזוריות. הגבלת הגישה של monitoring.googleapis.com עשויה להשפיע על חלק ממדדי הסביבה.

  • אופרטורים של Airflow בתרשימי ה-DAG

    אופרטורים של Airflow שמתחברים לנקודת קצה גלובלית שנדחתה על ידי מדיניות השימוש Restrict Endpoint Usage ייכשלו. אם האופרטור של Airflow תומך בנקודות קצה אזוריות, ודאו שכל האופרטורים של Airflow ב-DAGs מוגדרים להשתמש בנקודות קצה אזוריות.

  • מפתחות הצפנה בניהול הלקוח (CMEK)

    אי אפשר להשתמש במפתחות הצפנה בניהול הלקוח (CMEK) ביחד עם המדיניות "הגבלת השימוש בנקודות קצה".

לפני שמתחילים

הגדרת המדיניות "הגבלת השימוש בנקודות קצה"

למידע נוסף ודוגמאות להגדרת מדיניות השימוש בנקודות קצה כדי למנוע גישה לנקודות קצה גלובליות ספציפיות, ראו הגבלת השימוש בנקודות קצה.

יצירת סביבת IP ציבורית עם מדיניות שימוש מוגבלת בנקודות קצה

בסביבות Managed Airflow עם כתובת IP ציבורית לא נדרשת הגדרה נוספת. מבצעים את הפעולות הבאות:

  1. מוודאים שלשירותים שרוצים להגדיר להם אזוריות יש נקודות קצה אזוריות זמינות באזורים שנבחרו.

  2. מוודאים שהמדיניות Restrict Endpoint Usage כבר מוגדרת ודוחה נקודות קצה גלובליות לשירותים שרוצים להגדיר להם אזור.

  3. יצירת סביבה חדשה של Managed Airflow.

    הסביבה תשתמש בנקודות קצה אזוריות בהתאם למדיניות Restrict Endpoint Usage.

יצירת סביבת IP פרטית עם מדיניות הגבלת השימוש בנקודות קצה (endpoint)

כדי ליצור סביבה עם מדיניות Restrict Endpoint Usage בהגדרת ה-IP הפרטי, צריך להגדיר את רשת ה-VPC כך שתפתור ותנתב את התנועה לנקודות הקצה האזוריות (REPs) הנדרשות באמצעות Private Service Connect ו-Cloud DNS.

כדי ליצור סביבת IP פרטית עם מדיניות שימוש בנקודות קצה מוגבלת:

  1. מוודאים שלשירותים שרוצים להגדיר להם אזוריות יש נקודות קצה אזוריות זמינות באזורים שנבחרו.

  2. מוודאים שהמדיניות Restrict Endpoint Usage כבר מוגדרת ודוחה נקודות קצה גלובליות לשירותים שרוצים להגדיר להם אזור.

  3. מוודאים שכבר יש לכם רשת VPC ותת-רשת שאתם רוצים להשתמש בהן בסביבת ה-IP הפרטית.

  4. חוזרים על שלבי הגדרת הרשת לכל אחד מהשירותים הבאים שמוגבלים על ידי המדיניות Restrict Endpoint Usage:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • נקודות קצה ל-Google API לכל השירותים האחרים שבהם משתמשים ב-DAG.

הגדרת רשת עם כתובת IP פרטית לשירות שמוגבל על ידי המדיניות

בצעו את השלבים הבאים בנקודות הקצה האזוריות (REPs) המתאימות לכל שירותי Google בפרויקט שלכם, שהגישה לנקודות הקצה הגלובליות שלהם מוגבלת.

כדי לטרגט וריאציות אזוריות של השירותים האלה, צריך ליצור נקודות קצה (endpoints) של Private Service Connect ולציין את האזור של סביבת Managed Airflow. לדוגמה, אם הסביבה שלכם נמצאת ב-us-central1, אתם צריכים לטרגט את ה-REP של storage.us-central1.rep.googleapis.com ל-Cloud Storage.

למידע נוסף על השימוש בנקודות קצה של Private Service Connect כדי להתחבר לנקודות קצה אזוריות של ממשקי Google API נתמכים, קראו את המאמר גישה לממשקי Google API אזוריים דרך נקודות קצה.

יצירת נקודת קצה מסוג Private Service Connect

  1. נכנסים לדף Private Service Connect במסוף Google Cloud .

    מעבר אל Private Service Connect

  2. לוחצים על Connect endpoint.

  3. מגדירים נקודת קצה מסוג Private Service Connect באופן הבא:

    • ‫Target: בוחרים באפשרות Google APIs.

    • פרטי היעד:

      1. היקף: בוחרים באפשרות Regional.
      2. ‫Region: בוחרים את האזור של סביבת Managed Airflow.
      3. שירות היעד: בוחרים את השירות שרוצים להגדיר. כך נבחר REP באזור שנבחר.

      דוגמה:

      אם הסביבה שלכם נמצאת ב-us-central1 ואתם מגדירים את Cloud Storage, צריך לבחור את Iowa (us-central1) ואת Cloud Storage (storage.us-central1.rep.googleapis.com).

    • פרטי נקודת הקצה:

      1. שם נקודת הקצה: שם לנקודת הקצה.

        דוגמה: psc-storage-endpoint-us-central1

      2. ‫Network and Subnetwork: בוחרים את רשת ה-VPC ואת רשת המשנה של סביבת Managed Airflow.

      3. ‫IP address: בוחרים כתובת IP קיימת או לוחצים על Create IP address כדי לשמור כתובת IP פנימית סטטית חדשה מרשת המשנה שנבחרה.

        נותנים לכתובת ה-IP הזו שם תיאורי. תשתמשו בכתובת ה-IP הזו בהמשך כדי להגדיר רשומת DNS.

        דוגמה: psc-storage-us-central1

  4. לוחצים על הוספת נקודת קצה.

יצירת תחום DNS פרטי

  1. נכנסים לדף Cloud DNS במסוף Google Cloud .

    כניסה ל-Cloud DNS

  2. לוחצים על Create zone.

  3. ב-Zone type, בוחרים באפשרות Private.

  4. מציינים את ההגדרות הבאות:

    • שם האזור: שם לאזור.

      לדוגמה: storage-us-central1

    • שם DNS: שם DNS. צריך לכלול את הנקודה בסוף.

      לדוגמה: storage.us-central1.rep.googleapis.com.

    • רשתות: בוחרים את רשת ה-VPC לסביבת Managed Airflow.

  5. לוחצים על יצירה.

הוספת רשומת DNS בתחום ה-DNS שנוצר

  1. נכנסים לדף Cloud DNS במסוף Google Cloud .

    כניסה ל-Cloud DNS

  2. לוחצים על השם של האזור שיצרתם.

  3. לוחצים על הוספת תקן.

  4. מגדירים את רשומת ה-DNS באופן הבא:

    • שם DNS: מציינים את תת-הדומיין של תחום ה-DNS.

      לדוגמה: storage.us-central1.rep.googleapis.com

    • סוג רשומת המשאב: בוחרים באפשרות A.

    • כתובת IPv4: בוחרים את כתובת ה-IP שהקציתם לנקודת הקצה של Private Service Connect.

  5. לוחצים על יצירה.

יצירת סביבת Managed Airflow עם כתובת IP פרטית

אחרי שמגדירים את כל השירותים שבהם תשתמש הסביבה, יוצרים סביבת IP פרטי ברשת ה-VPC וברשת המשנה שנבחרו.

המאמרים הבאים