סביבות עם כתובות IP פרטיות

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר על סביבות Managed Airflow עם כתובות IP פרטיות.

בסביבות עם כתובות IP פרטיות, מערכת Managed Airflow מקצה רק כתובות IP פרטיות (RFC 1918) למכונות וירטואליות מנוהלות של Google Kubernetes Engine ו-Cloud SQL בסביבה שלכם. כתוצאה מכך, אין גישה נכנסת למכונות הווירטואליות המנוהלות האלה מהאינטרנט הציבורי. אפשרות נוספת היא להשתמש בכתובות IP ציבוריות לשימוש פרטי ובסוכן IP Masquerade כדי לחסוך במרחב כתובות ה-IP ולהשתמש בכתובות שאינן RFC 1918.

כברירת מחדל, בסביבת IP פרטית, לזרימות עבודה של Managed Airflow אין גישה לאינטרנט יוצא. הגישה לממשקי Google Cloud API ולשירותים לא מושפעת מניתוב ברשת הפרטית של Google.

אשכול GKE שמותאם ל-VPC

כשיוצרים סביבה, Managed Airflow מפיץ את המשאבים של הסביבה בין פרויקט דייר בניהול Google לבין פרויקט הלקוח.

בסביבת IP פרטי, Managed Airflow יוצר אשכול GKE מקורי של VPC עבור הסביבה בפרויקט הלקוח.

באשכולות המותאמים ל-VPC נעשה שימוש בניתוב של כתובות IP וירטואליות שמוטמע ברשת ה-VPC, וכך ה-VPC יכול לנהל את הניתוב של הפודים. כשמשתמשים באשכולות מקוריים של VPC,‏ GKE בוחר באופן אוטומטי טווח משני. אם יש לכם דרישות ספציפיות לגבי רשתות, אתם יכולים גם להגדיר את הטווחים המשניים עבור הפודים והשירותים של GKE כשאתם יוצרים סביבה.

סביבת Managed Airflow עם כתובת IP פרטית

כשיוצרים סביבה, אפשר לבחור סביבת IP פרטי. שימוש בכתובת IP פרטית אומר שלמכונות הווירטואליות של GKE ו-Cloud SQL בסביבה שלכם לא מוקצות כתובות IP ציבוריות, והן מתקשרות רק ברשת הפנימית של Google.

כשיוצרים סביבה עם כתובת IP פרטית, אשכול GKE של הסביבה מוגדר כאשכול פרטי, ומכונת Cloud SQL מוגדרת לכתובת IP פרטית.

אם בסביבת ה-IP הפרטי שלכם נעשה שימוש ב-Private Service Connect, רשת ה-VPC של פרויקט הלקוח ורשת ה-VPC של פרויקט הדייר מתחברות דרך נקודת קצה (endpoint) של PSC.

אם בסביבת כתובות ה-IP הפרטיות שלכם נעשה שימוש בקישור בין רשתות VPC שכנות (peering),‏ Managed Airflow יוצר קישור בין רשת ה-VPC של פרויקט הלקוח לבין רשת ה-VPC של פרויקט הדייר.

כשכתובת IP פרטית מופעלת בסביבה שלכם, תעבורת ה-IP בין אשכול GKE בסביבה לבין מסד הנתונים של Cloud SQL היא פרטית, ולכן תהליכי העבודה שלכם מבודדים מהאינטרנט הציבורי.

שכבת האבטחה הנוספת הזו משפיעה על אופן ההתחברות למשאבים האלה ועל אופן הגישה של הסביבה שלכם למשאבים חיצוניים. השימוש בכתובת IP פרטית לא משפיע על הגישה ל-Cloud Storage או לשרת האינטרנט של Airflow דרך כתובת ה-IP הציבורית.

אשכול GKE

שימוש באשכול GKE פרטי מאפשר לכם לשלוט בגישה למישור הבקרה של האשכול (לצמתי האשכול אין כתובות IP ציבוריות).

כשיוצרים סביבת Managed Airflow עם כתובת IP פרטית, מציינים אם הגישה למישור הבקרה היא ציבורית ואת טווח כתובות ה-IP שלה. טווח כתובות ה-IP של מישור הבקרה לא יכול לחפוף לאף תת-רשת ברשת ה-VPC.

אפשרות תיאור
הגישה לנקודת קצה ציבורית מושבתת כדי להתחבר לאשכול, צריך להתחבר ממכונה וירטואלית באותו אזור ובאותה רשת VPC של סביבת כתובות ה-IP הפרטיות. למכונת ה-VM שממנה מתחברים נדרש היקף הגישה Allow full access to all Cloud APIs.
מהמכונה הווירטואלית הזו, אפשר להריץ פקודות של kubectl באשכול של הסביבה
הגישה לנקודת קצה ציבורית מופעלת, הרשתות המורשות הראשיות מופעלות בהגדרה הזו, הצמתים של האשכול מתקשרים עם רמת הבקרה דרך הרשת הפרטית של Google. לצמתים יש גישה למשאבים בסביבה שלכם ולרשתות מורשות. אפשר להוסיף רשתות מורשות ב-GKE.
ברשתות מורשות, אפשר להריץ פקודות של kubectl באשכול של הסביבה

Cloud SQL

מכיוון שלמכונת Cloud SQL אין כתובת IP ציבורית, תעבורת Cloud SQL בסביבת כתובת ה-IP הפרטית לא חשופה לאינטרנט הציבורי.

‫Managed Airflow מגדיר את Cloud SQL לקבל חיבורים נכנסים דרך גישה פרטית לשירות. אפשר לגשת למכונת Cloud SQL ברשת ה-VPC באמצעות כתובת ה-IP הפרטית שלה.

גישה לאינטרנט לכל תהליכי העבודה

יכול להיות שפעולות ומפעילים שדורשים גישה למשאבים ברשתות לא מורשות או באינטרנט הציבורי ייכשלו. לדוגמה, הפעולה Dataflow Python דורשת חיבור לאינטרנט ציבורי כדי להוריד את Apache Beam מ-pip.

כדי לאפשר למכונות וירטואליות ללא כתובות IP חיצוניות ולאשכולות GKE פרטיים להתחבר לאינטרנט, צריך להשתמש ב-Cloud NAT.

כדי להשתמש ב-Cloud NAT, צריך ליצור הגדרת NAT באמצעות Cloud Router עבור רשת ה-VPC והאזור שבהם נמצאת סביבת Managed Airflow עם כתובות IP פרטיות.

המאמרים הבאים