Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בקטע הזה מוסבר איך לארגן רשתות רחבות היקף עבור סביבות Managed Airflow.
שימוש ב-Private Service Connect במקום בקישור בין רשתות VPC שכנות (peering)
מידע נוסף זמין במאמר הגדרת Private Service Connect.
מכסות ל-VPC, לרשת משנה ולכללי העברה
שירותים מנוהלים של Airflow ו-GKE משתמשים ב-VPC peerings כדי ליצור חיבורים בין הרכיבים של סביבות Managed Airflow (פרויקט הלקוח ופרויקט הדייר) ובין אשכול GKE לבין מישור הבקרה של GKE.
אם בפרויקט שלכם יש הגדרת רשת רחבת היקף, למשל כזו עם מאות רשתות והרבה קישורים בין רשתות VPC, יכול להיות שהפעולות ייכשלו כשתנסו ליצור סביבות חדשות של Managed Airflow, בגלל שגיאות במכסת ה-VPC, רשת המשנה או כללי ההעברה.
אלה השגיאות שאתם עלולים להיתקל בהן:
הגעתם למספר המקסימלי של קישורים בין רשתות VPC שכנות (peering) לכל רשת VPC.
מכסת ברירת המחדל למספר ה-VPC peering בתוך VPC יחיד היא 25 (אלא אם מבקשים להגדיל את המכסה הזו).
הגעתם למספר המקסימלי של טווחי כתובות IP של רשתות משנה ראשיות ומשניות.
המכסה של הפרמטר הזה היא 400.
הגעתם למספר המקסימלי של כללי העברה בקבוצת הפירינג לאיזון עומסים פנימי של TCP/UDP.
המכסה של הפרמטר הזה היא 175.
מידע נוסף על מכסות ברירת המחדל של VPC ב- Google Cloudזמין במאמר מכסות ומגבלות.
מידע על רשתות רחבות היקף לסביבות Managed Airflow
כדי להתמודד עם האתגרים שקשורים למגבלות האלה, אפשר לארגן את סביבות Managed Airflow בכמה רשתות VPC שמחוברות ל-VPC הראשי או ל-VPC של עמוד השדרה, כמו שמתואר בקטעים הבאים.
הפתרון הזה רלוונטי לתרחישים של VPC משותף ושל VPC לא משותף.
הגדרת רשת בקנה מידה גדול בתרחיש של VPC לא משותף
כדי ליצור הגדרת רשת רחבת היקף ל-Managed Airflow:
יוצרים רשת VPC מרכזית. הרשת הזו משמשת כ-Hub לרשתות VPC נפרדות שמארחות סביבות Managed Airflow.
יצירת רשתות VPC ייעודיות לסביבות Managed Airflow. אפשר לשלב כמה סביבות Managed Airflow ברשת VPC אחת. לדוגמה, אפשר לקרוא לרשתות האלה
composer-vpc-1,composer-vpc-2וכן הלאה.יצירת קישוריות בין רשתות VPC של סביבת Managed Airflow לבין רשת ה-VPC הבסיסית על ידי יצירת מנהרות HA VPN.
הגדרת רשת בקנה מידה גדול בתרחיש של VPC משותף
כדי לפתור את הבעיה של מגבלות על קישור בין רשתות ב-VPC משותף, צריך לארגן את סביבות Managed Airflow בכמה פרויקטים ורשתות VPC שמחוברים לרשת VPC מרכזית.
כדי ליצור הגדרת רשת VPC משותפת בקנה מידה גדול ל-Managed Airflow:
בפרויקט המארח, יוצרים רשת VPC מרכזית. הרשת הזו מחברת בין רשתות VPC נפרדות לפרויקטים של שירותים שמריצים סביבות Managed Airflow.
בפרויקט המארח, יוצרים רשתות VPC לסביבות Managed Airflow. לדוגמה, אפשר לקרוא לרשתות האלה
composer-shared-vpc-1,composer-shared-vpc-2וכן הלאה.כדי ליצור קישוריות בין רשתות ה-VPC האלה לבין רשת ה-VPC הראשית, צריך ליצור מנהרות HA VPN באופן ידני.
הגדרת סביבות Managed Airflow בהגדרת VPC משותף.