שער NAT לתעבורת נתונים יוצאת ב-Google Distributed Cloud מאפשר להקצות כתובות IP קבועות ודטרמיניסטיות של SNAT לתעבורת נתונים יוצאת מהאשכולות. כשיש כתובות מקור צפויות, רשתות חיצוניות יכולות להחיל אמצעי אבטחה שמבוססים על כתובות IP, כמו כללי מדיניות של רשימות היתרים. שער ה-NAT לתעבורת נתונים יוצאת הוא תכונת רשת מתקדמת שמבוססת על Dataplane V2.
איך פועל שער ה-NAT לתעבורת נתונים יוצאת
שער ה-NAT לתעבורת נתונים יוצאת מופעל באמצעות שני משאבים בהתאמה אישית. במרחב שמות נתון, המשאב בהתאמה אישית NetworkGatewayGroup מציין כתובות IP צפות שאפשר להגדיר בממשק הרשת של צומת שנבחר לשמש כשער. המשאב בהתאמה אישית EgressNatPolicy מאפשר לכם לציין מדיניות ניתוב של תעבורת נתונים יוצאת, כדי לשלוט בתעבורת הנתונים בשער של תעבורת הנתונים היוצאת.
אם לא מגדירים שער NAT לתעבורת נתונים יוצאת, או אם תעבורת הנתונים היוצאת לא עומדת בכללי הבחירה של תעבורת הנתונים, תעבורת הנתונים היוצאת מ-Pod נתון ליעד מחוץ לאשכול מוסווית לכתובת ה-IP של הצומת שבו ה-Pod פועל. במקרה כזה, אין הבטחה שלכל תעבורת הנתונים היוצאת מ-Pod מסוים תהיה אותה כתובת IP של מקור, או שהיא תתחזה לאותה כתובת IP של צומת.
הלוגיקה לבחירת תעבורת הנתונים היוצאת מבוססת על בורר מרחב שמות, בורר Pod וקבוצה של טווחי כתובות IP של יעדים בפורמט בלוקי CIDR. כדי להמחיש איך פועל שער ה-NAT לתעבורת נתונים יוצאת, נבחן את הזרימה של חבילה מ-Pod לצרכן חיצוני ואת התגובה המתאימה. נניח שלרשת המשנה של הצומת יש כתובות IP בבלוק ה-CIDR 192.168.1.0/24.
בתרשים הבא מוצגת ארכיטקטורת הרשת של תעבורת נתונים יוצאת דרך צומת שער.
זרימת החבילות דרך שער ה-NAT של תעבורת הנתונים היוצאת עשויה להיראות כך:
תעבורת הנתונים היוצאת נוצרת מ-Pod עם כתובת ה-IP
10.10.10.1בצומת עם כתובת ה-IP192.168.1.1.כתובת היעד של תעבורת הנתונים היא נקודת קצה (endpoint) מחוץ לאשכול.
אם תעבורת הנתונים תואמת לכלל תעבורת נתונים יוצאת, תוכנית ה-eBPF מנתבת את תעבורת הנתונים היוצאת לצומת השער, במקום להסוות אותה ישירות באמצעות כתובת ה-IP של הצומת.
צומת השער מקבל את תעבורת הנתונים היוצאת.
צומת השער מסווה את כתובת ה-IP של המקור של תעבורת הנתונים,
10.10.10.1, באמצעות כתובת ה-IP של המקור לתעבורת נתונים יוצאת,192.168.1.100, שצוינה במשאב המותאם אישיתEgressNATPolicy.תנועת החזרה חוזרת לצומת השער עם היעד
192.168.1.100.צומת השער מתאים את ה-conntrack של תנועת הנתונים הנכנסת לזה של תנועת הנתונים היוצאת המקורית, ומשכתב את כתובת ה-IP של היעד ל-
10.10.10.1.
10.10.10.1מטופלת כתנועה בתוך האשכול, מנותבת לצומת המקורי ומועברת חזרה ל-Pod המקורי.
לפני שמתחילים
אם הצמתים מריצים את Ubuntu 18.04, ליבת Linux צריכה להיות בגרסה 5.4 ואילך. מידע נוסף זמין במאמר הגדרת Ubuntu.
הגדרת כתובות IP צפות לתנועה בצומת
המשאב המותאם אישית Network Gateway Group הוא רכיב בחבילה של Google Distributed Cloud. המשאב מנהל רשימה של כתובת IP צפה אחת או יותר, שמשמשת לתעבורת נתונים יוצאת מצמתים באשכול. הצמתים המשתתפים נקבעים לפי מרחב השמות שצוין. קבוצת שער הרשת מספקת כתובת IP צפה שזמינה בכל זמן, על בסיס המאמץ המרבי. אם צומת שמשתמש בכתובת IP צפה מושבת, מפעיל הרשת המתקדם מעביר את כתובת ה-IP שהוקצתה לצומת הזמין הבא. כל תנועת הנתונים היוצאת של עומס העבודה שמשתמשת בכתובת ה-IP הזו תועבר גם היא.
כשיוצרים אשכול חדש בגרסה 1.36.300-gke.150, צריך לכלול את פרטי קבוצת שער הרשת (הערה ומפרט) בקובץ התצורה של האשכול.
יצירת המשאב המותאם אישית NetworkGatewayGroup
כדי להפעיל את Network Gateway Group, מגדירים את השדה spec.clusterNetwork.advancedNetworking לערך true בקובץ התצורה של האשכול כשיוצרים אשכול, כמו בדוגמה הבאה:
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: cluster1
namespace: cluster-cluster1
spec:
clusterNetwork:
...
advancedNetworking: true
...
כשיוצרים את המשאב המותאם אישית NetworkGatewayGroup, מגדירים את מרחב השמות שלו למרחב השמות של האשכול ומציינים רשימה של כתובות IP צפות, כמו בדוגמה הבאה:
kind: NetworkGatewayGroup
apiVersion: networking.gke.io/v1
metadata:
namespace: cluster-cluster1
name: default
spec:
floatingIPs:
- 192.168.1.100
- 192.168.1.101
- 192.168.1.102
מפעיל הרשת המתקדם מקצה את כתובות ה-IP הדינמיות לצמתים לפי הקריטריונים הבאים:
- רשת המשנה של הצומת: כתובת ה-IP הדינמית צריכה להתאים לרשת המשנה של הצומת.
- תפקיד הצומת (מישור הבקרה, צומת עובד): לצומתי עובד יש עדיפות על פני צומתי מישור הבקרה כשמקצים כתובות IP צפות.
- אם לצומת יש כתובת IP צפה: המפעיל נותן עדיפות להקצאות לצמתים שעדיין לא הוקצתה להם כתובת IP צפה.
המיפוי של הכתובת לצומת נמצא בקטע status כשמקבלים את האובייקט NetworkGatewayGroup. שימו לב שהאובייקט NetworkGatewayGroup נמצא במרחב השמות kube-system. אם צומת שער מושבת, מפעיל הרשת המתקדם מקצה את כתובות ה-IP הצפות לצומת הזמין הבא.
אימות הגדרת השער
אחרי שמחילים את השינויים בהגדרות של השער, אפשר להשתמש ב-kubectl כדי לבדוק את הסטטוס של השער ולאחזר את כתובות ה-IP הצפות שצוינו בשבילו.
כדי לבדוק את הסטטוס של NetworkGatewayGroup ולראות איך כתובות ה-IP הצפות מוקצות, משתמשים בפקודה הבאה:
kubectl -n kube-system get networkgatewaygroups.networking.gke.io default -o yamlהתגובה לאשכול עם שני צמתים, worker1 ו-worker2, עשויה להיראות כך:
kind: NetworkGatewayGroup
apiVersion: networking.gke.io/v1
metadata:
namespace: kube-system
name: default
spec:
floatingIPs:
- 192.168.1.100
- 192.168.1.101
- 192.168.1.102
status:
nodes:
worker1: Up
worker2: Up // Or Down
floatingIPs:
192.168.1.100: worker1
192.168.1.101: worker2
192.168.1.102: worker1
הגדרת כללים לבחירת תנועה
המשאב בהתאמה אישית EgressNATPolicy מציין כללים לבחירת תעבורת נתונים ומקצה כתובת IP דטרמיניסטית לתעבורת נתונים יוצאת מהאשכול.
כשמציינים את המשאב בהתאמה אישית, צריך לציין את egress (עם כלל אחד לפחות), את destinationCIDRs ואת egressSourceIP.
משתמשים ב-kubectl apply כדי ליצור את המשאב בהתאמה אישית EgressNATPolicy. בקטעים הבאים מפורטים פרטים ודוגמאות להגדרת המפרט.
הגדרת כללי ניתוב לתעבורת נתונים יוצאת (egress)
המשאב בהתאמה אישית EgressNatPolicy מאפשר לציין את הכללים הבאים לתעבורת נתונים יוצאת:
צריך לציין כלל אחד או יותר לבחירת תעבורת נתונים יוצאת בקטע
egress.- כל כלל מורכב מ
podSelectorומnamespaceSelector. - הבחירה מבוססת על תווית מרחב השמות,
namespaceSelector.matchLabels.user, ועל תווית Pod,podSelector.matchLabels.role. - אם Pod תואם לאחד מהכללים (ההתאמה משתמשת ביחס OR), הוא נבחר לתעבורת נתונים יוצאת.
- כל כלל מורכב מ
מציינים את כתובות היעד המותרות בקטע
destinationCIDRs.destinationCIDRsמקבל רשימה של בלוקי CIDR.- אם לתנועה יוצאת מ-Pod יש כתובת IP של יעד שנמצאת בטווח של אחד מבלוקי ה-CIDR שצוינו, היא נבחרת לתעבורת נתונים יוצאת (egress).
בדוגמה הבאה, תעבורת נתונים יוצאת מ-Pod מותרת אם מתקיימים הקריטריונים הבאים:
- ה-Pod מסומן בתווית
role: frontend. - ה-Pod נמצא במרחב שמות שמתויג בתור
user: aliceאוuser: paul. - ה-Pod מתקשר עם כתובות IP בבלוק ה-CIDR של
8.8.8.0/24.
kind: EgressNATPolicy
apiVersion: networking.gke.io/v1
metadata:
name: egress
spec:
sources:
- namespaceSelector:
matchLabels:
user: alice
podSelector:
matchLabels:
role: frontend
- namespaceSelector:
matchLabels:
user: paul
podSelector:
matchLabels:
role: frontend
action: SNAT
destinations:
- cidr: 8.8.8.0/24
gatewayRef:
name: default
namespace: kube-system
למידע נוסף על השימוש בתוויות, עיינו במאמר תוויות ובוררים במסמכי התיעוד של Kubernetes.
קבלת כתובת IP של מקור לתעבורת נתונים יוצאת (egress)
המשאב המותאם אישית (מדיניות) EgressNATPolicy משתמש בערכים gatewayRef.name ו-gatewayRef.namespace כדי למצוא אובייקט NetworkGatewayGroup (שער).
המדיניות משתמשת באחת מכתובות ה-IP הצפות של השער ככתובת ה-IP של המקור לתעבורת נתונים יוצאת. אם יש כמה כתובות IP צפות בשער התואם, המדיניות משתמשת בכתובת ה-IP הראשונה ברשימה floatingIPs ומתעלמת מכל כתובות ה-IP האחרות. בשער לדוגמה, הכתובת הראשונה ברשימה floatingIPs היא 192.168.1.100. אם יש שדות או ערכים לא חוקיים בקטע gatewayRef, לא תהיה אפשרות להחיל את אובייקט המדיניות.
מספר כללי מדיניות של תעבורת נתונים יוצאת ומספר אובייקטים של שערים
כמו שמתואר בקטע הקודם, כל אובייקט egressNATPolicy (מדיניות) משתמש בכתובת ה-IP הראשונה ברשימה floatingIPs מהאובייקט של השער שתואם ל-gatewayRef.name ול-gatewayRef.namespace. אפשר ליצור כמה כללי מדיניות, ואם אתם מתכוונים להשתמש בכתובות IP שונות, אתם צריכים ליצור כמה אובייקטים של NetworkGatewayGroup ולהפנות אליהם בהתאם.
כל משאב NetworkGatewayGroup חייב להכיל כתובות IP צפות ייחודיות.
כדי להגדיר כמה אובייקטים של EgressNATPolicy שישתמשו באותה כתובת IP, צריך להשתמש באותם gatewayRef.name ו-gatewayRef.namespace לשניהם.
כדי להגדיר כמה כללי מדיניות תעבורת נתונים יוצאת וכמה אובייקטים של שערים:
יוצרים אובייקטים של שער במרחב השמות
kube-systemכדי לנהל כל כתובת IP צפה. בדרך כלל, לכל מדיניות תעבורת נתונים יוצאת צריך להיות אובייקט שער תואם כדי להבטיח שכתובת ה-IP הנכונה תוקצה.ואז מאמתים כל אובייקט שער באמצעות
kubectlכדי לקבל את סטטוס ההקצאה של כתובות ה-IP הצפות:kind: NetworkGatewayGroup apiVersion: networking.gke.io/v1 metadata: namespace: kube-system name: gateway1 spec: floatingIPs: - 192.168.1.100 status: ... floatingIPs: 192.168.1.100: worker1 --- kind: NetworkGatewayGroup apiVersion: networking.gke.io/v1 metadata: namespace: kube-system name: gateway2 spec: floatingIPs: - 192.168.1.101 status: ... floatingIPs: 192.168.1.101: worker2 --- kind: NetworkGatewayGroup apiVersion: networking.gke.io/v1 metadata: namespace: kube-system name: gateway3 spec: floatingIPs: - 192.168.1.102 status: ... floatingIPs: 192.168.1.102: worker1יוצרים כמה כללי מדיניות שמתייחסים לאובייקטים של השער, כמו
gateway1שנוצר בשלב הקודם:kind: EgressNATPolicy apiVersion: networking.gke.io/v1 metadata: name: egress1 spec: ... gatewayRef: name: gateway1 namespace: kube-system --- kind: EgressNATPolicy apiVersion: networking.gke.io/v1 metadata: name: egress2 spec: ... gatewayRef: name: gateway2 namespace: kube-system --- kind: EgressNATPolicy apiVersion: networking.gke.io/v1 metadata: name: egress3 spec: ... gatewayRef: name: gateway3 namespace: kube-system
(אופציונלי) מציינים את הצמתים שבהם רוצים להציב כתובות IP צפות
NetworkGatewayGroup משאבים תומכים בבוררי צמתים. כדי לציין קבוצת משנה של צמתים שנחשבים לאירוח של כתובת IP צפה, אפשר להוסיף את בורר הצמתים לאובייקט NetworkGatewayGroup, כמו שמוצג בדוגמה הבאה:
kind: NetworkGatewayGroup
apiVersion: networking.gke.io/v1
metadata:
namespace: cluster-cluster1
name: default
spec:
floatingIPs:
- 192.168.1.100
- 192.168.1.101
- 192.168.1.102
nodeSelector:
node-type: "egressNat"
בורר הצמתים מתאים לצמתים שיש להם את התווית שצוינה, ורק הצמתים האלה נלקחים בחשבון לאירוח של כתובת IP צפה. אם מציינים כמה בוררים, הלוגיקה שלהם מצטברת, כך שצומת צריך להתאים לכל תווית כדי שיוכל לארח כתובת IP צפה. אם אין הרבה צמתים עם תוויות תואמות, בורר צמתים יכול להפחית את איכויות הזמינות הגבוהה (HA) של מיקום כתובת ה-IP הצפה.
מעבר מהיר לגיבוי בעת כשל בשער NAT לתעבורת נתונים יוצאת בזמינות גבוהה
באשכולות מגרסה 1.34 ואילך, אפשר להגדיר את שער ה-NAT לתעבורה יוצאת עם יתירות כשל מהירה. אם יש לכם כמה כתובות IP צפות ואתם מגדירים יתירות כשל מהירה, אתם מקבלים תעבורת נתונים יוצאת בזמינות גבוהה. התכונה הזו מספקת חלוקת עומסים טובה יותר לתעבורת נתונים יוצאת (egress), ויתירות כשל מהירה יותר כדי לצמצם את זמן ההשבתה. במקום להסתמך על צומת שער אחד בכל פעם (מצב המתנה פעיל), האשכול מפיץ את התנועה היוצאת בין כמה צומתי שערים וכל כתובות ה-IP הצפות שהוגדרו במשאבNetworkGatewayGroup.
למודל הפעיל-פעיל הזה יש את היתרונות העיקריים הבאים:
חלוקת עומסים: תנועה יוצאת מנקודות קצה שונות של מקורות, כמו Pods, מתפזרת על פני כל צומתי השער הזמינים, מה שמפחית את העומס על כל צומת בודד ומגדיל את רוחב הפס הכולל הזמין לתעבורת נתונים יוצאת.
מעבר מהיר למצב כשל: אם צומת שער תעבורת הנתונים היוצאת נכשל, התנועה מופנית אוטומטית לצמתים התקינים שנותרו. המטרה היא שהתנועה תעבור במהירות למצב של יתירות כשל. החיבורים הקיימים בצומת שנכשל מתנתקים, אבל חיבורים חדשים נוצרים מיד דרך שערים אחרים, וכך זמן ההשבתה מצטמצם.
ההבדלים העיקריים
הגדרת שער ה-NAT לתעבורת נתונים יוצאת ליתירות כשל מהירה משנה את אופן הפעולה של שער ה-NAT לתעבורת נתונים יוצאת:
| יכולת | פעיל-המתנה (ברירת מחדל) | פעיל-פעיל (מעבר מהיר למצב כשל) |
|---|---|---|
| שימוש בכתובת IP צפה | ה-EgressNATPolicy משתמש רק בכתובת ה-IP הצפה הראשונה ב-NetworkGatewayGroup. |
כל כתובות ה-IP הצפות שרשומות ב-NetworkGatewayGroup מפיצות באופן פעיל תעבורת נתונים יוצאת. |
| יתירות כשל | אם צומת השער נכשל, אותה כתובת IP צפה עוברת לצומת אחר, מה שעלול לגרום להפרעה בתנועה. | אם צומת שער נכשל, התנועה מופנית לכתובת IP תקינה אחרת בצומת אחר. חיבורים חדשים מנותבים מיד דרך השערים התקינים, והחיבורים הקיימים עם שמירת מצב בצומת שנכשל מסתיימים. |
| תעבורת נתונים | כל התנועה של מדיניות מסוימת עוברת דרך צומת שער אחד. | התנועה מתפזרת בין כמה צומתי שער על סמך גיבוב עקבי (consistent hashing) של נקודת הקצה של המקור, כמו Pod. |
הגדרת יתירות כשל מהירה
הגדרת התכונה כוללת שני שלבים עיקריים:
ציינו כמה כתובות IP צפות.
כדי ליהנות מהיתרונות של זמינות גבוהה וחלוקת עומסים, מגדירים את
NetworkGatewayGroupעם מאגר של לפחות שתי כתובות IP צפות. שימוש ביותר כתובות IP צפות משפר את האמינות ואת התפוקה של תעבורת הנתונים היוצאת.הנה דוגמה להגדרה:
apiVersion: networking.gke.io/v1 kind: NetworkGatewayGroup metadata: name: egress-gateways namespace: cluster-admin spec: nodeSelector: # Selects nodes that are designated as egress gateways node-role.kubernetes.io/egress: "" floatingIPs: - "192.168.1.100" - "192.168.1.101" - "192.168.1.102"כדי להפעיל מעבר מהיר למצב כשל, מוסיפים את ההערה
networking.gke.io/egressnat-ha: "enable"למשאב בהתאמה אישיתEgressNATPolicy:kind: EgressNATPolicy apiVersion: networking.gke.io/v1 metadata: name: egress annotations: networking.gke.io/egressnat-ha: "enable" spec: ...
כללים לבחירת תנועה יוצאת ומדיניות רשת ב-Kubernetes
שער ה-NAT לתעבורת נתונים יוצאת תואם לממשקי API של מדיניות רשת ב-Kubernetes. מדיניות הרשת ב-Kubernetes נבדקת קודם, והיא מקבלת עדיפות על פני כללי בחירת התנועה של שער ה-NAT לתנועה יוצאת. לדוגמה, אם תעבורת הנתונים היוצאת מפעילה מדיניות רשת ב-Kubernetes שגורמת להשמטת החבילה, הכללים של שער התעבורה היוצאת לא יבדקו את החבילה. רק כשמדיניות רשת ב-Kubernetes מאפשרת את תעבורת הנתונים היוצאת (egress), כללי הבחירה של תעבורת הנתונים היוצאת (egress) נבדקים כדי להחליט איך לטפל בתעבורת הנתונים, באמצעות שער ה-NAT לתעבורת נתונים יוצאת (egress) או ישירות באמצעות הסוואה עם כתובת ה-IP של הצומת שבו פועל ה-Pod.
מגבלות
המגבלות הנוכחיות של שער ה-NAT לתעבורת נתונים יוצאת כוללות:
שער ה-NAT לתעבורת נתונים יוצאת מופעל רק במצב IPv4.
כתובות ה-IP של תעבורת הנתונים היוצאת צריכות להיות באותו דומיין של שכבה 2 עם כתובות ה-IP של הצומת.
אם אתם מגדירים איזון עומסים רגיל של BGP לצד Egress NAT ומשתמשים ב-GKE On-Prem API כדי לנהל את האשכולות (באמצעות Terraform, מסוף Google Cloud או ה-CLI של
gcloud), אין תמיכה בבוררי עמיתים של BGP. היעדר התמיכה הזה עלול לגרום לסשנים של BGP להשתמש באופן אקראי בכתובות IP מקומיות שגויות לצורך התאמה, מה שמוביל לכשל בהתאמה של BGP. כדי לעקוף את הבעיה, אפשר לעיין במאמר הגדרת מאזני עומסים מקובצים באמצעות BGP: מגבלת בורר BGP.