בדף הזה מוסבר איך לשלוט בתקשורת היוצאת בין Pods לבין משאבים מחוץ לאשכול Google Kubernetes Engine (GKE) באמצעות שמות דומיינים שמוגדרים במלואם (FQDN). המשאב בהתאמה אישית שמשמש להגדרת שמות FQDN הוא המשאב FQDNNetworkPolicy.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:
- מפעילים את Google Kubernetes Engine API. הפעלת Google Kubernetes Engine API
- כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה
gcloud components updateכדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.
דרישות ומגבלות
למשאבים של FQDNNetworkPolicy יש את הדרישות והמגבלות הבאות:
- האשכול צריך להשתמש ב-GKE Dataplane V2.
- אתם צריכים להשתמש באחד מספקי ה-DNS באשכול GKE, kube-dns או Cloud DNS. אין תמיכה בפריסות kube-dns או Core DNS בהתאמה אישית.
- Google Cloud CLI בגרסה 462.0.0 ואילך.
- אין תמיכה במאגרי צמתים של Windows.
- אין תמיכה ב-Cloud Service Mesh.
- אם יש לכם כתובות IP בתוך הקוד של האפליקציה, השתמשו בשדה
IPBlockשלNetworkPolicyב-Kubernetes במקום ב-FQDNNetworkPolicy. - תוצאות שמוחזרות על ידי שרתי שמות DNS שלא שייכים לאשכול, כמו שרתי שמות חלופיים ב-
resolv.conf, לא נחשבות לתקפות לתכנות ברשימת ההיתרים במישור הנתונים של GKE. - המספר המקסימלי של כתובות IP מסוג IPv4 ו-IPv6 ש-
FQDNNetworkPolicyיכול לפתור הוא 50. - אי אפשר לאפשר תנועה ל-ClusterIP או ל-Headless Service כיעד תנועה יוצאת ב-
FQDNNetworkPolicy, כי GKE מתרגם את כתובת ה-IP הווירטואלית (VIP) של השירות לכתובות IP של Pod לקצה העורפי לפני שהוא מעריך את כללי מדיניות הרשת ב-Kubernetes. במקום זאת, צריך להשתמש ב-NetworkPolicyשמבוסס על תוויות של Kubernetes. - המכסה המקסימלית היא 100 כתובות IP לכל שם מארח.
- אין תמיכה בהצפנה שקופה בין צמתים עם מדיניות רשת ב-Kubernetes של FQDN.
- מדיניות רשת ב-Kubernetes של FQDN שמשתמשת בתבנית, תואמת רק לתת-דומיינים באותה רמה של התו הכללי לחיפוש. לדוגמה,
pattern: *.company.comתואם ל-api.company.comאו ל-store.company.com, אבל לא ל-eu.api.company.comאו ל-company.com.
הפעלת מדיניות רשת ב-Kubernetes עם FQDN
אפשר להפעיל מדיניות רשת ב-Kubernetes עם FQDN באשכול חדש או קיים.
הפעלת מדיניות רשת ב-Kubernetes עם FQDN באשכול חדש
יוצרים את האשכול באמצעות הדגל --enable-fqdn-network-policy:
gcloud container clusters create CLUSTER_NAME \
--enable-fqdn-network-policy
מחליפים את CLUSTER_NAME בשם האשכול.
הפעלת מדיניות רשת ב-Kubernetes עם FQDN באשכול קיים
באשכולות Autopilot ו-Standard, מעדכנים את האשכול באמצעות הדגל
--enable-fqdn-network-policy:gcloud container clusters update CLUSTER_NAME \ --enable-fqdn-network-policyמחליפים את
CLUSTER_NAMEבשם האשכול.רק באשכולות Standard, מפעילים מחדש את ה-DaemonSet של GKE Dataplane V2
anetd:kubectl rollout restart ds -n kube-system anetd
יצירת FQDNNetworkPolicy
שומרים את המניפסט הבא בתור
fqdn-network-policy.yaml:apiVersion: networking.gke.io/v1alpha1 kind: FQDNNetworkPolicy metadata: name: allow-out-fqdnnp spec: podSelector: matchLabels: app: curl-client egress: - matches: - pattern: "*.yourdomain.com" - name: "www.google.com" ports: - protocol: "TCP" port: 443למניפסט הזה יש את המאפיינים הבאים:
-
name: www.google.com: שם הדומיין שמוגדר במלואו. מותר להשתמש בכתובות IP שסופקו על ידי שרת השמות שמשויך ל-www.google.com. צריך לציין אתnameאו אתpattern, או את שניהם. -
pattern: "*.yourdomain.com": מותרות כתובות IP שסופקו על ידי שרתי שמות שתואמים לתבנית הזו. אפשר להשתמש בביטויים הרגולריים הבאים למפתח התבנית:^([a-zA-Z0-9*]([-a-zA-Z0-9_*]*[a-zA-Z0-9*])*\.?)*$. הקריטריונים להתאמה מצטברים. אפשר להשתמש בכמה שדותpattern. צריך לציין אתnameאו אתpattern, או את שניהם. -
protocol: "TCP"ו-port: 443: מציינים פרוטוקול ויציאה. אם Pod מנסה ליצור חיבור לכתובות IP באמצעות השילוב הזה של פרוטוקול ויציאה, תרגום השם פועל, אבל מישור הנתונים חוסם את החיבור היוצא. השדה הזה הוא אופציונלי.
-
מוודאים שמדיניות הרשת בוחרת את עומסי העבודה:
kubectl describe fqdnnpהפלט אמור להיראות כך:
Name: allow-out-fqdnnp Labels: <none> Annotations: <none> API Version: networking.gke.io/v1alpha1 Kind: FQDNNetworkPolicy Metadata: ... Spec: Egress: Matches: Pattern: *.yourdomain.com Name: www.google.com Ports: Port: 443 Protocol: TCP Pod Selector: Match Labels: App: curl-client Events: <none>
מחיקת FQDNNetworkPolicy
כדי למחוק FQDNNetworkPolicy, משתמשים בפקודה kubectl delete fqdnnp:
kubectl delete fqdnnp FQDN_POLICY_NAME
מחליפים את FQDN_POLICY_NAME בשם של FQDNNetworkPolicy.
GKE מוחק את הכללים מאכיפת המדיניות, אבל החיבורים הקיימים נשארים פעילים עד שהם נסגרים בהתאם להנחיות הפרוטוקול הרגיל של conntrack.
איך פועלות כללי מדיניות הרשת של FQDN
FQDNNetworkPolicies הן כללי מדיניות של תעבורת נתונים יוצאת בלבד, שקובעים לאילו נקודות קצה פודים נבחרים יכולים לשלוח תעבורת נתונים. בדומה ל-Kubernetes NetworkPolicy, FQDNNetworkPolicy שבוחר עומס עבודה יוצר כלל דחייה של כל מה שלא מפורש לנקודות קצה שלא צוינו כיעדי תעבורת נתונים יוצאת מותרים. FQDNNetworkPolicies
אפשר להשתמש ב-NetworkPolicies עם Kubernetes, כמו שמתואר במאמרים FQDNNetworkPolicy
ו-NetworkPolicy.
FQDNNetworkPolicies נאכפים ברמת כתובת ה-IP והיציאה. הם לא נאכפים באמצעות מידע על פרוטוקול שכבה 7 (למשל, Request-URI בבקשת HTTP). שמות הדומיינים שצוינו מתורגמים לכתובות IP באמצעות פרטי ה-DNS שסופקו על ידי ספק ה-DNS של אשכול GKE.
בקשות DNS
FQDNNetworkPolicy פעיל שבוחר עומסי עבודה לא משפיע על היכולת של עומסי העבודה לשלוח בקשות DNS. פקודות כמו nslookup או dig פועלות בכל הדומיינים בלי להיות מושפעות מהמדיניות. עם זאת, בקשות עוקבות לכתובת ה-IP שמגבה דומיינים שלא נמצאים ברשימת ההיתרים יידחו.
לדוגמה, אם FQDNNetworkPolicy מאפשר תעבורת נתונים יוצאת אל www.github.com, אז בקשות DNS לכל הדומיינים מותרות, אבל תעבורת נתונים שנשלחת לכתובת IP שמגבה את twitter.com נמחקת.
תפוגת TTL
FQDNNetworkPolicy מכבד את ה-TTL שסופק על ידי רשומת DNS. אם Pod מנסה ליצור קשר עם כתובת IP שפג תוקפה אחרי שחלף ה-TTL של רשומת ה-DNS, החיבורים החדשים נדחים. חיבורים ארוכי טווח שמשך הזמן שלהם חורג מה-TTL של רשומת ה-DNS לא אמורים לחוות שיבושים בתנועה כל עוד conntrack מחשיב את החיבור כפעיל.
FQDNNetworkPolicy ו-NetworkPolicy
כשגם FQDNNetworkPolicy וגם NetworkPolicy חלים על אותו Pod, כלומר התוויות של ה-Pod תואמות למה שמוגדר בכללי המדיניות, תנועת הנתונים היוצאת מותרת כל עוד היא תואמת לאחד מכללי המדיניות. אין היררכיה בין NetworkPolicies של תעבורת נתונים יוצאת שמציין כתובות IP או בוררי תוויות לבין FQDNNetworkPolicies.
נקודות קצה (endpoints) של כתובות IP משותפות (מאזני עומסים, CDN, שער VPN וכו')
להרבה דומיינים אין כתובות IP ייעודיות, והם חשופים באמצעות כתובות IP משותפות. זה קורה בעיקר כשהאפליקציה מוגשת על ידי מאזן עומסים או CDN. לדוגמה, לממשקי API שלGoogle Cloud (כמו compute.googleapis.com, container.googleapis.com וכו') אין כתובות IP ייחודיות לכל API.
במקום זאת, כל ממשקי ה-API נחשפים באמצעות טווח משותף.
כשמגדירים את FQDNNetworkPolicies, חשוב לבדוק אם הדומיינים המורשים משתמשים בכתובות IP ייעודיות או בכתובות IP משותפות. מכיוון שFQDNNetworkPolicies נאכפים ברמת כתובת ה-IP והיציאה, הם לא יכולים להבחין בין כמה דומיינים שמוצגים על ידי אותה כתובת IP. אם תאפשרו גישה לדומיין שמגובה בכתובת IP משותפת, ה-Pod שלכם יוכל לתקשר עם כל הדומיינים האחרים שכתובת ה-IP הזו משרתת. לדוגמה, אם מאפשרים תעבורת נתונים לדומיין compute.googleapis.com, ה-Pod יכול לתקשר גם עם ממשקי API אחרים של Google Cloud שמשתמשים באותן כתובות IP.
מצד שני, אל תסתמכו על כתובות IP משותפות כדי להגיע לדומיינים שלא כלולים במדיניות שלכם. ספריות לקוח יוצרות קשר לעיתים קרובות עם תת-דומיינים של אימות (כמו sts.googleapis.com, oauth2.googleapis.com או iamcredentials.googleapis.com) לפני שהן קוראות ל-API יעד כמו bigquery.googleapis.com. אם המדיניות כוללת רק את ה-API של היעד, בקשות לתת-הדומיין לאימות פועלות רק כששני הדומיינים מפנים לאותן כתובות IP, והן נכשלות מדי פעם או מפסיקות לפעול כשמשתנות התגובות של ה-DNS או המיפויים של כתובות ה-IP. מפרטים את כל הדומיינים הנדרשים ב-FQDNNetworkPolicy (בודקים את נקודות הקצה הנדרשות במסמכי התיעוד של שירות היעד), ומזהים חיבורים יוצאים שנדחו באמצעות רישום ביומן של מדיניות הרשת ב-Kubernetes או תצפית על GKE Dataplane V2.
מעקב אחרי CNAME
אם אובייקט ה-FQDN ב-FQDNNetworkPolicy כולל דומיין שיש לו רשומות CNAME ברשומת ה-DNS, צריך להגדיר ב-FQDNNetworkPolicy את כל שמות הדומיינים שה-Pod יכול לשלוח אליהם שאילתות ישירות, כולל כל השמות החלופיים הפוטנציאליים, כדי להבטיח התנהגות אמינה של FQDNNetworkPolicy.
אם ה-Pod שולח שאילתה אל example.com, צריך לכתוב example.com בכלל. גם אם תקבלו שרשרת של שמות סודיים משרתי ה-DNS במעלה הזרם (למשל example.com ל-example.cdn.com ל-1.2.3.4), מדיניות הרשת ב-Kubernetes של ה-FQDN עדיין תאפשר לתנועה לעבור.