שליטה בתעבורה יוצאת (egress) של Pod באמצעות כללי מדיניות רשת FQDN

בדף הזה מוסבר איך לשלוט בתקשורת היוצאת בין Pods לבין משאבים מחוץ לאשכול Google Kubernetes Engine‏ (GKE) באמצעות שמות דומיינים שמוגדרים במלואם (FQDN). המשאב בהתאמה אישית שמשמש להגדרת שמות FQDN הוא המשאב FQDNNetworkPolicy.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את Google Kubernetes Engine API.
  • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.

דרישות ומגבלות

למשאבים של FQDNNetworkPolicy יש את הדרישות והמגבלות הבאות:

  • האשכול צריך להשתמש ב-GKE Dataplane V2.
    • אתם צריכים להשתמש באחד מספקי ה-DNS באשכול GKE, ‏ kube-dns או Cloud DNS. אין תמיכה בפריסות kube-dns או Core DNS בהתאמה אישית.
  • ‫Google Cloud CLI בגרסה 462.0.0 ואילך.
  • אין תמיכה במאגרי צמתים של Windows.
  • אין תמיכה ב-Cloud Service Mesh.
  • אם יש לכם כתובות IP בתוך הקוד של האפליקציה, השתמשו בשדה IPBlock של NetworkPolicy ב-Kubernetes במקום ב-FQDNNetworkPolicy.
  • תוצאות שמוחזרות על ידי שרתי שמות DNS שלא שייכים לאשכול, כמו שרתי שמות חלופיים ב-resolv.conf, לא נחשבות לתקפות לתכנות ברשימת ההיתרים במישור הנתונים של GKE.
  • המספר המקסימלי של כתובות IP מסוג IPv4 ו-IPv6 ש-FQDNNetworkPolicy יכול לפתור הוא 50.
  • אי אפשר לאפשר תנועה ל-ClusterIP או ל-Headless Service כיעד תנועה יוצאת ב-FQDNNetworkPolicy, כי GKE מתרגם את כתובת ה-IP הווירטואלית (VIP) של השירות לכתובות IP של Pod לקצה העורפי לפני שהוא מעריך את כללי מדיניות הרשת ב-Kubernetes. במקום זאת, צריך להשתמש ב-NetworkPolicy שמבוסס על תוויות של Kubernetes.
  • המכסה המקסימלית היא 100 כתובות IP לכל שם מארח.
  • אין תמיכה בהצפנה שקופה בין צמתים עם מדיניות רשת ב-Kubernetes של FQDN.
  • מדיניות רשת ב-Kubernetes של FQDN שמשתמשת בתבנית, תואמת רק לתת-דומיינים באותה רמה של התו הכללי לחיפוש. לדוגמה, pattern: *.company.com תואם ל-api.company.com או ל-store.company.com, אבל לא ל-eu.api.company.com או ל-company.com.

הפעלת מדיניות רשת ב-Kubernetes עם FQDN

אפשר להפעיל מדיניות רשת ב-Kubernetes עם FQDN באשכול חדש או קיים.

הפעלת מדיניות רשת ב-Kubernetes עם FQDN באשכול חדש

יוצרים את האשכול באמצעות הדגל --enable-fqdn-network-policy:

gcloud container clusters create CLUSTER_NAME  \
    --enable-fqdn-network-policy

מחליפים את CLUSTER_NAME בשם האשכול.

הפעלת מדיניות רשת ב-Kubernetes עם FQDN באשכול קיים

  1. באשכולות Autopilot ו-Standard, מעדכנים את האשכול באמצעות הדגל --enable-fqdn-network-policy:

    gcloud container clusters update CLUSTER_NAME  \
        --enable-fqdn-network-policy
    

    מחליפים את CLUSTER_NAME בשם האשכול.

  2. רק באשכולות Standard, מפעילים מחדש את ה-DaemonSet של GKE Dataplane V2 anetd:

    kubectl rollout restart ds -n kube-system anetd
    

יצירת FQDNNetworkPolicy

  1. שומרים את המניפסט הבא בתור fqdn-network-policy.yaml:

    apiVersion: networking.gke.io/v1alpha1
    kind: FQDNNetworkPolicy
    metadata:
      name: allow-out-fqdnnp
    spec:
      podSelector:
        matchLabels:
          app: curl-client
      egress:
      - matches:
        - pattern: "*.yourdomain.com"
        - name: "www.google.com"
        ports:
        - protocol: "TCP"
          port: 443
    

    למניפסט הזה יש את המאפיינים הבאים:

    • ‫name: www.google.com: שם הדומיין שמוגדר במלואו. מותר להשתמש בכתובות IP שסופקו על ידי שרת השמות שמשויך ל-www.google.com. צריך לציין את name או את pattern, או את שניהם.
    • ‫pattern: "*.yourdomain.com": מותרות כתובות IP שסופקו על ידי שרתי שמות שתואמים לתבנית הזו. אפשר להשתמש בביטויים הרגולריים הבאים למפתח התבנית: ^([a-zA-Z0-9*]([-a-zA-Z0-9_*]*[a-zA-Z0-9*])*\.?)*$. הקריטריונים להתאמה מצטברים. אפשר להשתמש בכמה שדות pattern. צריך לציין את name או את pattern, או את שניהם.
    • ‫protocol: "TCP" ו-port: 443: מציינים פרוטוקול ויציאה. אם Pod מנסה ליצור חיבור לכתובות IP באמצעות השילוב הזה של פרוטוקול ויציאה, תרגום השם פועל, אבל מישור הנתונים חוסם את החיבור היוצא. השדה הזה הוא אופציונלי.
  2. מוודאים שמדיניות הרשת בוחרת את עומסי העבודה:

    kubectl describe fqdnnp
    

    הפלט אמור להיראות כך:

    Name:         allow-out-fqdnnp
    Labels:       <none>
    Annotations:  <none>
    API Version:  networking.gke.io/v1alpha1
    Kind:         FQDNNetworkPolicy
    Metadata:
    ...
    Spec:
      Egress:
        Matches:
          Pattern:  *.yourdomain.com
          Name:     www.google.com
        Ports:
          Port:      443
          Protocol:  TCP
      Pod Selector:
        Match Labels:
          App: curl-client
    Events:     <none>
    

מחיקת FQDNNetworkPolicy

כדי למחוק FQDNNetworkPolicy, משתמשים בפקודה kubectl delete fqdnnp:

kubectl delete fqdnnp FQDN_POLICY_NAME

מחליפים את FQDN_POLICY_NAME בשם של FQDNNetworkPolicy.

‫GKE מוחק את הכללים מאכיפת המדיניות, אבל החיבורים הקיימים נשארים פעילים עד שהם נסגרים בהתאם להנחיות הפרוטוקול הרגיל של conntrack.

איך פועלות כללי מדיניות הרשת של FQDN

FQDNNetworkPolicies הן כללי מדיניות של תעבורת נתונים יוצאת בלבד, שקובעים לאילו נקודות קצה פודים נבחרים יכולים לשלוח תעבורת נתונים. בדומה ל-Kubernetes NetworkPolicy, FQDNNetworkPolicy שבוחר עומס עבודה יוצר כלל דחייה של כל מה שלא מפורש לנקודות קצה שלא צוינו כיעדי תעבורת נתונים יוצאת מותרים. FQDNNetworkPolicies אפשר להשתמש ב-NetworkPolicies עם Kubernetes, כמו שמתואר במאמרים FQDNNetworkPolicy ו-NetworkPolicy.

FQDNNetworkPolicies נאכפים ברמת כתובת ה-IP והיציאה. הם לא נאכפים באמצעות מידע על פרוטוקול שכבה 7 (למשל, Request-URI בבקשת HTTP). שמות הדומיינים שצוינו מתורגמים לכתובות IP באמצעות פרטי ה-DNS שסופקו על ידי ספק ה-DNS של אשכול GKE.

בקשות DNS

FQDNNetworkPolicy פעיל שבוחר עומסי עבודה לא משפיע על היכולת של עומסי העבודה לשלוח בקשות DNS. פקודות כמו nslookup או dig פועלות בכל הדומיינים בלי להיות מושפעות מהמדיניות. עם זאת, בקשות עוקבות לכתובת ה-IP שמגבה דומיינים שלא נמצאים ברשימת ההיתרים יידחו.

לדוגמה, אם FQDNNetworkPolicy מאפשר תעבורת נתונים יוצאת אל www.github.com, אז בקשות DNS לכל הדומיינים מותרות, אבל תעבורת נתונים שנשלחת לכתובת IP שמגבה את twitter.com נמחקת.

תפוגת TTL

‫FQDNNetworkPolicy מכבד את ה-TTL שסופק על ידי רשומת DNS. אם Pod מנסה ליצור קשר עם כתובת IP שפג תוקפה אחרי שחלף ה-TTL של רשומת ה-DNS, החיבורים החדשים נדחים. חיבורים ארוכי טווח שמשך הזמן שלהם חורג מה-TTL של רשומת ה-DNS לא אמורים לחוות שיבושים בתנועה כל עוד conntrack מחשיב את החיבור כפעיל.

‫FQDNNetworkPolicy ו-NetworkPolicy

כשגם FQDNNetworkPolicy וגם NetworkPolicy חלים על אותו Pod, כלומר התוויות של ה-Pod תואמות למה שמוגדר בכללי המדיניות, תנועת הנתונים היוצאת מותרת כל עוד היא תואמת לאחד מכללי המדיניות. אין היררכיה בין NetworkPolicies של תעבורת נתונים יוצאת שמציין כתובות IP או בוררי תוויות לבין FQDNNetworkPolicies.

נקודות קצה (endpoints) של כתובות IP משותפות (מאזני עומסים, CDN, שער VPN וכו')

להרבה דומיינים אין כתובות IP ייעודיות, והם חשופים באמצעות כתובות IP משותפות. זה קורה בעיקר כשהאפליקציה מוגשת על ידי מאזן עומסים או CDN. לדוגמה, לממשקי API שלGoogle Cloud (כמו compute.googleapis.com,‏ container.googleapis.com וכו') אין כתובות IP ייחודיות לכל API. במקום זאת, כל ממשקי ה-API נחשפים באמצעות טווח משותף.

כשמגדירים את FQDNNetworkPolicies, חשוב לבדוק אם הדומיינים המורשים משתמשים בכתובות IP ייעודיות או בכתובות IP משותפות. מכיוון שFQDNNetworkPolicies נאכפים ברמת כתובת ה-IP והיציאה, הם לא יכולים להבחין בין כמה דומיינים שמוצגים על ידי אותה כתובת IP. אם תאפשרו גישה לדומיין שמגובה בכתובת IP משותפת, ה-Pod שלכם יוכל לתקשר עם כל הדומיינים האחרים שכתובת ה-IP הזו משרתת. לדוגמה, אם מאפשרים תעבורת נתונים לדומיין compute.googleapis.com, ה-Pod יכול לתקשר גם עם ממשקי API אחרים של Google Cloud שמשתמשים באותן כתובות IP.

מצד שני, אל תסתמכו על כתובות IP משותפות כדי להגיע לדומיינים שלא כלולים במדיניות שלכם. ספריות לקוח יוצרות קשר לעיתים קרובות עם תת-דומיינים של אימות (כמו sts.googleapis.com,‏ oauth2.googleapis.com או iamcredentials.googleapis.com) לפני שהן קוראות ל-API יעד כמו bigquery.googleapis.com. אם המדיניות כוללת רק את ה-API של היעד, בקשות לתת-הדומיין לאימות פועלות רק כששני הדומיינים מפנים לאותן כתובות IP, והן נכשלות מדי פעם או מפסיקות לפעול כשמשתנות התגובות של ה-DNS או המיפויים של כתובות ה-IP. מפרטים את כל הדומיינים הנדרשים ב-FQDNNetworkPolicy (בודקים את נקודות הקצה הנדרשות במסמכי התיעוד של שירות היעד), ומזהים חיבורים יוצאים שנדחו באמצעות רישום ביומן של מדיניות הרשת ב-Kubernetes או תצפית על GKE Dataplane V2.

מעקב אחרי CNAME

אם אובייקט ה-FQDN ב-FQDNNetworkPolicy כולל דומיין שיש לו רשומות CNAME ברשומת ה-DNS, צריך להגדיר ב-FQDNNetworkPolicy את כל שמות הדומיינים שה-Pod יכול לשלוח אליהם שאילתות ישירות, כולל כל השמות החלופיים הפוטנציאליים, כדי להבטיח התנהגות אמינה של FQDNNetworkPolicy.

אם ה-Pod שולח שאילתה אל example.com, צריך לכתוב example.com בכלל. גם אם תקבלו שרשרת של שמות סודיים משרתי ה-DNS במעלה הזרם (למשל example.com ל-example.cdn.com ל-1.2.3.4), מדיניות הרשת ב-Kubernetes של ה-FQDN עדיין תאפשר לתנועה לעבור.

המאמרים הבאים