שליטה בתקשורת ברמת האשכול באמצעות מדיניות רשת

בדף הזה מוסבר איך להגדיר מדיניות רשת ב-Kubernetes ברמת האשכול ב-Google Kubernetes Engine‏ (GKE).

מדיניות רשת ב-Kubernetes ומדיניות רשת של FQDN עוזרות להגדיר כללים לתעבורת נתונים בין Pods. מדיניות הרשת קובעת איך פודים מתקשרים זה עם זה בתוך האפליקציות שלהם ועם נקודות קצה חיצוניות.

כמנהלי אשכולות, אתם יכולים להגדיר מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול (CCNP), שמתגברת על המגבלות של מדיניות הרשת ב-Kubernetes בניהול התעבורה ברמת האשכול. כללי מדיניות רשת ב-Cilium ברמת האשכול אוכפים כללי רשת על כל עומסי העבודה באשכול כולו. בהיררכיית הערכת המדיניות של GKE, כללי המדיניות האלה נמצאים ברמה NetworkPolicy. למרות שכללי Deny מפורשים ב-CCNP מבטלים כללי allow במדיניות ברמת מרחב השמות, לכללי Allow ב-CCNP יש אותה קדימות כמו למדיניות רגילה ברמת מרחב השמות. כל הכללים של CCNP כפופים למדיניות ברמת האדמין.

מדיניות הרשת של Cilium ברמת האשכול ב-GKE היא הגדרת משאב בהתאמה אישית (CRD) ברמת האשכול, שמציינת את כללי המדיניות שנאכפים על ידי GKE. כשמפעילים ב-GKE את מדיניות הרשת של Cilium ברמת האשכול, אפשר לנהל באופן מרכזי את כללי הרשת של כל האשכול. אתם יכולים לשלוט בגישה הבסיסית של שכבה 3 (רמת IP) ושכבה 4 (רמת יציאה) לתעבורת נתונים שנכנסת לאשכול ויוצאת ממנו.

יתרונות

בעזרת מדיניות רשת ב-Kubernetes של Cilium ברמת האשכול, אתם יכולים:

  • אכיפת אבטחה מרכזית: באמצעות CCNP, אתם יכולים להגדיר כללי גישה לרשת שחלים על כל האשכול. אם הכללים האלה הם כללי דחייה מפורשים, הם מבטלים כל מדיניות שעלולה להתנגש איתם ברמת מרחב השמות. כללי Allow של CCNP נמצאים באותה רמה כמו כללי המדיניות הרגילים של מרחב השמות. למנדטים, צריך להשתמש ברמת האדמין ב-ClusterNetworkPolicy.
  • הגנה על ריבוי דיירים: אם באשכול שלכם מתארחים כמה צוותים או דיירים, אתם יכולים לאבטח את הבידוד בתוך אשכול משותף על ידי הטמעת כללי CCNP, שמתמקדים בבקרת התנועה ברשת. כדי לאכוף הפרדה ברמת הרשת, אפשר להקצות מרחבי שמות או קבוצות של מרחבי שמות לצוותים ספציפיים.
  • הגדרת כללי מדיניות גמישים כברירת מחדל: באמצעות CCNP, אתם יכולים להגדיר כללי רשת כברירת מחדל לכל האשכול. אתם יכולים להתאים אישית את הכללים האלה לפי הצורך בלי לפגוע באבטחה הכוללת של האשכול.

כדי להטמיע את CCNP, צריך להפעיל את GKE Dataplane V2 באשכול. מוודאים שההגדרה CustomResourceDefinition של CCNP מופעלת, ואז יוצרים כללי מדיניות שמגדירים את כללי הגישה לרשת של האשכול.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את Google Kubernetes Engine API.
  • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שבגרסאות קודמות של ה-CLI של gcloud אי אפשר להריץ את הפקודות שבמסמך הזה.

דרישות

אלה הדרישות של כללי מדיניות הרשת ברמת האשכול של Cilium:

  • גרסה 465.0.0 ומעלה של Google Cloud CLI.
  • האשכול צריך להשתמש ב-GKE Dataplane V2.
  • צריך להפעיל את CustomResourceDefinition של מדיניות הרשת ב-Kubernetes ברמת האשכול של Cilium.

מגבלות

לכללי מדיניות הרשת של Cilium ברמת האשכול יש את המגבלות הבאות:

  • אין תמיכה בכללי מדיניות של שכבה 7.
  • אין תמיכה בבוררי צמתים.
  • המספר המקסימלי של CiliumClusterwideNetworkPolicy לכל אשכול הוא 1,000.

הפעלת מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול באשכול חדש

כדי להפעיל מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול באשכול חדש, אפשר להשתמש ב-Google Cloud CLI או ב-Kubernetes Engine API.

gcloud

כדי להפעיל מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול באשכול חדש, יוצרים אשכול חדש עם הדגל --enable-cilium-clusterwide-network-policy.

Autopilot

gcloud container clusters create-auto CLUSTER_NAME \
    --location COMPUTE_LOCATION \
    --enable-cilium-clusterwide-network-policy

מחליפים את מה שכתוב בשדות הבאים:

  • CLUSTER_NAME בשם של האשכול.
  • ‫COMPUTE_LOCATION במיקום של האשכול.

רגילה

gcloud container clusters create CLUSTER_NAME \
    --location COMPUTE_LOCATION \
    --enable-cilium-clusterwide-network-policy \
    --enable-dataplane-v2

מחליפים את מה שכתוב בשדות הבאים:

  • CLUSTER_NAME בשם של האשכול.
  • ‫COMPUTE_LOCATION במיקום של האשכול.

API

כדי להפעיל את מדיניות רשת ב-Kubernetes של Cilium ברמת האשכול, צריך לציין את האפשרויות הבאות כשיוצרים אשכול חדש:

השדה datapathProvider באובייקט networkConfig.

{
  "cluster": {
    ...
    "networkConfig": {
      "datapathProvider": "ADVANCED_DATAPATH",
      "enableCiliumClusterwideNetworkPolicy": true
    }
  }
}

מוודאים ש-ciliumclusterwidenetworkpolicies.cilium.io CustomResourceDefinition מופיע בפלט של הפקודה הבאה:

kubectl get crds ciliumclusterwidenetworkpolicies.cilium.io

הפלט אמור להיראות כך:

ciliumclusterwidenetworkpolicies.cilium.io     2023-09-19T16:54:48Z

הפעלת מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול באשכול קיים

כדי להפעיל מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול באשכול קיים, אפשר להשתמש ב-Google Cloud CLI או ב-Kubernetes Engine API.

gcloud

  1. מוודאים שGKE Dataplane V2 מופעל באשכול.

    gcloud container clusters describe CLUSTER_NAME \
        --location COMPUTE_LOCATION \
        --format="value(networkConfig.datapathProvider)" \
    

    מחליפים את מה שכתוב בשדות הבאים:

    • CLUSTER_NAME בשם של האשכול.
    • ‫COMPUTE_LOCATION במיקום של האשכול.
  2. מעדכנים את האשכול באמצעות הדגל --enable-cilium-clusterwide-network-policy.

    gcloud container clusters update CLUSTER_NAME \
        --location COMPUTE_LOCATION \
        --enable-cilium-clusterwide-network-policy
    
  3. מפעילים מחדש את DaemonSet של anetd.

    kubectl rollout restart ds -n kube-system anetd && \
        kubectl rollout status ds -n kube-system anetd
    

API

מוודאים שהאשכול מופעל ל-GKE Dataplane V2:

{
  "update": {
    "desiredEnableCiliumClusterwideNetworkPolicy": true
  },
  "name": "cluster"
}
To update an existing cluster, run the following update cluster command:
{
  "update": {
    "desiredEnableCiliumClusterwideNetworkPolicy": true
  }
  "name": "cluster"
}

מוודאים שה-CustomResourceDefinition של ciliumclusterwidenetworkpolicies.cilium.io מופיע בפלט של הפקודה הבאה:

kubectl get crds ciliumclusterwidenetworkpolicies.cilium.io

הפלט אמור להיראות כך:

ciliumclusterwidenetworkpolicies.cilium.io     2023-09-19T16:54:48Z

שימוש במדיניות רשת ב-Cilium ברמת האשכול

בקטע הזה מפורטות דוגמאות להגדרת מדיניות רשת ב-Cilium ברמת האשכול.

דוגמה 1: שליטה בתעבורת הנתונים הנכנסת (ingress) לעומס עבודה

בדוגמה הבאה, כל נקודות הקצה עם התווית role=backend יכולות לקבל חיבורי Ingress ביציאה 80 מנקודות קצה עם התווית role=frontend. נקודות קצה עם התווית role=backend ידחו את כל החיבורים הנכנסים שלא מורשים לפי המדיניות הזו.

  1. שומרים את המניפסט הבא בתור l4-rule-ingress.yaml:

    apiVersion: "cilium.io/v2"
    kind: CiliumClusterwideNetworkPolicy
    metadata:
      name: "l4-rule-ingress"
    spec:
      endpointSelector:
        matchLabels:
          role: backend
      ingress:
        - fromEndpoints:
            - matchLabels:
                role: frontend
          toPorts:
            - ports:
                - port: "80"
                  protocol: TCP
    
  2. מחילים את המניפסט:

    kubectl apply -f l4-rule-ingress.yaml
    

דוגמה 2: הגבלת תעבורת נתונים יוצאת (egress) מעומס עבודה ביציאה נתונה

הכלל הבא מגביל את כל נקודות הקצה עם התווית app=myService כך שיוכלו לשלוח חבילות רק באמצעות TCP ביציאה 80, לכל יעד בשכבה 3:

  1. שומרים את המניפסט הבא בתור l4-rule-egress.yaml:

    apiVersion: "cilium.io/v2"
    kind: CiliumClusterwideNetworkPolicy
    metadata:
      name: "l4-rule-egress"
    spec:
      endpointSelector:
        matchLabels:
          app: myService
      egress:
        - toPorts:
            - ports:
                - port: "80"
                  protocol: TCP
    
  2. מחילים את המניפסט:

    kubectl apply -f l4-rule-egress.yaml
    

דוגמה 3: הגבלת תעבורת נתונים יוצאת מעומס עבודה ביציאה וב-CIDR נתונים

בדוגמה הבאה, כל נקודות הקצה עם התווית role=crawler יכולות לשלוח חבילות רק ביציאה 80, בפרוטוקולי TCP, ל-CIDR של היעד 192.10.2.0/24.

  1. שומרים את המניפסט הבא בתור cidr-l4-rule.yaml:

     apiVersion: "cilium.io/v2"
     kind: CiliumClusterwideNetworkPolicy
     metadata:
       name: "cidr-l4-rule"
     spec:
       endpointSelector:
         matchLabels:
           role: crawler
       egress:
         - toCIDR:
             - 192.0.2.0/24
           toPorts:
             - ports:
                 - port: "80"
                   protocol: TCP
    
  2. מחילים את המניפסט:

    kubectl apply -f cidr-l4-rule.yaml
    

מעקב ופתרון בעיות בתנועה ברשת

אתם יכולים לעקוב אחרי תנועת הנתונים ברשת שמושפעת ממדיניות רשת ב-Kubernetes של Cilium ברמת האשכול, ולפתור בעיות שקשורות אליה, באמצעות רישום ביומן של מדיניות הרשת וניראות (observability) של GKE Dataplane V2.

ניסיון להשתמש בכללי מדיניות של שכבה 7 או בבוררי צמתים

תסמין

אם אתם משתמשים ב-GKE עם GKE Dataplane V2 ומנסים להגדיר כללי מדיניות CCNP שכוללים כללים של שכבה 7 (לדוגמה: סינון HTTP) ובוררי צמתים, יכול להיות שתופיע הודעת שגיאה דומה לזו:

שגיאה

Error from server (GKE Warden constraints violations): error when creating
"ccnp.yaml": admission webhook
"warden-validating.common-webhooks.networking.gke.io" denied the request: GKE
Warden rejected the request because it violates one or more constraints.
Violations details: {"[denied by gke-cilium-network-policy-limitation]":["L7
rules are not allowed in CiliumClusterwideNetworkPolicy"]} Requested by user:
'user@example.com', groups: 'system:authenticated'.

סיבה אפשרית

ל-GKE יש מגבלות ספציפיות על CCNPs. מדיניות שכבה 7, שמאפשרת סינון על סמך נתונים ברמת האפליקציה (כמו כותרות HTTP), ובוררי צמתים לא נתמכים בשילוב של Cilium ב-GKE.

רזולוציה

אם אתם צריכים יכולות סינון מתקדמות של שכבה 7 באשכול GKE, כדאי להשתמש ב-Cloud Service Mesh. כך אפשר לשלוט בתנועה ברמת האפליקציה בצורה מפורטת יותר.

מדיניות רשת ב-Kubernetes של Cilium ברמת האשכול לא מופעלת

תסמין

אם תנסו להגדיר מדיניות רשת ב-Kubernetes ברמת האשכול של Cilium‏ (CCNP) באשכול שבו התכונה לא הופעלה באופן מפורש, לא תוכלו להגדיר אותה ויכול להיות שתופיע הודעת שגיאה דומה לזו:

שגיאה

error: resource mapping not found for name: "l4-rule" namespace: "" from
"ccnp.yaml": no matches for kind "CiliumClusterwideNetworkPolicy" in version
"cilium.io/v2" ensure CRDs are installed first

סיבה אפשרית

כללי מדיניות רשת ב-Kubernetes של Cilium ברמת האשכול מסתמכים על הגדרת משאב בהתאמה אישית (CRD). הודעת השגיאה מציינת שחסר CustomResourceDefinition באשכול.

רזולוציה

לפני שמשתמשים ב-CCNP, צריך להפעיל את CustomResourceDefinition של מדיניות רשת ב-Kubernetes ב-Cilium ברמת האשכול.

המאמרים הבאים