איזון עומסים בחבילה עם MetalLB

במאמר הזה מוסבר איך להגדיר את Google Distributed Cloud לשימוש באיזון עומסים בחבילה עם מאזן העומסים MetalLB. המסמך הזה מיועד למומחי רשתות שמתכננים ומעצבים את הרשת של הארגון שלהם, ומתקינים, מגדירים ותומכים בציוד הרשת. במאמר תפקידים ומשימות נפוצים של משתמשי GKE מפורט מידע נוסף על תפקידים נפוצים ומשימות לדוגמה שאנחנו מתייחסים אליהם בתוכן של Google Cloud.

ב-Google Distributed Cloud, ‏MetalLB פועל במצב שכבה 2.

דוגמה להגדרה של MetalLB

דוגמה להגדרה של אשכולות שמריצים את מאזן העומסים MetalLB:

הגדרת מאזן העומסים של MetalLB.
הגדרת מאזן העומסים MetalLB

בתרשים הקודם מוצג פריסה של MetalLB. ‫MetalLB פועל ישירות בצומתי האשכול. בדוגמה הזו, אשכול האדמין ואשכול המשתמש נמצאים בשתי רשתות VLAN נפרדות, וכל אשכול נמצא ברשת משנה נפרדת:

אשכול תת-רשת
אשכול אדמין 172.16.20.0/24
אשכול משתמשים 172.16.40.0/24

admin-cluster.yaml

החלק הבא של קובץ התצורה של אשכול האדמין מציג את התצורה שמופיעה בתרשים הקודם של:

  • מישור בקרה עם זמינות גבוהה

  • מאזן עומסים של MetalLB

  • כתובת VIP ב-MetalLB לשרת Kubernetes API של אשכול האדמין

network:
  ...
  controlPlaneIPBlock:
    netmask: "255.255.255.0"
    gateway: "172.16.20.1"
    ips:
    - ip: "172.16.20.50"
      hostname: "admin-cp-1"
    - ip: "172.16.20.51"
      hostname: "admin-cp-2"
    - ip: "172.16.20.52"
      hostname: "admin-cp-3"
loadBalancer:
  kind: "MetalLB"
  ...
  vips:
    controlPlaneVIP: "172.16.20.100"
...
adminMaster:
  cpus: 4
  memoryMB: 16384
  replicas: 3

user-cluster.yaml

החלק הבא של קובץ תצורה של אשכול משתמש מציג את ההגדרה של:

  • מאגר כתובות שממנו בקר MetalLB יכול לבחור ולהקצות לשירותים מסוג LoadBalancer. כתובת ה-VIP של תעבורת הנתונים הנכנסת נמצאת במאגר הזה.

  • ‫VIP שמיועד לשרת ה-API של Kubernetes באשכול המשתמש, ו-VIP של Ingress שבחרתם להגדיר לשרת ה-proxy של Ingress.

  • מאגר צמתים שמופעל בו שימוש ב-MetalLB. ‫MetalLB ייפרס בצמתים במאגר הצמתים הזה.

enableControlplaneV2: true
...
network:
  hostConfig:
  ...

  ipMode:
    type: "static"
    ipBlockFilePath: "config-folder/user-cluster-ipblock.yaml"
...
  controlPlaneIPBlock:
    netmask: "255.255.255.0"
    gateway: "172.16.40.1"
    ips:
    - ip: "172.16.40.21"
      hostname: "user-cp"
loadBalancer:
  kind: MetalLB
  metalLB:
    addressPools:
    - name: "address-pool-1"
      addresses:
      - "172.16.40.101-172.16.40.112
      avoidBuggyIPs: true
  ...

  vips:
    controlPlaneVIP: "172.16.20.100"
    ingressVIP: "172.16.40.101"
...
nodePools:
- name: "node-pool-1"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true

ההגדרה בדוגמה הקודמת מציינת קבוצה של כתובות שזמינות לשירותים. כשמפתח אפליקציה יוצר שירות מסוג LoadBalancer באשכול המשתמש, בקר MetalLB בוחר כתובת IP מהמאגר הזה.

user-cluster-ipblock.yaml

בדוגמה הבאה של קובץ בלוק IP מוצג הייעוד של כתובות ה-IP לצומתי העובדים באשכול המשתמש. הטווח הזה כולל כתובת IP נוספת לשימוש במהלך שדרוגים, עדכונים ותיקונים אוטומטיים של האשכול.

blocks:
- netmask: "255.255.255.0"
  gateway: "17.16.40.1"
  ips:
  - ip: 172.16.40.22
    hostname: user-vm-1
  - ip: 172.16.40.23
    hostname: user-vm-2
  - ip: 172.16.40.24
    hostname: user-vm-3
  - ip: 172.16.40.25
    hostname: user-vm-4
  - ip: 172.16.40.26
    hostname: user-vm-5
  - ip: 172.16.40.27
    hostname: user-vm-6

הגדרת MetalLB

פתיחת יציאות של חומת אש

‫MetalLB משתמש בספריית Go memberlist כדי לבחור את ה-leader. הספרייה memberlist משתמשת ביציאת TCP‏ 7946 וביציאת UDP‏ 7946 כדי להחליף מידע. חשוב לוודא שהיציאות האלה נגישות לתנועה נכנסת ויוצאת בכל הצמתים של מאזן העומסים.

הפעלת MetalLB לאשכול אדמין חדש

בקובץ התצורה של אשכול האדמין, מגדירים את loadBalancer.kind ל-"MetalLB".

loadBalancer:
  kind: "MetalLB"

ממלאים את שאר קובץ התצורה של אשכול האדמין ויוצרים את אשכול האדמין, כמו שמתואר במאמר יצירת אשכול אדמין.

ציון מאגרי כתובות

הבקר של MetalLB מקצה כתובות IP לשירותים. כשמפתחי אפליקציות יוצרים שירות מסוג LoadBalancer באשכול משתמש, בקר MetalLB מקצה באופן אוטומטי כתובת IP לשירות. הבקר של MetalLB בוחר כתובת IP ממאגר כתובות שאתם מציינים.

כדי לוודא שלאשכול המשתמשים יש מספיק כתובות IP, כדאי להביא בחשבון את המספר המקסימלי של שירותי LoadBalancer שצפויים להיות פעילים. אחר כך מציינים מספיק כתובות IP בקטע loadBalancer.metalLB.addressPools בקובץ התצורה של אשכול המשתמשים.

הכתובות במאגר צריכות להיות בפורמט CIDR או בפורמט של טווח. כדי לציין כתובת ספציפית, משתמשים ב-CIDR של /32. לדוגמה:

addresses:
  -   "192.0.2.0/26"
  -   "192.0.2.64-192.0.2.72"
  -   "192.0.2.75/32"

החרגה של כתובות IP שמשמשות למטרות אחרות

אל תכללו את כתובות ה-IP הבאות במאגר כתובות:

אחרי שיוצרים את האשכול, אפשר להשתמש ב-gkectl update cluster כדי להוסיף מאגרי כתובות IP. האפשרות לשנות את כתובות ה-IP במאגר כתובות קיים תלויה בגרסת האשכול ובשאלה אם אשכולות מתקדמים מופעלים. מידע נוסף זמין במאמר עדכון MetalLB.

הפעלת MetalLB באשכול משתמש חדש

בקובץ התצורה של אשכול המשתמש:

  • מגדירים את loadBalancer.kind להיות "MetalLB".
  • צריך לציין מאגר כתובות אחד או יותר לשירותים. כתובת ה-VIP של הכניסה חייבת להיות באחד מהמאגרים האלה.
  • מגדירים את enableLoadBalancer לערך true לפחות למאגר צמתים אחד באשכול. כשהשדה הזה מוגדר ל-true, הוא מאפשר ל-MetalLB speaker לפעול בצמתים במאגר. שימו לב: גרסת מאגר הצמתים של מאזן העומסים חייבת להתאים לגרסת האשכול במהלך השדרוגים. אין תמיכה בהטיית גרסאות במאגרי צמתים של מאזני עומסים.

    שימו לב להבדלים הבאים בהתנהגות של השדה enableLoadBalancer כש-enableAdvancedCluster מוגדר ל-true (אשכולות מתקדמים מופעלים): בגרסה 1.31, כשאשכולות מתקדמים מופעלים, לשדה הזה אין השפעה כי ה-speaker של MetalLB תמיד פועל בצומתי מישור הבקרה של אשכול המשתמש. בגרסה 1.32, כשמפעילים אשכולות מתקדמים, המגבלה הזו מוסרת וצריך לציין לפחות מאגר צמתים אחד שבו פועל ה-speaker של MetalLB.

ממלאים את שאר קובץ התצורה של אשכול המשתמשים ויוצרים את אשכול המשתמשים, כמו שמתואר במאמר יצירת אשכול משתמשים.

הקצאה ידנית של כתובות למקרי חירום

אם אתם לא רוצים שהבקר של MetalLB יקצה באופן אוטומטי כתובות IP ממאגר מסוים לשירותים, הגדירו את השדה manualAssign של המאגר לערך true. לאחר מכן, מפתח יכול ליצור שירות מסוג LoadBalancer ולציין ידנית את אחת מהכתובות במאגר. לדוגמה:

loadBalancer:
  metalLB:
    addressPools:
    - name: "my-address-pool-2"
      addresses:
      - "192.0.2.73-192.0.2.80"
      manualAssign: true

הימנעות מכתובות IP עם באגים

אם מגדירים את השדה avoidBuggyIPs של מאגר כתובות לערך true, בקר MetalLB לא ישתמש בכתובות מהמאגר שמסתיימות ב-‎ .0 או ב-‎ .255. כך נמנעת הבעיה של מכשירים צרכניים עם באגים, שעלולים להפיל בטעות תעבורת נתונים שנשלחת לכתובות ה-IP המיוחדות האלה. לדוגמה:

loadBalancer:
  metalLB:
    addressPools:
    - name: "my-address-pool-1"
      addresses:
      - "192.0.2.0/24"
      avoidBuggyIPs: true

יצירת שירות מסוג LoadBalancer

אלה שני מניפסטים: אחד לפריסה ואחד לשירות:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-deployment
spec:
  selector:
    matchLabels:
      greeting: hello
  replicas: 3
  template:
    metadata:
      labels:
        greeting: hello
    spec:
      containers:
      - name: hello
        image: gcr.io/google-samples/hello-app:2.0
---
apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  type: LoadBalancer
  selector:
    greeting: hello
  ports:
  - name: metal-lb-example-port
    protocol: TCP
    port: 60000
    targetPort: 8080

שימו לב שבמניפסט של השירות לא מצוינת כתובת IP חיצונית. בקר MetalLB יבחר כתובת IP חיצונית ממאגר הכתובות שציינתם בקובץ התצורה של אשכול המשתמש.

שומרים את המניפסטים בקובץ בשם my-dep-svc.yaml. לאחר מכן יוצרים את האובייקטים Deployment ו-Service:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-dep-svc.yaml

הצגת השירות:

kubectl --kubeconfig USER_CLUSTER_KUBECONIFG get service my-service --output wide

בפלט מוצגת כתובת ה-IP החיצונית שהוקצתה אוטומטית לשירות. לדוגמה:

NAME         TYPE           CLUSTER-IP    EXTERNAL-IP   PORT(S)           AGE   SELECTOR
my-service   LoadBalancer   10.96.2.166   192.0.2.2   60000:31914/TCP   28s

מוודאים שכתובת ה-IP החיצונית שהוקצתה נלקחה ממאגר הכתובות שציינתם בקובץ התצורה של אשכול המשתמשים. לדוגמה, הכתובת 192.0.2.2 נמצאת במאגר הכתובות הזה:

metalLB:
  addressPools:
  - name: "address-pool-1"
    addresses:
     - "192.0.2.0/24"
     - "198.51.100.1-198.51.100.3"

התקשרות לשירות:

curl EXTERNAL_IP_ADDRESS:60000

בפלט מוצגת הודעת Hello, world!:

Hello, world!
Version: 2.0.0

עדכון של MetalLB

אחרי שיוצרים את האשכול, אפשר לעדכן את מאגרי הכתובות של MetalLB ואת השדה enableLoadBalancer במאגרי הצמתים. מבצעים את השינויים הרצויים בקובץ התצורה של אשכול המשתמש, ואז קוראים ל-gkectl update cluster:

gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG --config USER_CLUSTER_CONFIG

אם האשכולות המתקדמים מופעלים, אי אפשר לשנות את כתובות ה-IP של מאגר כתובות קיים. אי אפשר להוסיף, להסיר ולשנות את הסדר של כתובות ה-IP. בגרסה 1.33 ואילך, כל האשכולות החדשים הם אשכולות מתקדמים. כדי להוסיף כתובות IP, מוסיפים מאגר כתובות חדש שמכיל את כתובות ה-IP החדשות, ומשאירים את מאגרי הכתובות הקיימים ללא שינוי. לדוגמה, ההגדרה הבאה מוסיפה את address-pool-2 ומשאירה את address-pool-1 ללא שינוי:

loadBalancer:
  kind: MetalLB
  metalLB:
    addressPools:
    - name: "address-pool-1"
      addresses:
      - "172.16.40.101-172.16.40.112"
      avoidBuggyIPs: true
    - name: "address-pool-2"
      addresses:
      - "172.16.40.121-172.16.40.130"
      avoidBuggyIPs: true

בקר MetalLB יכול להקצות כתובות IP מכל מאגר כתובות שבו manualAssign לא מוגדר ל-true, כך שמאגר כתובות חדש מוסיף קיבולת. כדי לשמור על אותה התנהגות בכתובות ה-IP החדשות, מגדירים את manualAssign ו-avoidBuggyIPs במאגר הכתובות החדש לאותם ערכים כמו במאגר הכתובות הקיים.

לפרטים על השינויים שנתמכים בכל גרסה, עיינו בשדה addresses בקובץ העזר של הגדרות אשכול המשתמש.

‫MetalLB Pods ו-ConfigMap

הבקר של MetalLB פועל כ-Deployment, והרמקול של MetalLB פועל כ-DaemonSet בצמתים במאגרים שבהם enableLoadBalancer מוגדר כ-true. בקר MetalLB מנהל את כתובות ה-IP שמוקצות לשירותים. ה-speaker של MetalLB בוחר את ה-leader ומכריז על כתובות ה-VIP של השירות.

מציגים את כל ה-Pods של MetalLB:

kubectl --kubeconfig USER_CLUSTER_KUBECONIFG get pods --namespace kube-system --selector app=metallb

כדי לפתור בעיות, אתם יכולים להשתמש ביומנים מהפודים של MetalLB.

ההגדרה של MetalLB מאוחסנת ב-ConfigMap בפורמט שמוכר ל-MetalLB. אל תשנו את ConfigMap ישירות. במקום זאת, השתמשו ב-gkectl update cluster כמו שמתואר למעלה. כדי להציג את ConfigMap לצורך פתרון בעיות:

kubectl --kubeconfig USER_CLUSTER_KUBECONIFG get configmap metallb-config --namespace kube-system

יתרונות השימוש ב-MetalLB

  • ‫MetalLB פועל ישירות על הצמתים של האשכול, כך שלא נדרשות מכונות וירטואליות נוספות.

  • הבקר של MetalLB מנהל את כתובות ה-IP של השירותים, כך שלא צריך לבחור ידנית כתובת IP לכל שירות.

  • מכונות פעילות של MetalLB לשירותים שונים יכולות לפעול בצמתים שונים.

  • אפשר לשתף כתובת IP בין שירותים שונים.

השוואה בין MetalLB לבין F5 BIG-IP ו-Seesaw

  • כתובות ה-VIP צריכות להיות באותה רשת משנה כמו הצמתים באשכול. זו גם דרישה של Seesaw, אבל לא של F5 BIG-IP.

  • אין מדדים לתנועה.

  • אין מעבר לגיבוי בעת כשל ללא פגיעה, והחיבורים הקיימים מאופסים במהלך המעבר לגיבוי בעת כשל.

  • תנועה חיצונית לפודים של שירות מסוים עוברת דרך צומת יחיד שמריץ את ה-speaker של MetalLB. כלומר, כתובת ה-IP של הלקוח בדרך כלל לא גלויה לקונטיינרים שפועלים ב-Pod.

  • Cisco Application Centric Infrastructure (ACI) עם Dataplane IP Learning לא תואם למאזני העומסים Seesaw ו-MetalLB. מומלץ להשתמש באיזון עומסים ידני, או להשבית את Dataplane IP Learning כשמשתמשים ב-Seesaw או ב-MetalLB כמאזן העומסים. בנוסף, Seesaw נמצא במצב תחזוקה. החל מגרסה 1.32 של Google Distributed Cloud, אי אפשר לשדרג אשכולות שמשתמשים ב-Seesaw. לפני השדרוג לגרסה 1.32, צריך להעביר את האשכולות לתכונות המומלצות.