במאמר הזה מוסבר איך להגדיר את Google Distributed Cloud לשימוש באיזון עומסים בחבילה עם מאזן העומסים MetalLB. המסמך הזה מיועד למומחי רשתות שמתכננים ומעצבים את הרשת של הארגון שלהם, ומתקינים, מגדירים ותומכים בציוד הרשת. במאמר תפקידים ומשימות נפוצים של משתמשי GKE מפורט מידע נוסף על תפקידים נפוצים ומשימות לדוגמה שאנחנו מתייחסים אליהם בתוכן של Google Cloud.
ב-Google Distributed Cloud, MetalLB פועל במצב שכבה 2.
דוגמה להגדרה של MetalLB
דוגמה להגדרה של אשכולות שמריצים את מאזן העומסים MetalLB:
בתרשים הקודם מוצג פריסה של MetalLB. MetalLB פועל ישירות בצומתי האשכול. בדוגמה הזו, אשכול האדמין ואשכול המשתמש נמצאים בשתי רשתות VLAN נפרדות, וכל אשכול נמצא ברשת משנה נפרדת:
| אשכול | תת-רשת |
|---|---|
| אשכול אדמין | 172.16.20.0/24 |
| אשכול משתמשים | 172.16.40.0/24 |
admin-cluster.yaml
החלק הבא של קובץ התצורה של אשכול האדמין מציג את התצורה שמופיעה בתרשים הקודם של:
מישור בקרה עם זמינות גבוהה
מאזן עומסים של MetalLB
כתובת VIP ב-MetalLB לשרת Kubernetes API של אשכול האדמין
network:
...
controlPlaneIPBlock:
netmask: "255.255.255.0"
gateway: "172.16.20.1"
ips:
- ip: "172.16.20.50"
hostname: "admin-cp-1"
- ip: "172.16.20.51"
hostname: "admin-cp-2"
- ip: "172.16.20.52"
hostname: "admin-cp-3"
loadBalancer:
kind: "MetalLB"
...
vips:
controlPlaneVIP: "172.16.20.100"
...
adminMaster:
cpus: 4
memoryMB: 16384
replicas: 3
user-cluster.yaml
החלק הבא של קובץ תצורה של אשכול משתמש מציג את ההגדרה של:
מאגר כתובות שממנו בקר MetalLB יכול לבחור ולהקצות לשירותים מסוג
LoadBalancer. כתובת ה-VIP של תעבורת הנתונים הנכנסת נמצאת במאגר הזה.VIP שמיועד לשרת ה-API של Kubernetes באשכול המשתמש, ו-VIP של Ingress שבחרתם להגדיר לשרת ה-proxy של Ingress.
מאגר צמתים שמופעל בו שימוש ב-MetalLB. MetalLB ייפרס בצמתים במאגר הצמתים הזה.
enableControlplaneV2: true
...
network:
hostConfig:
...
ipMode:
type: "static"
ipBlockFilePath: "config-folder/user-cluster-ipblock.yaml"
...
controlPlaneIPBlock:
netmask: "255.255.255.0"
gateway: "172.16.40.1"
ips:
- ip: "172.16.40.21"
hostname: "user-cp"
loadBalancer:
kind: MetalLB
metalLB:
addressPools:
- name: "address-pool-1"
addresses:
- "172.16.40.101-172.16.40.112
avoidBuggyIPs: true
...
vips:
controlPlaneVIP: "172.16.20.100"
ingressVIP: "172.16.40.101"
...
nodePools:
- name: "node-pool-1"
cpus: 4
memoryMB: 8192
replicas: 3
enableLoadBalancer: true
ההגדרה בדוגמה הקודמת מציינת קבוצה של כתובות שזמינות לשירותים. כשמפתח אפליקציה יוצר שירות מסוג LoadBalancer באשכול המשתמש, בקר MetalLB בוחר כתובת IP מהמאגר הזה.
user-cluster-ipblock.yaml
בדוגמה הבאה של קובץ בלוק IP מוצג הייעוד של כתובות ה-IP לצומתי העובדים באשכול המשתמש. הטווח הזה כולל כתובת IP נוספת לשימוש במהלך שדרוגים, עדכונים ותיקונים אוטומטיים של האשכול.
blocks:
- netmask: "255.255.255.0"
gateway: "17.16.40.1"
ips:
- ip: 172.16.40.22
hostname: user-vm-1
- ip: 172.16.40.23
hostname: user-vm-2
- ip: 172.16.40.24
hostname: user-vm-3
- ip: 172.16.40.25
hostname: user-vm-4
- ip: 172.16.40.26
hostname: user-vm-5
- ip: 172.16.40.27
hostname: user-vm-6
הגדרת MetalLB
פתיחת יציאות של חומת אש
MetalLB משתמש בספריית Go memberlist כדי לבחור את ה-leader. הספרייה memberlist משתמשת ביציאת TCP 7946 וביציאת UDP 7946 כדי להחליף מידע. חשוב לוודא שהיציאות האלה נגישות לתנועה נכנסת ויוצאת בכל הצמתים של מאזן העומסים.
הפעלת MetalLB לאשכול אדמין חדש
בקובץ התצורה של אשכול האדמין, מגדירים את loadBalancer.kind ל-"MetalLB".
loadBalancer: kind: "MetalLB"
ממלאים את שאר קובץ התצורה של אשכול האדמין ויוצרים את אשכול האדמין, כמו שמתואר במאמר יצירת אשכול אדמין.
ציון מאגרי כתובות
הבקר של MetalLB מקצה כתובות IP לשירותים. כשמפתחי אפליקציות יוצרים שירות מסוג LoadBalancer באשכול משתמש, בקר MetalLB מקצה באופן אוטומטי כתובת IP לשירות. הבקר של MetalLB בוחר כתובת IP ממאגר כתובות שאתם מציינים.
כדי לוודא שלאשכול המשתמשים יש מספיק כתובות IP, כדאי להביא בחשבון את המספר המקסימלי של שירותי LoadBalancer שצפויים להיות פעילים. אחר כך מציינים מספיק כתובות IP בקטע loadBalancer.metalLB.addressPools בקובץ התצורה של אשכול המשתמשים.
הכתובות במאגר צריכות להיות בפורמט CIDR או בפורמט של טווח. כדי לציין כתובת ספציפית, משתמשים ב-CIDR של /32. לדוגמה:
addresses:
- "192.0.2.0/26"
- "192.0.2.64-192.0.2.72"
- "192.0.2.75/32"
החרגה של כתובות IP שמשמשות למטרות אחרות
אל תכללו את כתובות ה-IP הבאות במאגר כתובות:
כתובות ה-VIP של מישור הבקרה:
כתובות ה-IP של צומת מישור הבקרה:
כתובות ה-IP של השער:
כתובות IP של שירותים:
כתובות IP לפודים:
כתובות ה-IP של צומתי העובדים באשכול המשתמש
כתובות ה-IP של שרתי vCenter, שרתי DNS, שרתי NTP ותחנת עבודה של אדמין
אחרי שיוצרים את האשכול, אפשר להשתמש ב-gkectl update cluster כדי להוסיף מאגרי כתובות IP. האפשרות לשנות את כתובות ה-IP במאגר כתובות קיים תלויה בגרסת האשכול ובשאלה אם אשכולות מתקדמים מופעלים.
מידע נוסף זמין במאמר עדכון MetalLB.
הפעלת MetalLB באשכול משתמש חדש
- מגדירים את
loadBalancer.kindלהיות"MetalLB". - צריך לציין מאגר כתובות אחד או יותר לשירותים. כתובת ה-VIP של הכניסה חייבת להיות באחד מהמאגרים האלה.
מגדירים את
enableLoadBalancerלערךtrueלפחות למאגר צמתים אחד באשכול. כשהשדה הזה מוגדר ל-true, הוא מאפשר ל-MetalLB speaker לפעול בצמתים במאגר. שימו לב: גרסת מאגר הצמתים של מאזן העומסים חייבת להתאים לגרסת האשכול במהלך השדרוגים. אין תמיכה בהטיית גרסאות במאגרי צמתים של מאזני עומסים.שימו לב להבדלים הבאים בהתנהגות של השדה
enableLoadBalancerכש-enableAdvancedClusterמוגדר ל-true(אשכולות מתקדמים מופעלים): בגרסה 1.31, כשאשכולות מתקדמים מופעלים, לשדה הזה אין השפעה כי ה-speaker של MetalLB תמיד פועל בצומתי מישור הבקרה של אשכול המשתמש. בגרסה 1.32, כשמפעילים אשכולות מתקדמים, המגבלה הזו מוסרת וצריך לציין לפחות מאגר צמתים אחד שבו פועל ה-speaker של MetalLB.
ממלאים את שאר קובץ התצורה של אשכול המשתמשים ויוצרים את אשכול המשתמשים, כמו שמתואר במאמר יצירת אשכול משתמשים.
הקצאה ידנית של כתובות למקרי חירום
אם אתם לא רוצים שהבקר של MetalLB יקצה באופן אוטומטי כתובות IP ממאגר מסוים לשירותים, הגדירו את השדה manualAssign של המאגר לערך true. לאחר מכן, מפתח יכול ליצור שירות מסוג LoadBalancer ולציין ידנית את אחת מהכתובות במאגר. לדוגמה:
loadBalancer:
metalLB:
addressPools:
- name: "my-address-pool-2"
addresses:
- "192.0.2.73-192.0.2.80"
manualAssign: true
הימנעות מכתובות IP עם באגים
אם מגדירים את השדה avoidBuggyIPs של מאגר כתובות לערך true, בקר MetalLB לא ישתמש בכתובות מהמאגר שמסתיימות ב- .0 או ב- .255. כך נמנעת הבעיה של מכשירים צרכניים עם באגים, שעלולים להפיל בטעות תעבורת נתונים שנשלחת לכתובות ה-IP המיוחדות האלה. לדוגמה:
loadBalancer:
metalLB:
addressPools:
- name: "my-address-pool-1"
addresses:
- "192.0.2.0/24"
avoidBuggyIPs: true
יצירת שירות מסוג LoadBalancer
אלה שני מניפסטים: אחד לפריסה ואחד לשירות:
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-deployment
spec:
selector:
matchLabels:
greeting: hello
replicas: 3
template:
metadata:
labels:
greeting: hello
spec:
containers:
- name: hello
image: gcr.io/google-samples/hello-app:2.0
---
apiVersion: v1
kind: Service
metadata:
name: my-service
spec:
type: LoadBalancer
selector:
greeting: hello
ports:
- name: metal-lb-example-port
protocol: TCP
port: 60000
targetPort: 8080
שימו לב שבמניפסט של השירות לא מצוינת כתובת IP חיצונית. בקר MetalLB יבחר כתובת IP חיצונית ממאגר הכתובות שציינתם בקובץ התצורה של אשכול המשתמש.
שומרים את המניפסטים בקובץ בשם my-dep-svc.yaml. לאחר מכן יוצרים את האובייקטים Deployment ו-Service:
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-dep-svc.yaml
הצגת השירות:
kubectl --kubeconfig USER_CLUSTER_KUBECONIFG get service my-service --output wide
בפלט מוצגת כתובת ה-IP החיצונית שהוקצתה אוטומטית לשירות. לדוגמה:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR my-service LoadBalancer 10.96.2.166 192.0.2.2 60000:31914/TCP 28s
מוודאים שכתובת ה-IP החיצונית שהוקצתה נלקחה ממאגר הכתובות שציינתם בקובץ התצורה של אשכול המשתמשים. לדוגמה, הכתובת 192.0.2.2 נמצאת במאגר הכתובות הזה:
metalLB:
addressPools:
- name: "address-pool-1"
addresses:
- "192.0.2.0/24"
- "198.51.100.1-198.51.100.3"
התקשרות לשירות:
curl EXTERNAL_IP_ADDRESS:60000
בפלט מוצגת הודעת Hello, world!:
Hello, world! Version: 2.0.0
עדכון של MetalLB
אחרי שיוצרים את האשכול, אפשר לעדכן את מאגרי הכתובות של MetalLB ואת השדה enableLoadBalancer במאגרי הצמתים. מבצעים את השינויים הרצויים בקובץ התצורה של אשכול המשתמש, ואז קוראים ל-gkectl update cluster:
gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG --config USER_CLUSTER_CONFIG
אם האשכולות המתקדמים מופעלים, אי אפשר לשנות את כתובות ה-IP של מאגר כתובות קיים.
אי אפשר להוסיף, להסיר ולשנות את הסדר של כתובות ה-IP. בגרסה 1.33 ואילך, כל האשכולות החדשים הם אשכולות מתקדמים. כדי להוסיף כתובות IP, מוסיפים מאגר כתובות חדש שמכיל את כתובות ה-IP החדשות, ומשאירים את מאגרי הכתובות הקיימים ללא שינוי. לדוגמה, ההגדרה הבאה מוסיפה את address-pool-2 ומשאירה את address-pool-1 ללא שינוי:
loadBalancer:
kind: MetalLB
metalLB:
addressPools:
- name: "address-pool-1"
addresses:
- "172.16.40.101-172.16.40.112"
avoidBuggyIPs: true
- name: "address-pool-2"
addresses:
- "172.16.40.121-172.16.40.130"
avoidBuggyIPs: true
בקר MetalLB יכול להקצות כתובות IP מכל מאגר כתובות שבו manualAssign לא מוגדר ל-true, כך שמאגר כתובות חדש מוסיף קיבולת.
כדי לשמור על אותה התנהגות בכתובות ה-IP החדשות, מגדירים את manualAssign ו-avoidBuggyIPs במאגר הכתובות החדש לאותם ערכים כמו במאגר הכתובות הקיים.
לפרטים על השינויים שנתמכים בכל גרסה, עיינו בשדה addresses בקובץ העזר של הגדרות אשכול המשתמש.
MetalLB Pods ו-ConfigMap
הבקר של MetalLB פועל כ-Deployment, והרמקול של MetalLB פועל כ-DaemonSet בצמתים במאגרים שבהם enableLoadBalancer מוגדר כ-true. בקר MetalLB מנהל את כתובות ה-IP שמוקצות לשירותים. ה-speaker של MetalLB בוחר את ה-leader ומכריז על כתובות ה-VIP של השירות.
מציגים את כל ה-Pods של MetalLB:
kubectl --kubeconfig USER_CLUSTER_KUBECONIFG get pods --namespace kube-system --selector app=metallb
כדי לפתור בעיות, אתם יכולים להשתמש ביומנים מהפודים של MetalLB.
ההגדרה של MetalLB מאוחסנת ב-ConfigMap בפורמט שמוכר ל-MetalLB.
אל תשנו את ConfigMap ישירות. במקום זאת, השתמשו ב-gkectl update cluster כמו שמתואר למעלה. כדי להציג את ConfigMap לצורך פתרון בעיות:
kubectl --kubeconfig USER_CLUSTER_KUBECONIFG get configmap metallb-config --namespace kube-system
יתרונות השימוש ב-MetalLB
MetalLB פועל ישירות על הצמתים של האשכול, כך שלא נדרשות מכונות וירטואליות נוספות.
הבקר של MetalLB מנהל את כתובות ה-IP של השירותים, כך שלא צריך לבחור ידנית כתובת IP לכל שירות.
מכונות פעילות של MetalLB לשירותים שונים יכולות לפעול בצמתים שונים.
אפשר לשתף כתובת IP בין שירותים שונים.
השוואה בין MetalLB לבין F5 BIG-IP ו-Seesaw
כתובות ה-VIP צריכות להיות באותה רשת משנה כמו הצמתים באשכול. זו גם דרישה של Seesaw, אבל לא של F5 BIG-IP.
אין מדדים לתנועה.
אין מעבר לגיבוי בעת כשל ללא פגיעה, והחיבורים הקיימים מאופסים במהלך המעבר לגיבוי בעת כשל.
תנועה חיצונית לפודים של שירות מסוים עוברת דרך צומת יחיד שמריץ את ה-speaker של MetalLB. כלומר, כתובת ה-IP של הלקוח בדרך כלל לא גלויה לקונטיינרים שפועלים ב-Pod.
- Cisco Application Centric Infrastructure (ACI) עם Dataplane IP Learning לא תואם למאזני העומסים Seesaw ו-MetalLB. מומלץ להשתמש באיזון עומסים ידני, או להשבית את Dataplane IP Learning כשמשתמשים ב-Seesaw או ב-MetalLB כמאזן העומסים. בנוסף, Seesaw נמצא במצב תחזוקה. החל מגרסה 1.32 של Google Distributed Cloud, אי אפשר לשדרג אשכולות שמשתמשים ב-Seesaw. לפני השדרוג לגרסה 1.32, צריך להעביר את האשכולות לתכונות המומלצות.