הגדרת רשת מרובת אשכולות ב-Cloud Service Mesh מנוהל
במדריך הזה מוסבר איך לצרף שני אשכולות ל-Cloud Service Mesh אחד באמצעות Mesh CA או שירות Certificate Authority, ולהפעיל איזון עומסים בין אשכולות. אתם יכולים להרחיב בקלות את התהליך הזה כדי לשלב כל מספר של אשכולות ברשת.
הגדרה של Cloud Service Mesh עם כמה אשכולות יכולה לפתור כמה תרחישים ארגוניים חשובים, כמו קנה מידה, מיקום ובידוד. מידע נוסף מופיע במאמר תרחישים לדוגמה של אשכולות מרובים.
דרישות מוקדמות
במדריך הזה אנחנו יוצאים מנקודת הנחה שיש לכם שני אשכולות GKE או יותר, שעומדים בדרישות הבאות: Google Cloud
- Cloud Service Mesh מותקן באשכולות. אתם צריכים את
asmcli, את הכליistioctlואת הדוגמאות ש-asmcliמוריד לספרייה שציינתם ב---output_dir. - לפני שמגדירים את Cloud Service Mesh, צריך לוודא שיש קישוריות בין כל הפודים באשכולות שברשת. בנוסף, אם אתם מצרפים אשכולות שלא נמצאים באותו פרויקט, הם צריכים להיות רשומים באותו פרויקט מארח של Fleet, והאשכולות צריכים להיות בהגדרת VPC משותף באותה רשת. מומלץ גם להשתמש בפרויקט אחד לאירוח ה-VPC המשותף, ובשני פרויקטים של שירותים ליצירת אשכולות. למידע נוסף, קראו את המאמר הגדרת אשכולות עם VPC משותף.
- אם אתם משתמשים ב-Certificate Authority Service, כל האשכולות צריכים לכלול את שרשרת מאגרי רשויות האישורים המשניות שלהם לאותו מאגר רשויות להנפקת אישורים (CA) של רשות אישורי בסיס. אחרת, כולם יצטרכו להשתמש באותו מאגר CA.
הגדרת משתנים של פרויקטים ואשכולות
יוצרים את משתני הסביבה הבאים למזהה הפרויקט, לאזור או למחוז של האשכול, לשם האשכול ולהקשר.
export PROJECT_1=PROJECT_ID_1 export LOCATION_1=CLUSTER_LOCATION_1 export CLUSTER_1=CLUSTER_NAME_1 export CTX_1="gke_${PROJECT_1}_${LOCATION_1}_${CLUSTER_1}" export PROJECT_2=PROJECT_ID_2 export LOCATION_2=CLUSTER_LOCATION_2 export CLUSTER_2=CLUSTER_NAME_2 export CTX_2="gke_${PROJECT_2}_${LOCATION_2}_${CLUSTER_2}"אם מדובר באשכולות חדשים, חשוב לאחזר את פרטי הכניסה לכל אשכול באמצעות הפקודות הבאות של
gcloud, אחרת ה-contextשמשויך אליהם לא יהיה זמין לשימוש בשלבים הבאים במדריך הזה.הפקודות תלויות בסוג האשכול, אזורי או מקומי:
אזורי
gcloud container clusters get-credentials ${CLUSTER_1} --region ${LOCATION_1} gcloud container clusters get-credentials ${CLUSTER_2} --region ${LOCATION_2}אזורי
gcloud container clusters get-credentials ${CLUSTER_1} --zone ${LOCATION_1} gcloud container clusters get-credentials ${CLUSTER_2} --zone ${LOCATION_2}
יצירת כלל בחומת האש
במקרים מסוימים, צריך ליצור כלל של חומת אש כדי לאפשר תעבורת נתונים בין אשכולות. לדוגמה, צריך ליצור כלל של חומת אש אם:
- אתם משתמשים ברשתות משנה שונות לאשכולות ברשת שלכם.
- ה-Pods פותחים יציאות אחרות מלבד 443 ו-15002.
GKE מוסיף באופן אוטומטי כללי חומת אש לכל צומת כדי לאפשר תעבורת נתונים באותה רשת משנה. אם הרשת מכילה כמה רשתות משנה, צריך להגדיר במפורש את כללי חומת האש כדי לאפשר תנועה בין רשתות המשנה. צריך להוסיף כלל חדש של חומת אש לכל רשת משנה, כדי לאפשר את בלוקי ה-CIDR של כתובות ה-IP במקור ואת יציאות היעד של כל התנועה הנכנסת.
ההוראות הבאות מאפשרות תקשורת בין כל האשכולות בפרויקט, או רק בין $CLUSTER_1 ל-$CLUSTER_2.
אוספים מידע על הרשת של האשכולות.
כל אשכולות הפרויקטים
אם האשכולות נמצאים באותו פרויקט, אתם יכולים להשתמש בפקודה הבאה כדי לאפשר תקשורת בין כל האשכולות בפרויקט. אם יש בפרויקט אשכולות שאתם לא רוצים לחשוף, השתמשו בפקודה בכרטיסייה Specific clusters.
function join_by { local IFS="$1"; shift; echo "$*"; } ALL_CLUSTER_CIDRS=$(gcloud container clusters list --project $PROJECT_1 --format='value(clusterIpv4Cidr)' | sort | uniq) ALL_CLUSTER_CIDRS=$(join_by , $(echo "${ALL_CLUSTER_CIDRS}")) ALL_CLUSTER_NETTAGS=$(gcloud compute instances list --project $PROJECT_1 --format='value(tags.items.[0])' | sort | uniq) ALL_CLUSTER_NETTAGS=$(join_by , $(echo "${ALL_CLUSTER_NETTAGS}"))אשכולות ספציפיים
הפקודה הבאה מאפשרת תקשורת בין
$CLUSTER_1לבין$CLUSTER_2, ולא חושפת אשכולות אחרים בפרויקט.function join_by { local IFS="$1"; shift; echo "$*"; } ALL_CLUSTER_CIDRS=$(for P in $PROJECT_1 $PROJECT_2; do gcloud --project $P container clusters list --filter="name:($CLUSTER_1,$CLUSTER_2)" --format='value(clusterIpv4Cidr)'; done | sort | uniq) ALL_CLUSTER_CIDRS=$(join_by , $(echo "${ALL_CLUSTER_CIDRS}")) ALL_CLUSTER_NETTAGS=$(for P in $PROJECT_1 $PROJECT_2; do gcloud --project $P compute instances list --filter="name:($CLUSTER_1,$CLUSTER_2)" --format='value(tags.items.[0])' ; done | sort | uniq) ALL_CLUSTER_NETTAGS=$(join_by , $(echo "${ALL_CLUSTER_NETTAGS}"))יוצרים את הכלל של חומת האש.
GKE
gcloud compute firewall-rules create istio-multicluster-pods \ --allow=tcp,udp,icmp,esp,ah,sctp \ --direction=INGRESS \ --priority=900 \ --source-ranges="${ALL_CLUSTER_CIDRS}" \ --target-tags="${ALL_CLUSTER_NETTAGS}" --quiet \ --network=YOUR_NETWORKטייס אוטומטי
TAGS="" for CLUSTER in ${CLUSTER_1} ${CLUSTER_2} do TAGS+=$(gcloud compute firewall-rules list --filter="Name:$CLUSTER*" --format="value(targetTags)" | uniq) && TAGS+="," done TAGS=${TAGS::-1} echo "Network tags for pod ranges are $TAGS" gcloud compute firewall-rules create asm-multicluster-pods \ --allow=tcp,udp,icmp,esp,ah,sctp \ --network=gke-cluster-vpc \ --direction=INGRESS \ --priority=900 --network=VPC_NAME \ --source-ranges="${ALL_CLUSTER_CIDRS}" \ --target-tags=$TAGS
הגדרת גילוי נקודות קצה (endpoint)
הפעלת גילוי נקודות קצה בין אשכולות ציבוריים או פרטיים באמצעות API הצהרתי
הפעלת Cloud Service Mesh מנוהל באמצעות Fleet API תפעיל את גילוי נקודות הקצה באשכול הזה. אם הקציתם את Cloud Service Mesh מנוהל באמצעות כלי אחר, אתם יכולים להפעיל ידנית את זיהוי נקודות הקצה באשכולות ציבוריים או פרטיים ב-fleet. כדי לעשות את זה, צריך להחיל את ההגדרה "multicluster_mode":"connected" ב-configmap asm-options. באשכולות באותו צי שמופעלת בהם ההגדרה הזו, יופעל באופן אוטומטי זיהוי שירותים בין אשכולות.
זו הדרך היחידה להגדיר זיהוי נקודות קצה בכמה אשכולות אם יש לכם הטמעה של מישור הבקרה המנוהל (TD), והדרך המומלצת להגדיר אותו אם יש לכם הטמעה מנוהלת (Istiod).
לפני שממשיכים, צריך ליצור כלל של חומת אש. בלי הכלל הזה, יכול להיות שתנועה שמאוזנת בין אשכולות connected אחרים ב-fleet תיכשל (ראו פתרון בעיות בכמה אשכולות).
הפעלה
אם ה-configmap של asm-options כבר קיים באשכול, מפעילים את זיהוי נקודות הקצה באשכול:
kubectl patch configmap/asm-options -n istio-system --type merge -p '{"data":{"multicluster_mode":"connected"}}'
אם ה-configmap של asm-options עדיין לא קיים באשכול, יוצרים אותו עם הנתונים המשויכים ומפעילים את גילוי נקודות הקצה באשכול:
kubectl --context ${CTX_1} create configmap asm-options -n istio-system --from-file <(echo '{"data":{"multicluster_mode":"connected"}}')
השבתה
השבתת זיהוי נקודות קצה (endpoint) באשכול:
kubectl patch configmap/asm-options -n istio-system --type merge -p '{"data":{"multicluster_mode":"manual"}}'
הניהול האוטומטי שומר על "multicluster_mode":"manual", גם אם יוצרים את ה-ConfigMap של asm-options עם "multicluster_mode":"manual" לפני שמפעילים את הניהול האוטומטי באשכול חדש.
אם מבטלים את הרישום של אשכול מה-fleet בלי להשבית את גילוי נקודות הקצה, יכול להיות שסודות יישארו באשכול. צריך לנקות ידנית את כל הסודות שנותרו.
מריצים את הפקודה הבאה כדי למצוא סודות שצריך לנקות:
kubectl get secrets -n istio-system -l istio.io/owned-by=mesh.googleapis.com,istio/multiCluster=trueמוחקים כל סוד:
kubectl delete secret SECRET_NAMEחוזרים על השלב הזה לכל סוד שנותר.
אימות הקישוריות בין כמה אשכולות
בקטע הזה מוסבר איך לפרוס את שירותי הדוגמה HelloWorld ו-Sleep בסביבה עם כמה אשכולות, כדי לוודא שאיזון העומסים בין האשכולות פועל.
הגדרת משתנה לספריית הדוגמיות
עוברים למיקום שבו הורדתם את
asmcli, ומריצים את הפקודה הבאה כדי להגדיר אתASM_VERSION:export ASM_VERSION="$(./asmcli --version)"מגדירים תיקיית עבודה לדוגמאות שבהן משתמשים כדי לוודא שאיזון העומסים בין אשכולות פועל. הדוגמאות נמצאות בספריית משנה בספרייה
--output_dirשציינתם בפקודהasmcli install. בפקודה הבאה, מחליפים אתOUTPUT_DIRבספרייה שציינתם ב---output_dir.export SAMPLES_DIR=OUTPUT_DIR/istio-${ASM_VERSION%+*}
הפעלת החדרת sidecar
יוצרים את מרחב השמות לדוגמה בכל אשכול.
for CTX in ${CTX_1} ${CTX_2} do kubectl create --context=${CTX} namespace sample doneמפעילים את מרחב השמות להזרקה. השלבים תלויים בהטמעה של מישור הבקרה.
מנוהל (TD)
- מחילים את תווית ברירת המחדל של ההזרקה על מרחב השמות:
for CTX in ${CTX_1} ${CTX_2} do kubectl label --context=${CTX} namespace sample \ istio.io/rev- istio-injection=enabled --overwrite doneמנוהל (Istiod)
מומלץ: מריצים את הפקודה הבאה כדי להחיל את תווית ברירת המחדל של ההחדרה על מרחב השמות:
for CTX in ${CTX_1} ${CTX_2} do kubectl label --context=${CTX} namespace sample \ istio.io/rev- istio-injection=enabled --overwrite doneאם אתם משתמשים קיימים עם מישור הבקרה Managed Istiod: מומלץ להשתמש בהחדרה כברירת מחדל, אבל יש תמיכה בהחדרה מבוססת-גרסה. פועלים לפי ההוראות הבאות:
מריצים את הפקודה הבאה כדי לאתר את ערוצי ההפצה הזמינים:
kubectl -n istio-system get controlplanerevisionהפלט אמור להיראות כך:
NAME AGE asm-managed-rapid 6d7hבפלט, הערך בעמודה
NAMEהוא תווית הגרסה שתואמת לערוץ ההפצה הזמין של גרסת Cloud Service Mesh.מחילים את תווית הגרסה על מרחב השמות:
for CTX in ${CTX_1} ${CTX_2} do kubectl label --context=${CTX} namespace sample \ istio-injection- istio.io/rev=REVISION_LABEL --overwrite done
התקנת השירות HelloWorld
יוצרים את השירות HelloWorld בשני האשכולות:
kubectl create --context=${CTX_1} \ -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \ -l service=helloworld -n samplekubectl create --context=${CTX_2} \ -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \ -l service=helloworld -n sample
פריסת HelloWorld בגרסאות v1 ו-v2 בכל אשכול
פורסים את
HelloWorld v1ב-CLUSTER_1ואתv2ב-CLUSTER_2, כדי שבהמשך יהיה אפשר לאמת את איזון העומסים בין האשכולות:kubectl create --context=${CTX_1} \ -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \ -l version=v1 -n samplekubectl create --context=${CTX_2} \ -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \ -l version=v2 -n sampleמוודאים ש-
HelloWorld v1ו-v2פועלים באמצעות הפקודות הבאות. מוודאים שהפלט דומה לזה שמוצג:kubectl get pod --context=${CTX_1} -n sampleNAME READY STATUS RESTARTS AGE helloworld-v1-86f77cd7bd-cpxhv 2/2 Running 0 40s
kubectl get pod --context=${CTX_2} -n sampleNAME READY STATUS RESTARTS AGE helloworld-v2-758dd55874-6x4t8 2/2 Running 0 40s
פריסת שירות השינה
פורסים את השירות
Sleepבשני האשכולות. ה-Pod הזה יוצר תנועה מלאכותית ברשת למטרות הדגמה:for CTX in ${CTX_1} ${CTX_2} do kubectl apply --context=${CTX} \ -f ${SAMPLES_DIR}/samples/sleep/sleep.yaml -n sample doneמחכים שהשירות
Sleepיתחיל בכל אשכול. מוודאים שהפלט דומה לזה שמוצג:kubectl get pod --context=${CTX_1} -n sample -l app=sleepNAME READY STATUS RESTARTS AGE sleep-754684654f-n6bzf 2/2 Running 0 5s
kubectl get pod --context=${CTX_2} -n sample -l app=sleepNAME READY STATUS RESTARTS AGE sleep-754684654f-dzl9j 2/2 Running 0 5s
אימות של איזון עומסים בין אשכולות
קוראים לשירות HelloWorld כמה פעמים ובודקים את הפלט כדי לוודא שהתשובות מתחלפות בין גרסה 1 לגרסה 2:
מפעילים את השירות
HelloWorld:kubectl exec --context="${CTX_1}" -n sample -c sleep \ "$(kubectl get pod --context="${CTX_1}" -n sample -l \ app=sleep -o jsonpath='{.items[0].metadata.name}')" \ -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'הפלט אמור להיראות כך:
Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8 Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv ...
קוראים שוב לשירות
HelloWorld:kubectl exec --context="${CTX_2}" -n sample -c sleep \ "$(kubectl get pod --context="${CTX_2}" -n sample -l \ app=sleep -o jsonpath='{.items[0].metadata.name}')" \ -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'הפלט אמור להיראות כך:
Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8 Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv ...
מזל טוב, אימתתם את Cloud Service Mesh עם איזון עומסים ומספר אשכולות.
שמירה על התנועה בתוך האשכול
במקרים מסוימים, ההתנהגות של איזון העומסים שמוגדרת כברירת מחדל בין אשכולות לא רצויה. כדי שתעבורת הנתונים תישאר "מקומית לאשכול" (כלומר, תעבורת נתונים שנשלחת מ-cluster-a תגיע רק ליעדים ב-cluster-a), צריך לסמן שמות מארחים או תווים כלליים לחיפוש כ-clusterLocal באמצעות MeshConfig.serviceSettings.
לדוגמה, אתם יכולים לאכוף תנועה מקומית באשכול לשירות ספציפי, לכל השירותים במרחב שמות מסוים או באופן גלובלי לכל השירותים ברשת, באופן הבא:
לכל שירות
serviceSettings:
- settings:
clusterLocal: true
hosts:
- "mysvc.myns.svc.cluster.local"
לכל מרחב שמות
serviceSettings:
- settings:
clusterLocal: true
hosts:
- "*.myns.svc.cluster.local"
גלובלית
serviceSettings:
- settings:
clusterLocal: true
hosts:
- "*"
אפשר גם לצמצם את הגישה לשירות על ידי הגדרת כלל גלובלי מקומי לאשכול והוספת חריגים מפורשים, שיכולים להיות ספציפיים או תו כללי לחיפוש. בדוגמה הבאה, כל השירותים באשכול יישארו מקומיים לאשכול, חוץ משירותים במרחב השמות myns:
serviceSettings:
- settings:
clusterLocal: true
hosts:
- "*"
- settings:
clusterLocal: false
hosts:
- "*.myns.svc.cluster.local"
הפעלת השירות Local Cluster
בודקים את מפת התצורה של MeshConfig באשכול
kubectl get configmap -n istio-systemאמורה להופיע מפת הגדרות עם אחד מהשמות
istio-asm-managed,istio-asm-managed-rapidאוistio-asm-managed-stable.אם עברתם מהטמעה של
ISTIODלהטמעה שלTRAFFIC_DIRECTOR, יכול להיות שתראו יותר ממפת תצורה אחת. במקרה כזה, אפשר להריץ את הפקודה הבאה כדי לזהות את הערוץ:kubectl get controlplanerevision -n istio-systemהערוץ של גרסת מישור הבקרה שהותאמה הוא הערוץ שצריך לבחור.
עדכון מפת ההגדרות האישיות
cat <<EOF > config.yaml apiVersion: v1 kind: ConfigMap metadata: name: CONFIGMAP_NAME namespace: istio-system data: mesh: |- serviceSettings: - settings: clusterLocal: true hosts: - "*" EOFמחליפים את
CONFIGMAP_NAMEבשם של ה-Config Map שמצאתם בשלב 1 ומעדכנים את ה-Config Map.kubectl apply --context=${CTX_1} -f config.yamlכדי לוודא שהתכונה "אשכול מקומי" פועלת כמו שצריך, משתמשים בפקודות הבאות. הפלט של קריאה ל-
HelloWorldעםCTX_1דומה לזה:kubectl exec --context="${CTX_1}" -n sample -c sleep \ "$(kubectl get pod --context="${CTX_1}" -n sample -l \ app=sleep -o jsonpath='{.items[0].metadata.name}')" \ -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'הפלט אמור להיות Only v1 is response:
Hello version: v1, instance: helloworld-v2-758dd55874-6x4t8 Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv ...אם מתקשרים אל
HelloWorldבאמצעותCTX_2:kubectl exec --context="${CTX_2}" -n sample -c sleep \ "$(kubectl get pod --context="${CTX_2}" -n sample -l \ app=sleep -o jsonpath='{.items[0].metadata.name}')" \ -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'בפלט אמורות להופיע תשובות לסירוגין מגרסה 1 ומגרסה 2.
Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8 Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv ...
ניקוי שירות HelloWorld
כשמסיימים לאמת את איזון העומסים, מסירים את השירות HelloWorld ו-Sleep מהאשכול.
kubectl delete ns sample --context ${CTX_1}
kubectl delete ns sample --context ${CTX_2}הגדרת איזון עומסים לפי מיקום
באמצעות Cloud Service Mesh אתם יכולים לשלוט באופן שבו תעבורת הנתונים מתחלקת בין אזורים שונים, באמצעות התנהגויות הניתוב הראשיות:
- SPRAY_TO_WORLD (ברירת המחדל): התנועה מופצת באמצעות הקצאה מחזורית (round-robin) בין כל נקודות הקצה התקינות ברחבי העולם, בלי קשר למיקום של הלקוח.
- WATERFALL_BY_ZONE: תנועת הגולשים מנותבת לאזור התקין הקרוב ביותר. אם האזור המקומי לא תקין, התנועה מנותבת לאזור התקין הקרוב ביותר.
במדריך הזה מוסבר איך להגדיר את ההתנהגויות האלה באמצעות המשאבים DestinationRule ו-MeshConfig של Istio.
הפעלת ניתוב Waterfall
כדי להפעיל את WATERFALL_BY_ZONE, המשתמשים צריכים להגדיר את DestinationRule.TrafficPolicy.outlierDetection וגם אחד מהבאים ב-DestinationRule (או באופן גלובלי ב-MeshConfig):
localityLbSetting.enabledכtruelocalityLbSetting.failover.fromlocalityLbSetting.failover.to
הפעלת Waterfall באמצעות DestinationRule
כאן מתוארת הגדרה שמפעילה בהצלחה ניתוב Waterfall לשירות ספציפי באמצעות DestinationRule:
apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
name: backend-waterfall-rule
spec:
host: my-backend.default.svc.cluster.local
trafficPolicy:
outlierDetection: {}
loadBalancer:
localityLbSetting:
enabled: true # or failover: []
הפעלת Waterfall באמצעות MeshConfig + DestinationRule
לחלופין, אתם יכולים להפעיל את איזון העומסים המקומי באופן גלובלי לכל הרשת באשכול באמצעות MeshConfig (למשל, ב-ConfigMap של istio-asm-managed). כשמחילים את localityLbSetting על כל הרשת, צריך רק בלוק outlierDetection ריק ב-DestinationRule כדי להפעיל ניתוב Waterfall.
קובצי ה-YAML הבאים מספקים דוגמה ל-MeshConfig ול-DestinationRule להגדרה הזו:
MeshConfig (גלובלי):
apiVersion: v1
kind: ConfigMap
metadata:
name: istio-asm-managed
namespace: istio-system
data:
mesh: |-
localityLbSetting:
enabled: true # or failover: []
DestinationRule (ספציפי לשירות):
apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
name: backend-waterfall-rule
spec:
host: my-backend.default.svc.cluster.local
trafficPolicy:
outlierDetection: {}
החלת הגדרות המיקום לפי גרסת עומס העבודה
מכיוון שהגדרות מיקום ספציפיות לקבוצת משנה וספציפיות ליציאה לא נתמכות ב-DestinationRule, אתם יכולים להשתמש בכמה הגדרות של שירות Kubernetes כדי לספק הגדרות ניתוב לכל שירות, וכך להשיג התנהגות מיקום משולבת.