אם בדיקות תקינות של Ingress ב-Google Kubernetes Engine (GKE) נכשלות, יכול להיות שהתנועה לא תגיע לאפליקציה שלכם, גם אם קבוצות ה-Pod פועלות.
במאמר הזה נסביר איך בדיקות תקינות של Ingress פועלות, נפרט שיקולים לגבי BackendConfig ובדיקות מוכנות, ונסביר איך לאבחן בעיות כמו אפליקציות שלא מגיבות או כללי חומת אש חסרים.
המידע הזה חשוב למנהלים ולמפעילים של פלטפורמות, ולמפתחי אפליקציות שמגדירים ומנהלים משאבי Ingress וצריכים לוודא שהאפליקציות שלהם מדווחות בצורה נכונה על תקינות למאזן העומסים. מידע נוסף על התפקידים הנפוצים ומשימות לדוגמה שאנחנו מתייחסים אליהם בתוכן של Google Cloud , זמין במאמר תפקידים נפוצים של משתמשי GKE ומשימות.
איך פועלים בדיקות תקינות של Ingress
לפני שממשיכים לשלבי פתרון הבעיות, כדאי להבין איך בדיקות התקינות פועלות ב-GKE ומהם השיקולים שצריך לקחת בחשבון כדי להבטיח שהבדיקות יצליחו.
כשחושפים שירות אחד או יותר דרך Ingress באמצעות בקר Ingress שמוגדר כברירת מחדל, GKE יוצר מאזן עומסים קלאסי של אפליקציות או מאזן עומסים פנימי של אפליקציות. שני מאזני העומסים האלה תומכים בכמה שירותי לקצה העורפי במפת URL יחידה. כל אחד מהשירותים לקצה העורפי תואם לשירות Kubernetes, וכל שירות לקצה העורפי צריך להפנות אל Google Cloud בדיקת תקינות. בדיקת התקינות הזו שונה מבדיקת תקינות או מוכנות של Kubernetes, כי היא מיושמת מחוץ לאשכול.
בדיקות תקינות של מאזן העומסים מוגדרות לכל שירות לקצה העורפי. אפשר להשתמש באותו בדיקת תקינות לכל שירותי הקצה העורפי של מאזן העומסים, אבל ההפניה לבדיקת התקינות לא מצוינת עבור מאזן העומסים כולו (באובייקט Ingress עצמו).
GKE יוצר בדיקות תקינות על סמך אחת מהשיטות הבאות:
-
BackendConfigCRD: הגדרת משאב בהתאמה אישית (CRD) שמאפשרת לכם לשלוט באופן מדויק באינטראקציה של השירותים עם מאזן העומסים.BackendConfigCRD מאפשרים לציין הגדרות מותאמות אישית לבדיקת תקינות שמשויכת לשירות לקצה העורפי המתאים. ההגדרות המותאמות אישית האלה מספקות גמישות ושליטה רבות יותר בבדיקות התקינות של מאזן עומסים קלאסי של אפליקציות (ALB) ושל מאזן עומסים פנימי של אפליקציות שנוצר על ידי Ingress. - בדיקת מוכנות: בדיקה אבחונית שקובעת אם קונטיינר ב-Pod מוכן להצגת תעבורה. בקר ה-Ingress של GKE יוצר את בדיקת התקינות של השירות לקצה העורפי של השירות, על סמך בדיקת המוכנות שבה משתמשים ה-Pods שמספקים את השירות. אפשר לגזור את הפרמטרים של בדיקת תקינות, כמו נתיב, יציאה ופרוטוקול, מההגדרה של בדיקת המוכנות.
- ערכי ברירת מחדל: הפרמטרים שבהם נעשה שימוש כשלא מגדירים CRD של
BackendConfigאו מאפיינים לבדיקת המוכנות.
כדי לקבל את השליטה המקסימלית על הגדרות בדיקת התקינות של מאזן העומסים, כדאי להשתמש ב-BackendConfig CRD.
ב-GKE, התהליך הבא משמש ליצירת בדיקת תקינות לכל שירות לקצה העורפי שתואם לשירות Kubernetes:
אם השירות מפנה אל CRD של
BackendConfigעם מידע שלhealthCheck, GKE משתמש במידע הזה כדי ליצור את בדיקת תקינות. גם ב-GKE Enterprise Ingress controller וגם ב-GKE Ingress controller יש תמיכה ביצירת בדיקות תקינות בדרך הזו.אם השירות לא מפנה ל-CRD של
BackendConfig:מערכת GKE יכולה להסיק חלק מהפרמטרים של בדיקת תקינות או את כולם, אם ה-Serving Pods משתמשים בתבנית Pod עם מאגר שתכונת בדיקת המוכנות שלו כוללת מאפיינים שאפשר לפרש כפרמטרים של בדיקת תקינות. במאמר פרמטרים מתוך בדיקת מוכנות מפורטים פרטי ההטמעה, ובמאמר פרמטרים שמוגדרים כברירת מחדל ופרמטרים שמוסקים מופיעה רשימה של מאפיינים שאפשר להשתמש בהם כדי ליצור פרמטרים של בדיקת תקינות. רק בבקר GKE Ingress יש תמיכה בהסקת פרמטרים מבדיקת מוכנות.
אם בתבנית ה-Pod של ה-Pods להצגת שירות אין קונטיינר עם בדיקת מוכנות שהמאפיינים שלה יכולים להתפרש כפרמטרים של בדיקת תקינות, ערכי ברירת המחדל משמשים ליצירת בדיקת התקינות. גם בקר ה-Ingress של GKE Enterprise וגם בקר ה-Ingress של GKE יכולים ליצור בדיקת תקינות באמצעות ערכי ברירת המחדל בלבד.
לתשומת ליבכם
בקטע הזה מפורטים כמה שיקולים שכדאי לזכור כשמגדירים BackendConfig CRD או משתמשים בבדיקת מוכנות.
BackendConfig CRD
כשמגדירים CRD של BackendConfig, חשוב לזכור את הנקודות הבאות:
- אם אתם משתמשים באיזון עומסים מובנה בקונטיינר, צריך לוודא שיציאת בדיקת התקינות במניפסט
BackendConfigתואמת ל-containerPortשל Pod שמשרת בקשות. - לדוגמה, אם משתמשים בבקאנד של קבוצת מופעים, צריך לוודא שהיציאה של בדיקת תקינות ב
BackendConfigמניפסט תואמת לnodePortשנחשפת על ידי השירות. - Ingress לא תומך ב-gRPC להגדרות של בדיקות תקינות בהתאמה אישית. ב-
BackendConfigאפשר ליצור בדיקות תקינות רק באמצעות הפרוטוקולים HTTP, HTTPS או HTTP2. במאמר gke-networking-recipes מופיעה דוגמה לשימוש בפרוטוקול ב-CRD שלBackendConfig.
מידע נוסף זמין במאמר מתי כדאי להשתמש ב-CRD של BackendConfig.
בדיקת מוכנות
כשמשתמשים ב-GKE Ingress עם איזון עומסים של HTTP או HTTPS, GKE שולח את בדיקות תקינות כדי לקבוע אם האפליקציה פועלת בצורה תקינה. בדיקות התקינות האלה נשלחות ליציאה הספציפית ב-Pods שהגדרתם בקטע spec.containers[].readinessProbe.httpGet.port של הגדרת ה-YAML של ה-Pod, כל עוד מתקיימים התנאים הבאים:
- מספר היציאה של בדיקת המוכנות שצוין ב-
spec.containers[].readinessProbe.httpGet.portחייב להיות זהה ליציאה בפועל שהאפליקציה מאזינה לה בקונטיינר, שמוגדרת בשדהcontainers[].spec.ports.containerPortבהגדרת ה-Pod. - ה-
containerPortשל ה-Pod שממנו מתבצעת ההצגה חייב להיות זהה ל-targetPortשל השירות. כך מוודאים שהתנועה מופנית מהשירות ליציאה הנכונה ב-Pods. - מפרט יציאת העורף של שירות ב-Ingress חייב להפנות ליציאה חוקית מהקטע
spec.ports[]בהגדרת השירות. אפשר לעשות זאת באחת משתי דרכים:spec.rules[].http.paths[].backend.service.port.nameב-Ingress matchesspec.ports[].nameשמוגדר בשירות המתאים.- הערך
spec.rules[].http.paths[].backend.service.port.numberב-Ingress תואם לערךspec.ports[].portשמוגדר בשירות המתאים.
פתרון בעיות נפוצות בבדיקת התקינות
אפשר להשתמש בתרשים הזרימה הבא לפתרון בעיות כדי לזהות בעיות בבדיקת התקינות:
בתרשים הזרימה הזה, ההנחיות הבאות לפתרון בעיות עוזרות לקבוע איפה הבעיה:
בדיקת תקינות ה-Pod: אם בדיקת התקינות נכשלת, בודקים את הסטטוס של ה-Pods שמציגים את השירות. אם ה-Pods לא פועלים ולא תקינים:
- בודקים אם יש שגיאות או בעיות ביומני ה-Pod שמונעות את ההפעלה שלהם.
- בודקים את הסטטוס של בדיקות המוכנות והפעילות.
רישום ביומן של בדיקות תקינות: מוודאים שהפעלתם את הרישום ביומן של בדיקות התקינות.
בדיקת ההגדרות של חומת האש: מוודאים שכללי חומת האש מאפשרים לבדיקות של בדיקת תקינות להגיע ל-Pods. אם לא:
- בודקים את הכללים של חומת האש כדי לוודא שהם מאפשרים תעבורה נכנסת מטווח כתובות ה-IP של בדיקות תקינות.
- משנים את הכללים של חומת האש לפי הצורך כדי להתאים לטווחי כתובות ה-IP האלה.
ניתוח של לכידת חבילות: אם חומת האש מוגדרת בצורה נכונה, מבצעים לכידת חבילות כדי לבדוק אם האפליקציה מגיבה לבדיקות התקינות. אם לכידת החבילות מראה תגובה מוצלחת, פנו לתמיכה שלGoogle Cloud כדי לקבל עזרה נוספת.
פתרון בעיות באפליקציה: אם לכידת המנות לא מציגה תגובה מוצלחת, צריך לבדוק למה האפליקציה לא מגיבה בצורה נכונה לבקשות של בדיקת תקינות. מוודאים שבדיקת התקינות מכוונת לנתיב וליציאה הנכונים ב-Pods, ובודקים את יומני האפליקציות, קובצי התצורה והתלות. אם אתם לא מצליחים למצוא את השגיאה, פנו לתמיכה של Google Cloud .
האפליקציה לא מגיבה לבדיקות תקינות
האפליקציה לא מגיבה עם קוד הסטטוס הצפוי (200 OK ל-HTTP או SYN, ACK ל-TCP) במהלך בדיקות התקינות בנתיב וביציאה שהוגדרו.
אם האפליקציה לא מגיבה בצורה תקינה לבדיקות התקינות, יכול להיות שזה בגלל אחת מהסיבות הבאות:
- קבוצות של נקודות קצה ברשת(NEGs):
- האפליקציה לא פועלת כמו שצריך ב-Pod.
- האפליקציה לא מאזינה ליציאה או לנתיב שהוגדרו.
- יש בעיות בקישוריות לרשת שמונעות מהבדיקה להגיע ל-Pod.
- קבוצת מכונות:
- הצמתים בקבוצת המופעים לא תקינים.
- האפליקציה לא פועלת כמו שצריך בצמתים.
- הבקשות לבדיקת התקינות לא מגיעות לצמתים.
אם בדיקות התקינות נכשלות, צריך לפתור את הבעיה בהתאם להגדרה שלכם:
ל-NEG:
כדי לגשת ל-Pod באמצעות
kubectl exec:kubectl exec -it pod-name -- commandהדגל
-itמספק סשן טרמינל אינטראקטיבי (i לאינטראקטיבי, t ל-TTY).מחליפים את מה שכתוב בשדות הבאים:
-
pod-name: שם ה-Pod. -
command: הפקודה שרוצים להריץ בתוך ה-Pod. הפקודה הנפוצה ביותר היאbashאוshכדי לקבל מעטפת אינטראקטיבית.
-
מריצים פקודות
curlכדי לבדוק את הקישוריות ואת מהירות התגובה של האפליקציה:curl localhost:<Port>/<Path>curl -v http://<POD_IP>/[Path configured in HC]curl http://localhost/[Path configured in HC]
לקבוצות של מכונות:
- מוודאים שהצמתים תקינים ומגיבים לבקשות לבדיקות תקינות (probes) שמוגדרות כברירת מחדל.
- אם הצמתים תקינים אבל ה-Pod של האפליקציה לא מגיב, צריך לבדוק את האפליקציה לעומק.
- אם הבקשות לא מגיעות ל-Pods, יכול להיות שיש בעיה ברשת GKE. כדי לקבל עזרה, צריך לפנות לתמיכה של Google Cloud .
שגיאה בעריכת בדיקת המוכנות ב-Pod
כשמנסים לערוך את בדיקת המוכנות ב-Pod כדי לשנות את הפרמטרים של בדיקת התקינות, מופיעה שגיאה דומה לזו שמופיעה בהמשך:
Pod "pod-name" is invalid: spec: Forbidden: pod updates may not change fields
אם משנים את בדיקת המוכנות של ה-Pods שמשויכים לשירות שכבר מקושר ל-Ingress (ולמאזן העומסים התואם שלו), GKE לא מעדכן אוטומטית את הגדרת בדיקת תקינות במאזן העומסים. כתוצאה מכך, יש חוסר התאמה בין בדיקת המוכנות של ה-Pod לבין בדיקת התקינות של מאזן העומסים, ובדיקת התקינות נכשלת.
כדי לפתור את הבעיה, צריך לפרוס מחדש את ה-Pods ואת משאב ה-Ingress. הפעולה הזו גורמת ל-GKE ליצור מחדש את איזון העומסים ואת בדיקות התקינות שלו, ולשלב את ההגדרות החדשות של בדיקת המוכנות.
הפריסה ומאזן העומסים לא מתחילים
אם הפריסה לא מתחילה ושירותי הקצה העורפי שמאחורי מאזן העומסים של בקר ה-Ingress מסומנים כלא תקינים, יכול להיות שהסיבה היא כשל בבדיקת המוכנות.
יכול להיות שתופיע הודעת השגיאה הבאה שבה מוזכר כשל בבדיקת המוכנות:
Readiness probe failed: connection refused
האפליקציה ב-Pod לא מגיבה כמו שצריך לבדיקת המוכנות שמוגדרת בהגדרות ה-YAML של ה-Pod. יכולות להיות לכך סיבות שונות, כמו אפליקציה שלא הופעלה כמו שצריך, האזנה ליציאה הלא נכונה או שגיאה במהלך האתחול.
כדי לפתור את הבעיה, צריך לבדוק ולתקן את כל אי ההתאמות בהגדרות או בהתנהגות של האפליקציה. לשם כך:
- מוודאים שהאפליקציה מוגדרת בצורה נכונה ומגיבה בנתיב ובפורט שצוינו בפרמטרים של בדיקת המוכנות.
- בודקים את יומני האפליקציה ופותרים בעיות או שגיאות בהפעלה.
- מוודאים שהיציאה
containerPortבהגדרות של ה-Pod זהה ליציאהtargetPortבשירות וליציאת ה-Backend שצוינה ב-Ingress.
חסרים כללים אוטומטיים של חומת אש לתעבורת נתונים נכנסת (ingress)
יצרתם משאב Ingress אבל התנועה לא מגיעה לשירות הקצה העורפי.
כללי חומת האש האוטומטיים של תעבורת הנתונים הנכנסת (ingress), שבדרך כלל נוצרים על ידי GKE כשנוצר משאב Ingress, חסרים או נמחקו בטעות.
כדי לשחזר את הקישוריות לשירות לקצה העורפי, מבצעים את השלבים הבאים:
- מוודאים שכללי חומת האש של תעבורת הנתונים הנכנסת (ingress) שנוצרים באופן אוטומטי קיימים ברשת ה-VPC.
- אם הכללים חסרים, אפשר ליצור אותם מחדש באופן ידני או למחוק וליצור מחדש את משאב ה-Ingress כדי להפעיל את היצירה האוטומטית שלהם.
- מוודאים שכללי חומת האש מאפשרים תעבורה ביציאות ובפרוטוקולים המתאימים, כפי שמוגדר במשאב Ingress.
נעשה שימוש בפרוטוקול שגוי במניפסט של BackendConfig
אם מגדירים BackendConfig CRD עם פרוטוקול מסוג TCP, תופיע השגיאה הבאה:
Error syncing to GCP: error running backend syncing routine:
error ensuring health check: Protocol "TCP" is not valid, must be one of ["HTTP","HTTPS","HTTP2"]'
ב-BackendConfig אפשר ליצור בדיקות תקינות רק באמצעות הפרוטוקולים HTTP, HTTPS או HTTP/2. מידע נוסף אפשר למצוא במאמר בנושא קריטריונים להצלחה של HTTP, HTTPS ו-HTTP/2.
המאמרים הבאים
כדי להגדיר בדיקות תקינות בהתאמה אישית ל-Ingress באשכול יחיד, קראו את המאמר מתכונים ליצירת רשתות ב-GKE.
אם לא מצאתם פתרון לבעיה שלכם במסמכים, תוכלו להיעזר בקבלת תמיכה, כולל עצות בנושאים הבאים:
- לפתוח בקשת תמיכה באמצעות פנייה ל-Cloud Customer Care.
- קבלת תמיכה מהקהילה על ידי פרסום שאלות ב-StackOverflow ושימוש בתג
google-kubernetes-engineכדי לחפש בעיות דומות. אתם יכולים גם להצטרף לערוץ Slack#kubernetes-engineכדי לקבל תמיכה מהקהילה. - דיווח על בעיות או שליחת בקשות להוספת תכונות באמצעות הכלי הציבורי Issue Tracker.