פתרון בעיות בבדיקות תקינות של Ingress

אם בדיקות תקינות של Ingress ב-Google Kubernetes Engine ‏ (GKE) נכשלות, יכול להיות שהתנועה לא תגיע לאפליקציה שלכם, גם אם קבוצות ה-Pod פועלות.

במאמר הזה נסביר איך בדיקות תקינות של Ingress פועלות, נפרט שיקולים לגבי BackendConfig ובדיקות מוכנות, ונסביר איך לאבחן בעיות כמו אפליקציות שלא מגיבות או כללי חומת אש חסרים.

המידע הזה חשוב למנהלים ולמפעילים של פלטפורמות, ולמפתחי אפליקציות שמגדירים ומנהלים משאבי Ingress וצריכים לוודא שהאפליקציות שלהם מדווחות בצורה נכונה על תקינות למאזן העומסים. מידע נוסף על התפקידים הנפוצים ומשימות לדוגמה שאנחנו מתייחסים אליהם בתוכן של Google Cloud , זמין במאמר תפקידים נפוצים של משתמשי GKE ומשימות.

איך פועלים בדיקות תקינות של Ingress

לפני שממשיכים לשלבי פתרון הבעיות, כדאי להבין איך בדיקות התקינות פועלות ב-GKE ומהם השיקולים שצריך לקחת בחשבון כדי להבטיח שהבדיקות יצליחו.

כשחושפים שירות אחד או יותר דרך Ingress באמצעות בקר Ingress שמוגדר כברירת מחדל, ‏ GKE יוצר מאזן עומסים קלאסי של אפליקציות או מאזן עומסים פנימי של אפליקציות. שני מאזני העומסים האלה תומכים בכמה שירותי לקצה העורפי במפת URL יחידה. כל אחד מהשירותים לקצה העורפי תואם לשירות Kubernetes, וכל שירות לקצה העורפי צריך להפנות אל Google Cloud בדיקת תקינות. בדיקת התקינות הזו שונה מבדיקת תקינות או מוכנות של Kubernetes, כי היא מיושמת מחוץ לאשכול.

בדיקות תקינות של מאזן העומסים מוגדרות לכל שירות לקצה העורפי. אפשר להשתמש באותו בדיקת תקינות לכל שירותי הקצה העורפי של מאזן העומסים, אבל ההפניה לבדיקת התקינות לא מצוינת עבור מאזן העומסים כולו (באובייקט Ingress עצמו).

‫GKE יוצר בדיקות תקינות על סמך אחת מהשיטות הבאות:

  • ‫BackendConfig CRD: הגדרת משאב בהתאמה אישית (CRD) שמאפשרת לכם לשלוט באופן מדויק באינטראקציה של השירותים עם מאזן העומסים. BackendConfig CRD מאפשרים לציין הגדרות מותאמות אישית לבדיקת תקינות שמשויכת לשירות לקצה העורפי המתאים. ההגדרות המותאמות אישית האלה מספקות גמישות ושליטה רבות יותר בבדיקות התקינות של מאזן עומסים קלאסי של אפליקציות (ALB) ושל מאזן עומסים פנימי של אפליקציות שנוצר על ידי Ingress.
  • בדיקת מוכנות: בדיקה אבחונית שקובעת אם קונטיינר ב-Pod מוכן להצגת תעבורה. בקר ה-Ingress של GKE יוצר את בדיקת התקינות של השירות לקצה העורפי של השירות, על סמך בדיקת המוכנות שבה משתמשים ה-Pods שמספקים את השירות. אפשר לגזור את הפרמטרים של בדיקת תקינות, כמו נתיב, יציאה ופרוטוקול, מההגדרה של בדיקת המוכנות.
  • ערכי ברירת מחדל: הפרמטרים שבהם נעשה שימוש כשלא מגדירים CRD של BackendConfig או מאפיינים לבדיקת המוכנות.
שיטה מומלצת:

כדי לקבל את השליטה המקסימלית על הגדרות בדיקת התקינות של מאזן העומסים, כדאי להשתמש ב-BackendConfig CRD.

ב-GKE, התהליך הבא משמש ליצירת בדיקת תקינות לכל שירות לקצה העורפי שתואם לשירות Kubernetes:

  • אם השירות מפנה אל CRD של BackendConfig עם מידע של healthCheck, ‏ GKE משתמש במידע הזה כדי ליצור את בדיקת תקינות. גם ב-GKE Enterprise Ingress controller וגם ב-GKE Ingress controller יש תמיכה ביצירת בדיקות תקינות בדרך הזו.

  • אם השירות לא מפנה ל-CRD של BackendConfig:

    • מערכת GKE יכולה להסיק חלק מהפרמטרים של בדיקת תקינות או את כולם, אם ה-Serving Pods משתמשים בתבנית Pod עם מאגר שתכונת בדיקת המוכנות שלו כוללת מאפיינים שאפשר לפרש כפרמטרים של בדיקת תקינות. במאמר פרמטרים מתוך בדיקת מוכנות מפורטים פרטי ההטמעה, ובמאמר פרמטרים שמוגדרים כברירת מחדל ופרמטרים שמוסקים מופיעה רשימה של מאפיינים שאפשר להשתמש בהם כדי ליצור פרמטרים של בדיקת תקינות. רק בבקר GKE Ingress יש תמיכה בהסקת פרמטרים מבדיקת מוכנות.

    • אם בתבנית ה-Pod של ה-Pods להצגת שירות אין קונטיינר עם בדיקת מוכנות שהמאפיינים שלה יכולים להתפרש כפרמטרים של בדיקת תקינות, ערכי ברירת המחדל משמשים ליצירת בדיקת התקינות. גם בקר ה-Ingress של GKE Enterprise וגם בקר ה-Ingress של GKE יכולים ליצור בדיקת תקינות באמצעות ערכי ברירת המחדל בלבד.

לתשומת ליבכם

בקטע הזה מפורטים כמה שיקולים שכדאי לזכור כשמגדירים BackendConfig CRD או משתמשים בבדיקת מוכנות.

BackendConfig CRD

כשמגדירים CRD של BackendConfig, חשוב לזכור את הנקודות הבאות:

  • אם אתם משתמשים באיזון עומסים מובנה בקונטיינר, צריך לוודא שיציאת בדיקת התקינות במניפסט BackendConfig תואמת ל-containerPort של Pod שמשרת בקשות.
  • לדוגמה, אם משתמשים בבקאנד של קבוצת מופעים, צריך לוודא שהיציאה של בדיקת תקינות בBackendConfigמניפסט תואמת לnodePort שנחשפת על ידי השירות.
  • ‫Ingress לא תומך ב-gRPC להגדרות של בדיקות תקינות בהתאמה אישית. ב-BackendConfig אפשר ליצור בדיקות תקינות רק באמצעות הפרוטוקולים HTTP,‏ HTTPS או HTTP2. במאמר gke-networking-recipes מופיעה דוגמה לשימוש בפרוטוקול ב-CRD של BackendConfig.

מידע נוסף זמין במאמר מתי כדאי להשתמש ב-CRD של BackendConfig.

בדיקת מוכנות

כשמשתמשים ב-GKE Ingress עם איזון עומסים של HTTP או HTTPS,‏ GKE שולח את בדיקות תקינות כדי לקבוע אם האפליקציה פועלת בצורה תקינה. בדיקות התקינות האלה נשלחות ליציאה הספציפית ב-Pods שהגדרתם בקטע spec.containers[].readinessProbe.httpGet.port של הגדרת ה-YAML של ה-Pod, כל עוד מתקיימים התנאים הבאים:

  • מספר היציאה של בדיקת המוכנות שצוין ב-spec.containers[].readinessProbe.httpGet.port חייב להיות זהה ליציאה בפועל שהאפליקציה מאזינה לה בקונטיינר, שמוגדרת בשדה containers[].spec.ports.containerPort בהגדרת ה-Pod.
  • ה-containerPort של ה-Pod שממנו מתבצעת ההצגה חייב להיות זהה ל-targetPort של השירות. כך מוודאים שהתנועה מופנית מהשירות ליציאה הנכונה ב-Pods.
  • מפרט יציאת העורף של שירות ב-Ingress חייב להפנות ליציאה חוקית מהקטע spec.ports[] בהגדרת השירות. אפשר לעשות זאת באחת משתי דרכים:
    • spec.rules[].http.paths[].backend.service.port.name ב-Ingress matches spec.ports[].name שמוגדר בשירות המתאים.
    • הערך spec.rules[].http.paths[].backend.service.port.number ב-Ingress תואם לערך spec.ports[].port שמוגדר בשירות המתאים.

פתרון בעיות נפוצות בבדיקת התקינות

אפשר להשתמש בתרשים הזרימה הבא לפתרון בעיות כדי לזהות בעיות בבדיקת התקינות:

פתרון בעיות שקשורות לבדיקות תקינות של Ingress.
איור: פתרון בעיות בבדיקות תקינות

בתרשים הזרימה הזה, ההנחיות הבאות לפתרון בעיות עוזרות לקבוע איפה הבעיה:

  1. בדיקת תקינות ה-Pod: אם בדיקת התקינות נכשלת, בודקים את הסטטוס של ה-Pods שמציגים את השירות. אם ה-Pods לא פועלים ולא תקינים:

    • בודקים אם יש שגיאות או בעיות ביומני ה-Pod שמונעות את ההפעלה שלהם.
    • בודקים את הסטטוס של בדיקות המוכנות והפעילות.
  2. רישום ביומן של בדיקות תקינות: מוודאים שהפעלתם את הרישום ביומן של בדיקות התקינות.

  3. בדיקת ההגדרות של חומת האש: מוודאים שכללי חומת האש מאפשרים לבדיקות של בדיקת תקינות להגיע ל-Pods. אם לא:

    • בודקים את הכללים של חומת האש כדי לוודא שהם מאפשרים תעבורה נכנסת מטווח כתובות ה-IP של בדיקות תקינות.
    • משנים את הכללים של חומת האש לפי הצורך כדי להתאים לטווחי כתובות ה-IP האלה.
  4. ניתוח של לכידת חבילות: אם חומת האש מוגדרת בצורה נכונה, מבצעים לכידת חבילות כדי לבדוק אם האפליקציה מגיבה לבדיקות התקינות. אם לכידת החבילות מראה תגובה מוצלחת, פנו לתמיכה שלGoogle Cloud כדי לקבל עזרה נוספת.

  5. פתרון בעיות באפליקציה: אם לכידת המנות לא מציגה תגובה מוצלחת, צריך לבדוק למה האפליקציה לא מגיבה בצורה נכונה לבקשות של בדיקת תקינות. מוודאים שבדיקת התקינות מכוונת לנתיב וליציאה הנכונים ב-Pods, ובודקים את יומני האפליקציות, קובצי התצורה והתלות. אם אתם לא מצליחים למצוא את השגיאה, פנו לתמיכה של Google Cloud .

האפליקציה לא מגיבה לבדיקות תקינות

האפליקציה לא מגיבה עם קוד הסטטוס הצפוי (200 OK ל-HTTP או SYN, ‏ ACK ל-TCP) במהלך בדיקות התקינות בנתיב וביציאה שהוגדרו.

אם האפליקציה לא מגיבה בצורה תקינה לבדיקות התקינות, יכול להיות שזה בגלל אחת מהסיבות הבאות:

  • קבוצות של נקודות קצה ברשת(NEGs):
    • האפליקציה לא פועלת כמו שצריך ב-Pod.
    • האפליקציה לא מאזינה ליציאה או לנתיב שהוגדרו.
    • יש בעיות בקישוריות לרשת שמונעות מהבדיקה להגיע ל-Pod.
  • קבוצת מכונות:
    • הצמתים בקבוצת המופעים לא תקינים.
    • האפליקציה לא פועלת כמו שצריך בצמתים.
    • הבקשות לבדיקת התקינות לא מגיעות לצמתים.

אם בדיקות התקינות נכשלות, צריך לפתור את הבעיה בהתאם להגדרה שלכם:

ל-NEG:

  1. כדי לגשת ל-Pod באמצעות kubectl exec:

    kubectl exec -it pod-name -- command
    

    הדגל -it מספק סשן טרמינל אינטראקטיבי (i לאינטראקטיבי, t ל-TTY).

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫pod-name: שם ה-Pod.
    • ‫command: הפקודה שרוצים להריץ בתוך ה-Pod. הפקודה הנפוצה ביותר היא bash או sh כדי לקבל מעטפת אינטראקטיבית.
  2. מריצים פקודות curl כדי לבדוק את הקישוריות ואת מהירות התגובה של האפליקציה:

    • curl localhost:<Port>/<Path>
    • curl -v http://<POD_IP>/[Path configured in HC]
    • curl http://localhost/[Path configured in HC]

לקבוצות של מכונות:

  1. מוודאים שהצמתים תקינים ומגיבים לבקשות לבדיקות תקינות (probes) שמוגדרות כברירת מחדל.
  2. אם הצמתים תקינים אבל ה-Pod של האפליקציה לא מגיב, צריך לבדוק את האפליקציה לעומק.
  3. אם הבקשות לא מגיעות ל-Pods, יכול להיות שיש בעיה ברשת GKE. כדי לקבל עזרה, צריך לפנות לתמיכה של Google Cloud .

שגיאה בעריכת בדיקת המוכנות ב-Pod

כשמנסים לערוך את בדיקת המוכנות ב-Pod כדי לשנות את הפרמטרים של בדיקת התקינות, מופיעה שגיאה דומה לזו שמופיעה בהמשך:

Pod "pod-name" is invalid: spec: Forbidden: pod updates may not change fields

אם משנים את בדיקת המוכנות של ה-Pods שמשויכים לשירות שכבר מקושר ל-Ingress (ולמאזן העומסים התואם שלו), GKE לא מעדכן אוטומטית את הגדרת בדיקת תקינות במאזן העומסים. כתוצאה מכך, יש חוסר התאמה בין בדיקת המוכנות של ה-Pod לבין בדיקת התקינות של מאזן העומסים, ובדיקת התקינות נכשלת.

כדי לפתור את הבעיה, צריך לפרוס מחדש את ה-Pods ואת משאב ה-Ingress. הפעולה הזו גורמת ל-GKE ליצור מחדש את איזון העומסים ואת בדיקות התקינות שלו, ולשלב את ההגדרות החדשות של בדיקת המוכנות.

הפריסה ומאזן העומסים לא מתחילים

אם הפריסה לא מתחילה ושירותי הקצה העורפי שמאחורי מאזן העומסים של בקר ה-Ingress מסומנים כלא תקינים, יכול להיות שהסיבה היא כשל בבדיקת המוכנות.

יכול להיות שתופיע הודעת השגיאה הבאה שבה מוזכר כשל בבדיקת המוכנות:

Readiness probe failed: connection refused

האפליקציה ב-Pod לא מגיבה כמו שצריך לבדיקת המוכנות שמוגדרת בהגדרות ה-YAML של ה-Pod. יכולות להיות לכך סיבות שונות, כמו אפליקציה שלא הופעלה כמו שצריך, האזנה ליציאה הלא נכונה או שגיאה במהלך האתחול.

כדי לפתור את הבעיה, צריך לבדוק ולתקן את כל אי ההתאמות בהגדרות או בהתנהגות של האפליקציה. לשם כך:

  • מוודאים שהאפליקציה מוגדרת בצורה נכונה ומגיבה בנתיב ובפורט שצוינו בפרמטרים של בדיקת המוכנות.
  • בודקים את יומני האפליקציה ופותרים בעיות או שגיאות בהפעלה.
  • מוודאים שהיציאה containerPort בהגדרות של ה-Pod זהה ליציאה targetPort בשירות וליציאת ה-Backend שצוינה ב-Ingress.

חסרים כללים אוטומטיים של חומת אש לתעבורת נתונים נכנסת (ingress)

יצרתם משאב Ingress אבל התנועה לא מגיעה לשירות הקצה העורפי.

כללי חומת האש האוטומטיים של תעבורת הנתונים הנכנסת (ingress), שבדרך כלל נוצרים על ידי GKE כשנוצר משאב Ingress, חסרים או נמחקו בטעות.

כדי לשחזר את הקישוריות לשירות לקצה העורפי, מבצעים את השלבים הבאים:

  • מוודאים שכללי חומת האש של תעבורת הנתונים הנכנסת (ingress) שנוצרים באופן אוטומטי קיימים ברשת ה-VPC.
  • אם הכללים חסרים, אפשר ליצור אותם מחדש באופן ידני או למחוק וליצור מחדש את משאב ה-Ingress כדי להפעיל את היצירה האוטומטית שלהם.
  • מוודאים שכללי חומת האש מאפשרים תעבורה ביציאות ובפרוטוקולים המתאימים, כפי שמוגדר במשאב Ingress.

נעשה שימוש בפרוטוקול שגוי במניפסט של BackendConfig

אם מגדירים BackendConfig CRD עם פרוטוקול מסוג TCP, תופיע השגיאה הבאה:

Error syncing to GCP: error running backend syncing routine:
error ensuring health check: Protocol "TCP" is not valid, must be one of ["HTTP","HTTPS","HTTP2"]'

ב-BackendConfig אפשר ליצור בדיקות תקינות רק באמצעות הפרוטוקולים HTTP,‏ HTTPS או HTTP/2. מידע נוסף אפשר למצוא במאמר בנושא קריטריונים להצלחה של HTTP,‏ HTTPS ו-HTTP/2.

המאמרים הבאים