פתרון בעיות בניהול תעבורת הנתונים ב-Cloud Service Mesh

בקטע הזה מוסברות בעיות נפוצות ב-Cloud Service Mesh ואיך לפתור אותן. אם אתם צריכים עזרה נוספת, תוכלו להיעזר במאמר קבלת תמיכה.

שגיאות בחיבור לשרת ה-API ביומני istiod

אם מופיעות שגיאות כמו אלה, ל-Istiod אין אפשרות ליצור קשר עם apiserver:

error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused

כדי למצוא את השגיאה הזו ביומנים, אפשר להשתמש במחרוזת הביטוי הרגולרי /error.*cannot list resource/.

בדרך כלל השגיאה הזו זמנית, ואם הגעתם ליומני ה-Proxy באמצעות kubectl, יכול להיות שהבעיה כבר נפתרה. בדרך כלל השגיאה הזו נגרמת בגלל אירועים שגורמים לשרת ה-API להיות לא זמין באופן זמני, למשל כששרת API שלא נמצא בהגדרת זמינות גבוהה מופעל מחדש לצורך שדרוג או שינוי של התאמה לעומס.

הקונטיינר istio-init קורס

הבעיה הזו יכולה לקרות כשכללי ה-iptables של ה-Pod לא חלים על מרחב השמות של הרשת של ה-Pod. הסיבות לכך יכולות להיות:

  • התקנה חלקית של istio-cni
  • אין מספיק הרשאות לפוד של עומס העבודה (חסרה ההרשאה CAP_NET_ADMIN)

אם אתם משתמשים בפלאגין Istio CNI, ודאו שפעלתם לפי ההוראות במלואן. מוודאים שהמאגר istio-cni-node מוכן ובודקים את היומנים. אם הבעיה נמשכת, פותחים חיבור Secure Shell‏ (SSH) לצומת המארח ומחפשים ביומני הצומת פקודות nsenter כדי לבדוק אם יש שגיאות.

אם אתם לא משתמשים בפלאגין Istio CNI, ודאו של-pod של עומס העבודה יש הרשאת CAP_NET_ADMIN, שמוגדרת באופן אוטומטי על ידי הרכיב להחדרת sidecar אוטומטית.

החיבור נדחה אחרי שה-Pod התחיל

כש-Pod מתחיל ומקבל connection refused בניסיון להתחבר לנקודת קצה, יכול להיות שהבעיה היא שמאגר האפליקציה התחיל לפני המאגר isto-proxy. במקרה הזה, מאגר האפליקציה שולח את הבקשה אל istio-proxy, אבל החיבור נדחה כי istio-proxy עדיין לא מאזין ליציאה.

במקרה כזה, אפשר לבצע את הפעולות הבאות:

  • משנים את קוד ההפעלה של האפליקציה כדי לשלוח בקשות רציפות לנקודת הקצה (endpoint) של תקינות istio-proxy עד שהאפליקציה מקבלת קוד 200. נקודת הקצה (endpoint) של התקינות ב-istio-proxy היא:

    http://localhost:15020/healthz/ready
    
  • הוספת מנגנון של בקשות חוזרות לעומס העבודה של האפליקציה.

הצגת שערים מחזירה תוצאה ריקה

התופעה: כשמציגים את רשימת השערים באמצעות kubectl get gateway --all-namespaces אחרי שיוצרים בהצלחה שער של Cloud Service Mesh, הפקודה מחזירה את הערך No resources found.

הבעיה הזו יכולה לקרות ב-GKE מגרסה 1.20 ואילך, כי בקר השער של GKE מתקין באופן אוטומטי את המשאב Gateway.networking.x-k8s.io/v1alpha1 של GKE באשכולות. כדי לעקוף את הבעיה:

  1. בודקים אם יש כמה משאבים מותאמים אישית של שערים באשכול:

    kubectl api-resources | grep gateway
    

    פלט לדוגמה:

    gateways                          gw           networking.istio.io/v1beta1            true         Gateway
    gatewayclasses                    gc           networking.x-k8s.io/v1alpha1           false        GatewayClass
    gateways                          gtw          networking.x-k8s.io/v1alpha1           true         Gateway

  2. אם ברשימה מופיעים פריטים אחרים מלבד שערים עם apiVersion networking.istio.io/v1beta1, צריך להשתמש בשם המשאב המלא או בשמות המקוצרים הייחודיים בפקודה kubectl. לדוגמה, מריצים את הפקודה kubectl get gw או kubectl get gateways.networking.istio.io במקום kubectl get gateway כדי לוודא ששערי Istio מופיעים ברשימה.

למידע נוסף על הבעיה הזו, ראו שערי Kubernetes ושערי Istio.

שרת ה-proxy של Envoy נתקע במהלך האתחול

אם ביומני ניפוי הבאגים מצוין ששרת ה-proxy של Envoy נתקע במהלך האתחול, אתם יכולים להשתמש בפקודה הבאה כדי לזהות מה חוסם את התהליך:

kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump

פתרון בעיות שקשורות לשגיאות בתגובות HTTP 5xx

יכול להיות שתיתקלו בשגיאות בתגובות HTTP 5xx כשאתם ניגשים לאפליקציות דרך שער הכניסה של Istio. כדי לזהות ולפתור את הבעיה, צריך לפעול לפי השלבים הבאים.

  1. זיהוי מישור הבקרה
  2. בדיקת הגדרות שגויות אפשריות
  3. אימות של זיהוי הפוד
  4. ניתוח יומני גישה

זיהוי מישור הבקרה

בודקים את הגרסה וההגדרות של מישור הבקרה, כי גרסאות שונות יכולות להשפיע על תהליכי האבחון. כדי לבדוק את המצב של מישור הבקרה המנוהל, מריצים את הפקודה הבאה:

gcloud container fleet mesh describe --project PROJECT_ID

הסטטוס ACTIVE מציין שמישור הבקרה המנוהל פועל כרגיל.

אימות של הגדרות שגויות פוטנציאליות

הגדרות שגויות נפוצות שעלולות לגרום לכשלים בניתוב:

  • חוסר התאמה במרחב השמות: ה-VirtualService חייב להיות באותו מרחב שמות כמו שירות ה-GKE לקצה העורפי.
  • חוסר התאמה בהפניה לשער: ה-VirtualService חייב להפנות באופן מפורש ל-Gateway הנכון. לדוגמה, אם VirtualService מפנה אל istio-system/istio-ingressgateway אבל השער נמצא במרחב השמות default, התנועה לא תנותב בצורה נכונה.

אימות הגילוי של Pod

מוודאים שה-mesh מזהה בצורה נכונה את ה-pod של האפליקציה:

istioctl proxy-config endpoints POD_NAME

ניתוח יומני גישה

מפעילים את יומני הגישה כדי לבדוק אם מקור השגיאות הוא באפליקציית הקצה העורפי או בשרת ה-proxy. השדות העיקריים הם RESPONSE_FLAGS,‏ UPSTREAM_LOCAL_ADDRESS ו-RESPONSE_CODE.

אם היומנים מצביעים על שגיאות במעלה הזרם, בצעו בדיקת curl ישירה לשירות GKE מ-Pod באותו מרחב שמות. אם בקשת ה-curl מחזירה את אותה שגיאת 5xx, מקור הבעיה הוא באפליקציית הקצה העורפי עצמה.

פתרון בעיות שקשורות לאישורי SSL

שגיאות באישור ה-SSL ב-Istio Ingress Gateway יכולות להיגרם בגלל אישורים שפג תוקפם, חוסר התאמה בפרוטוקולים או הגדרות סודיות שגויות.

זיהוי שגיאות SSL

בודקים את היומנים מה-pod של Istio Ingress Gateway:

kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE

אימות אישורים ומפתחות

מוודאים שהאישור והמפתח הפרטי תקינים ותואמים באמצעות גיבוב MD5:

openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5

מוודאים שהתוקף של האישור לא פג ושהשם הנפוץ (CN) או השם החלופי של הבעלים (SAN) תואמים לדומיין.

בדיקת פרוטוקול TLS והגדרת הסוד

בודקים את גרסת ה-TLS ואת סט האלגוריתמים להצפנה (cipher suite) ב-CRD של Gateway. מוודאים שהסוד של Kubernetes שמכיל את האישור והמפתח נמצא באותו מרחב שמות כמו שער ה-Ingress, ושהערך של credentialName תואם לשם הסוד.

פתרון בעיות של פסקי זמן לסירוגין בנקודות קצה חיצוניות

יכול להיות שיהיו פסקי זמן לסירוגין כשנשלחות בקשות לנקודות קצה (endpoints) חיצוניות (כמו NLB של צד שלישי) שמתקבלות בכמה כתובות IP.

סיבה אפשרית: רזולוציית ServiceEntry

אם הערך של spec.resolution הוא DNS, ‏Istio משתמש ב-"strict DNS" כדי לאזן את העומסים בכל כתובות ה-IP שפוענחו. חלק מה-NLB לא תומכים באפשרות הזו.

רזולוציה

כדי לפתור את הבעיה, צריך להגדיר את הרזולוציה של ServiceEntry ל-DNS_ROUND_ROBIN.

פתרון בעיות של זמן קצוב לתפוגה או עליות חדות הדרגתיות בזמן האחזור

אם כמה אשכולות רשומים לאותו צי, יכול להיות שיהיו פסקי זמן לסירוגין, שגיאות 503 עם דגלי תגובה UF או קפיצות חדות בזמן האחזור.

סיבה אפשרית: הגדרה שגויה של גילוי נקודות קצה (endpoint) בין אשכולות

ניהול אוטומטי מפעיל כברירת מחדל את האפשרות לגלות נקודות קצה באשכולות שונים (multicluster_mode: connected). אם התכונה הזו מופעלת בכמה אשכולות באותו צי, מתבצע איזון עומסים של תעבורת הנתונים ביניהם. אם לא מגדירים כללים של חומת אש בענן וירטואלי פרטי (VPC) בין האשכולות, הזמן הקצוב לתפוגה נגמר.

רזולוציה

כדי לפתור את הבעיה, השביתו את זיהוי נקודות הקצה בכמה אשכולות באשכולות עצמאיים או פתחו כללים של חומת אש בין Pod ל-Pod. לפרטים, ראו זמנים קצובים לתפוגה בין אשכולות, זמן אחזור ארוך או תנועה לא צפויה בין אשכולות.

פתרון בעיות שקשורות לחלוקה לא שווה של תנועה

אם התנועה לא מפוזרת באופן שווה בין הפודים של האפליקציה, כדאי לבדוק את הדברים הבאים:

  • תקינות Pod: מוודאים שכל ה-Pods של האפליקציה היו תקינים בזמן חוסר האיזון.
  • אלגוריתם של איזון עומסים: בודקים את ההגדרה DestinationRule של loadBalancer (למשל, consistentHash או ROUND_ROBIN).
  • איזון עומסים מקומי: בודקים אם localityLbSetting מופעל. שימו לב שאין תמיכה בזה במישור הבקרה של TRAFFIC_DIRECTOR.

פתרון בעיות בהפצת שירותים ובמכסות

אם שירותים חדשים או הגדרות רשת חדשות לא משתקפים ברשת, יכול להיות שהסיבה לכך היא שהגעתם למכסות המשאבים בפרויקט של ה-fleet.

תסמינים

  • הגדרות הרשת (כמו VirtualService או DestinationRule) לא נשלחות לקובצי עזר חיצוניים.
  • שירותים חדשים נראים "בלתי נראים" לרשת למרות שהם מוגדרים בצורה נכונה.

השלבים לזיהוי ולפתרון הבעיה

  1. בדיקת מכסות המשאבים: בודקים אם פרויקט ה-Fleet הגיע למכסה של משאבי BackendService, באמצעות בדיקת המכסה של שירותי הקצה העורפי של Global internal traffic director בפרויקט ה-Fleet. בדרך כלל, Cloud Service Mesh יוצר BackendService אחד לכל יציאת שירות של Kubernetes.
  2. בדיקת מגבלות ההיקף: ודאו שההגדרות שלכם לא חורגות ממגבלות ההיקף שנתמכות ב-Cloud Service Mesh.
  3. הגדלת המכסות: אם הגעתם למכסות, בקשו להגדיל את המשאב המושפע בפרויקט ה-Fleet כדי לשחזר את הפצת השירות הרגילה.

פתרון בעיות בהערכה של VirtualService

אם VirtualService לא פועל כצפוי, זכרו שהנתיבים נבדקים לפי הסדר שבו הם מופיעים. כשיש כמה שירותים וירטואליים לאותו מארח, הנתיבים שלהם מתמזגים. המסלולים משירותים וירטואליים "ישנים יותר" מקבלים עדיפות, ולכן הם ממוקמים לפני מסלולים משירותים וירטואליים "חדשים יותר" ברשימה הממוזגת. זה מחזק את הכלל "ההתאמה הראשונה".

פתרון בעיות באיזון עומסים לפי מיקום

כברירת מחדל, איזון עומסים לפי מיקום מפנה את תעבורת הנתונים של הלקוח לנקודות קצה באותו אזור (האזור הראשי, או עדיפות 0). ‫Envoy מנתב תנועה לאזורי יתירות כשל (עדיפות 1 ומעלה) רק כשנקודות הקצה באזור הראשי לא תקינות או לא זמינות.

אם אתם לא משנים את קנה המידה של נקודות הקצה כדי לטפל בכל העומס באזור, או אם אתם מעדיפים לפצל את התנועה בין אזורים, אתם יכולים לבצע אחת מהפעולות הבאות:

  • משנים את קנה המידה של הפודים באזורים המתאימים כדי לטפל בעומס התנועה המקומי.
  • משביתים את ההגדרה של איזון עומסים מקומי.

זיהוי הגדרות של איזון עומסים מקומי

איזון עומסים מקומי מסתמך על תוויות טופולוגיה של צמתים כדי לקבץ נקודות קצה. כדי לאמת את תוויות הצמתים ולבדוק את ההגדרות, משתמשים בפקודות הבאות:

  • מאמתים את תוויות הטופולוגיה של הצומת:

    kubectl get nodes -o custom-columns=NAME:.metadata.name,\
        REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\
        ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"
    
  • ב-GKE DestinationRules, בודקים את הגדרות המיקום:

    kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
    

    מחפשים את localityLbSetting: enabled: true בפלט.

  • כדי לבדוק את נקודות הקצה, העדיפויות והתקינות של שרת ה-proxy של Envoy:

    istioctl proxy-config endpoints POD_NAME.NAMESPACE \
        --cluster "outbound|PORT||SERVICE_FQDN" -o json
    

    מחפשים את השדה priority בהגדרות של נקודת הקצה.

  • כדי לראות את ההגדרות המפורטות של האשכולות הפעילים:

    istioctl proxy-config cluster POD_NAME.NAMESPACE \
        --fqdn SERVICE_FQDN -o json