פתרון בעיות בניהול תעבורת הנתונים ב-Cloud Service Mesh
בקטע הזה מוסברות בעיות נפוצות ב-Cloud Service Mesh ואיך לפתור אותן. אם אתם צריכים עזרה נוספת, תוכלו להיעזר במאמר קבלת תמיכה.
שגיאות בחיבור לשרת ה-API ביומני istiod
אם מופיעות שגיאות כמו אלה, ל-Istiod אין אפשרות ליצור קשר עם apiserver:
error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused
כדי למצוא את השגיאה הזו ביומנים, אפשר להשתמש במחרוזת הביטוי הרגולרי /error.*cannot list resource/.
בדרך כלל השגיאה הזו זמנית, ואם הגעתם ליומני ה-Proxy באמצעות kubectl, יכול להיות שהבעיה כבר נפתרה. בדרך כלל השגיאה הזו נגרמת בגלל אירועים שגורמים לשרת ה-API להיות לא זמין באופן זמני, למשל כששרת API שלא נמצא בהגדרת זמינות גבוהה מופעל מחדש לצורך שדרוג או שינוי של התאמה לעומס.
הקונטיינר istio-init קורס
הבעיה הזו יכולה לקרות כשכללי ה-iptables של ה-Pod לא חלים על מרחב השמות של הרשת של ה-Pod. הסיבות לכך יכולות להיות:
- התקנה חלקית של istio-cni
- אין מספיק הרשאות לפוד של עומס העבודה (חסרה ההרשאה
CAP_NET_ADMIN)
אם אתם משתמשים בפלאגין Istio CNI, ודאו שפעלתם לפי ההוראות במלואן. מוודאים שהמאגר istio-cni-node מוכן ובודקים את היומנים. אם הבעיה נמשכת, פותחים חיבור Secure Shell (SSH) לצומת המארח ומחפשים ביומני הצומת פקודות nsenter כדי לבדוק אם יש שגיאות.
אם אתם לא משתמשים בפלאגין Istio CNI, ודאו של-pod של עומס העבודה יש הרשאת CAP_NET_ADMIN, שמוגדרת באופן אוטומטי על ידי הרכיב להחדרת sidecar אוטומטית.
החיבור נדחה אחרי שה-Pod התחיל
כש-Pod מתחיל ומקבל connection refused בניסיון להתחבר לנקודת קצה, יכול להיות שהבעיה היא שמאגר האפליקציה התחיל לפני המאגר isto-proxy. במקרה הזה, מאגר האפליקציה שולח את הבקשה אל istio-proxy, אבל החיבור נדחה כי istio-proxy עדיין לא מאזין ליציאה.
במקרה כזה, אפשר לבצע את הפעולות הבאות:
משנים את קוד ההפעלה של האפליקציה כדי לשלוח בקשות רציפות לנקודת הקצה (endpoint) של תקינות
istio-proxyעד שהאפליקציה מקבלת קוד 200. נקודת הקצה (endpoint) של התקינות ב-istio-proxyהיא:http://localhost:15020/healthz/readyהוספת מנגנון של בקשות חוזרות לעומס העבודה של האפליקציה.
הצגת שערים מחזירה תוצאה ריקה
התופעה: כשמציגים את רשימת השערים באמצעות kubectl get gateway --all-namespaces אחרי שיוצרים בהצלחה שער של Cloud Service Mesh, הפקודה מחזירה את הערך No resources found.
הבעיה הזו יכולה לקרות ב-GKE מגרסה 1.20 ואילך, כי בקר השער של GKE מתקין באופן אוטומטי את המשאב Gateway.networking.x-k8s.io/v1alpha1 של GKE באשכולות. כדי לעקוף את הבעיה:
בודקים אם יש כמה משאבים מותאמים אישית של שערים באשכול:
kubectl api-resources | grep gatewayפלט לדוגמה:
gateways gw networking.istio.io/v1beta1 true Gateway gatewayclasses gc networking.x-k8s.io/v1alpha1 false GatewayClass gateways gtw networking.x-k8s.io/v1alpha1 true Gateway
אם ברשימה מופיעים פריטים אחרים מלבד שערים עם
apiVersionnetworking.istio.io/v1beta1, צריך להשתמש בשם המשאב המלא או בשמות המקוצרים הייחודיים בפקודהkubectl. לדוגמה, מריצים את הפקודהkubectl get gwאוkubectl get gateways.networking.istio.ioבמקוםkubectl get gatewayכדי לוודא ששערי Istio מופיעים ברשימה.
למידע נוסף על הבעיה הזו, ראו שערי Kubernetes ושערי Istio.
שרת ה-proxy של Envoy נתקע במהלך האתחול
אם ביומני ניפוי הבאגים מצוין ששרת ה-proxy של Envoy נתקע במהלך האתחול, אתם יכולים להשתמש בפקודה הבאה כדי לזהות מה חוסם את התהליך:
kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump
פתרון בעיות שקשורות לשגיאות בתגובות HTTP 5xx
יכול להיות שתיתקלו בשגיאות בתגובות HTTP 5xx כשאתם ניגשים לאפליקציות דרך שער הכניסה של Istio. כדי לזהות ולפתור את הבעיה, צריך לפעול לפי השלבים הבאים.
זיהוי מישור הבקרה
בודקים את הגרסה וההגדרות של מישור הבקרה, כי גרסאות שונות יכולות להשפיע על תהליכי האבחון. כדי לבדוק את המצב של מישור הבקרה המנוהל, מריצים את הפקודה הבאה:
gcloud container fleet mesh describe --project PROJECT_ID
הסטטוס ACTIVE מציין שמישור הבקרה המנוהל פועל כרגיל.
אימות של הגדרות שגויות פוטנציאליות
הגדרות שגויות נפוצות שעלולות לגרום לכשלים בניתוב:
- חוסר התאמה במרחב השמות: ה-
VirtualServiceחייב להיות באותו מרחב שמות כמו שירות ה-GKE לקצה העורפי. - חוסר התאמה בהפניה לשער: ה-
VirtualServiceחייב להפנות באופן מפורש ל-Gatewayהנכון. לדוגמה, אםVirtualServiceמפנה אלistio-system/istio-ingressgatewayאבל השער נמצא במרחב השמותdefault, התנועה לא תנותב בצורה נכונה.
אימות הגילוי של Pod
מוודאים שה-mesh מזהה בצורה נכונה את ה-pod של האפליקציה:
istioctl proxy-config endpoints POD_NAME
ניתוח יומני גישה
מפעילים את יומני הגישה כדי לבדוק אם מקור השגיאות הוא באפליקציית הקצה העורפי או בשרת ה-proxy. השדות העיקריים הם RESPONSE_FLAGS, UPSTREAM_LOCAL_ADDRESS ו-RESPONSE_CODE.
אם היומנים מצביעים על שגיאות במעלה הזרם, בצעו בדיקת curl ישירה לשירות GKE מ-Pod באותו מרחב שמות. אם בקשת ה-curl מחזירה את אותה שגיאת 5xx, מקור הבעיה הוא באפליקציית הקצה העורפי עצמה.
פתרון בעיות שקשורות לאישורי SSL
שגיאות באישור ה-SSL ב-Istio Ingress Gateway יכולות להיגרם בגלל אישורים שפג תוקפם, חוסר התאמה בפרוטוקולים או הגדרות סודיות שגויות.
זיהוי שגיאות SSL
בודקים את היומנים מה-pod של Istio Ingress Gateway:
kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE
אימות אישורים ומפתחות
מוודאים שהאישור והמפתח הפרטי תקינים ותואמים באמצעות גיבוב MD5:
openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5
מוודאים שהתוקף של האישור לא פג ושהשם הנפוץ (CN) או השם החלופי של הבעלים (SAN) תואמים לדומיין.
בדיקת פרוטוקול TLS והגדרת הסוד
בודקים את גרסת ה-TLS ואת סט האלגוריתמים להצפנה (cipher suite) ב-CRD של Gateway. מוודאים שהסוד של Kubernetes שמכיל את האישור והמפתח נמצא באותו מרחב שמות כמו שער ה-Ingress, ושהערך של credentialName תואם לשם הסוד.
פתרון בעיות של פסקי זמן לסירוגין בנקודות קצה חיצוניות
יכול להיות שיהיו פסקי זמן לסירוגין כשנשלחות בקשות לנקודות קצה (endpoints) חיצוניות (כמו NLB של צד שלישי) שמתקבלות בכמה כתובות IP.
סיבה אפשרית: רזולוציית ServiceEntry
אם הערך של spec.resolution הוא DNS, Istio משתמש ב-"strict DNS" כדי לאזן את העומסים בכל כתובות ה-IP שפוענחו. חלק מה-NLB לא תומכים באפשרות הזו.
רזולוציה
כדי לפתור את הבעיה, צריך להגדיר את הרזולוציה של ServiceEntry ל-DNS_ROUND_ROBIN.
פתרון בעיות של זמן קצוב לתפוגה או עליות חדות הדרגתיות בזמן האחזור
אם כמה אשכולות רשומים לאותו צי, יכול להיות שיהיו פסקי זמן לסירוגין, שגיאות 503 עם דגלי תגובה UF או קפיצות חדות בזמן האחזור.
סיבה אפשרית: הגדרה שגויה של גילוי נקודות קצה (endpoint) בין אשכולות
ניהול אוטומטי מפעיל כברירת מחדל את האפשרות לגלות נקודות קצה באשכולות שונים (multicluster_mode: connected). אם התכונה הזו מופעלת בכמה אשכולות באותו צי, מתבצע איזון עומסים של תעבורת הנתונים ביניהם. אם לא מגדירים כללים של חומת אש בענן וירטואלי פרטי (VPC) בין האשכולות, הזמן הקצוב לתפוגה נגמר.
רזולוציה
כדי לפתור את הבעיה, השביתו את זיהוי נקודות הקצה בכמה אשכולות באשכולות עצמאיים או פתחו כללים של חומת אש בין Pod ל-Pod. לפרטים, ראו זמנים קצובים לתפוגה בין אשכולות, זמן אחזור ארוך או תנועה לא צפויה בין אשכולות.
פתרון בעיות שקשורות לחלוקה לא שווה של תנועה
אם התנועה לא מפוזרת באופן שווה בין הפודים של האפליקציה, כדאי לבדוק את הדברים הבאים:
- תקינות Pod: מוודאים שכל ה-Pods של האפליקציה היו תקינים בזמן חוסר האיזון.
- אלגוריתם של איזון עומסים: בודקים את ההגדרה
DestinationRuleשלloadBalancer(למשל,consistentHashאוROUND_ROBIN). - איזון עומסים מקומי: בודקים אם
localityLbSettingמופעל. שימו לב שאין תמיכה בזה במישור הבקרה שלTRAFFIC_DIRECTOR.
פתרון בעיות בהפצת שירותים ובמכסות
אם שירותים חדשים או הגדרות רשת חדשות לא משתקפים ברשת, יכול להיות שהסיבה לכך היא שהגעתם למכסות המשאבים בפרויקט של ה-fleet.
תסמינים
- הגדרות הרשת (כמו
VirtualServiceאוDestinationRule) לא נשלחות לקובצי עזר חיצוניים. - שירותים חדשים נראים "בלתי נראים" לרשת למרות שהם מוגדרים בצורה נכונה.
השלבים לזיהוי ולפתרון הבעיה
- בדיקת מכסות המשאבים: בודקים אם פרויקט ה-Fleet הגיע למכסה של משאבי
BackendService, באמצעות בדיקת המכסה של שירותי הקצה העורפי של Global internal traffic director בפרויקט ה-Fleet. בדרך כלל, Cloud Service Mesh יוצרBackendServiceאחד לכל יציאת שירות של Kubernetes. - בדיקת מגבלות ההיקף: ודאו שההגדרות שלכם לא חורגות ממגבלות ההיקף שנתמכות ב-Cloud Service Mesh.
- הגדלת המכסות: אם הגעתם למכסות, בקשו להגדיל את המשאב המושפע בפרויקט ה-Fleet כדי לשחזר את הפצת השירות הרגילה.
פתרון בעיות בהערכה של VirtualService
אם VirtualService לא פועל כצפוי, זכרו שהנתיבים נבדקים לפי הסדר שבו הם מופיעים. כשיש כמה שירותים וירטואליים לאותו מארח, הנתיבים שלהם מתמזגים. המסלולים משירותים וירטואליים "ישנים יותר" מקבלים עדיפות, ולכן הם ממוקמים לפני מסלולים משירותים וירטואליים "חדשים יותר" ברשימה הממוזגת. זה מחזק את הכלל "ההתאמה הראשונה".
פתרון בעיות באיזון עומסים לפי מיקום
כברירת מחדל, איזון עומסים לפי מיקום מפנה את תעבורת הנתונים של הלקוח לנקודות קצה באותו אזור (האזור הראשי, או עדיפות 0). Envoy מנתב תנועה לאזורי יתירות כשל (עדיפות 1 ומעלה) רק כשנקודות הקצה באזור הראשי לא תקינות או לא זמינות.
אם אתם לא משנים את קנה המידה של נקודות הקצה כדי לטפל בכל העומס באזור, או אם אתם מעדיפים לפצל את התנועה בין אזורים, אתם יכולים לבצע אחת מהפעולות הבאות:
- משנים את קנה המידה של הפודים באזורים המתאימים כדי לטפל בעומס התנועה המקומי.
- משביתים את ההגדרה של איזון עומסים מקומי.
זיהוי הגדרות של איזון עומסים מקומי
איזון עומסים מקומי מסתמך על תוויות טופולוגיה של צמתים כדי לקבץ נקודות קצה. כדי לאמת את תוויות הצמתים ולבדוק את ההגדרות, משתמשים בפקודות הבאות:
מאמתים את תוויות הטופולוגיה של הצומת:
kubectl get nodes -o custom-columns=NAME:.metadata.name,\ REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\ ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"ב-GKE DestinationRules, בודקים את הגדרות המיקום:
kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
מחפשים את
localityLbSetting: enabled: trueבפלט.כדי לבדוק את נקודות הקצה, העדיפויות והתקינות של שרת ה-proxy של Envoy:
istioctl proxy-config endpoints POD_NAME.NAMESPACE \ --cluster "outbound|PORT||SERVICE_FQDN" -o jsonמחפשים את השדה
priorityבהגדרות של נקודת הקצה.כדי לראות את ההגדרות המפורטות של האשכולות הפעילים:
istioctl proxy-config cluster POD_NAME.NAMESPACE \ --fqdn SERVICE_FQDN -o json