פתרון בעיות בגרסה המנוהלת של Cloud Service Mesh
במסמך הזה מוסברות בעיות נפוצות ב-Cloud Service Mesh ואיך לפתור אותן, למשל כש-pod מוזרק עם istio.istio-system, כלי ההתקנה יוצר שגיאות כמו קודי סטטוס HTTP 400 ושגיאות חברות באשכול.
אם אתם צריכים עזרה נוספת בפתרון בעיות ב-Cloud Service Mesh, תוכלו לקרוא את המאמר קבלת תמיכה.
שגיאה בדיווח על גרסאות לא תקינות
אם לסוכן השירות של Cloud Service Mesh בניהול עצמי אין את התפקיד הנדרש בניהול זהויות והרשאות גישה (IAM), יכול להיות שתופיע שגיאת Revision(s) reporting unhealthy כללית.
כדי לפתור את השגיאה, צריך לבצע את השלבים להקצאת התפקיד של סוכן השירות של Cloud Service Mesh.
כלי ההתקנה יוצר שגיאות HTTP 400
יכול להיות שכלי ההתקנה יפיק שגיאות HTTP 400 כמו אלה:
HealthCheckContainerError, message: Cloud Run error: Container failed to start.
Failed to start and then listen on the port defined by the PORT environment
variable. Logs for this revision might contain more information.
השגיאה יכולה להתרחש אם לא הפעלתם את Workload Identity באשכול Kubernetes. כדי להפעיל אותו, אתם יכולים להשתמש בפקודה הבאה:
export CLUSTER_NAME=...
export PROJECT_ID=...
export LOCATION=...
gcloud container clusters update $CLUSTER_NAME --zone $LOCATION \
--workload-pool=$PROJECT_ID.svc.id.goog
מצב מישור הנתונים המנוהל
הפקודה הבאה מציגה את המצב של מישור הנתונים המנוהל:
gcloud container fleet mesh describe --project PROJECT_ID
בטבלה הבאה מפורטים כל המצבים האפשריים של מישור הנתונים המנוהל:
| מדינה | קוד | תיאור |
|---|---|---|
ACTIVE |
OK |
מישור הנתונים המנוהל פועל כרגיל. |
DISABLED |
DISABLED |
מישור הנתונים המנוהל יהיה במצב הזה אם לא הוגדר מרחב שמות או גרסה לשימוש בו. פועלים לפי ההוראות כדי להפעיל את Cloud Service Mesh מנוהל באמצעות Fleet API, או להפעיל את מישור הנתונים המנוהל אחרי הקצאת Cloud Service Mesh מנוהל באמצעות asmcli.
שימו לב שהדיווח על הסטטוס של מישור הנתונים המנוהל זמין רק אם הפעלתם את מישור הנתונים המנוהל על ידי הוספת הערה למרחב שמות או לגרסה.
הוספת אנוטציות לפודים ספציפיים גורמת לניהול הפודים האלה, אבל עם מצב התכונה ב-Fleet כולו של DISABLED אם לא נוספו אנוטציות למרחבי שמות או לגרסאות. |
FAILED_PRECONDITION |
MANAGED_CONTROL_PLANE_REQUIRED |
כדי להשתמש במישור הנתונים המנוהל, צריך מישור בקרה מנוהל פעיל של Cloud Service Mesh. |
PROVISIONING |
PROVISIONING |
מישור הנתונים המנוהל מוקצה. אם המצב הזה נמשך יותר מ-10 דקות, כנראה שקרתה שגיאה וצריך לפנות לתמיכה. |
STALLED |
INTERNAL_ERROR |
מישור הנתונים המנוהל חסום לפעולה בגלל מצב של שגיאה פנימית. אם הבעיה נמשכת, פנו לתמיכה. |
NEEDS_ATTENTION |
UPGRADE_FAILURES |
כדי להחזיר את השירות למצב רגיל, נדרשת התערבות ידנית במישור הנתונים המנוהל. למידע נוסף על הבעיה ואיך לפתור אותה, קראו את המאמר מצב NEEDS_ATTENTION. |
מדינה אחת (NEEDS_ATTENTION)
אם הפקודה gcloud container fleet mesh describe מראה שהמצב של מישור הנתונים המנוהל הוא NEEDS_ATTENTION והקוד הוא UPGRADE_FAILURES, סימן שמישור הנתונים המנוהל לא הצליח לשדרג עומסי עבודה מסוימים. עומסי העבודה האלה יתויגו בתווית dataplane-upgrade: failed על ידי שירות מישור הנתונים המנוהל, לצורך ניתוח נוסף. כדי לשדרג את שרתי ה-proxy, צריך להפעיל אותם מחדש באופן ידני. כדי לקבל את רשימת הפודים שדורשים טיפול, מריצים את הפקודה הבאה:
kubectl get pods --all-namespaces -l dataplane-upgrade=failed
שגיאה בחברות באשכול (לא צוין ספק זהויות)
יכול להיות שכלי ההתקנה ייכשל עם שגיאות שקשורות לחברות באשכול, כמו:
asmcli: [ERROR]: Cluster has memberships.hub.gke.io CRD but no identity
provider specified. Please ensure that an identity provider is available for the
registered cluster.
השגיאה יכולה להתרחש אם לא הפעלתם את GKE Workload Identity לפני רישום האשכול. אפשר לרשום מחדש את האשכול בשורת הפקודה באמצעות הפקודה gcloud container fleet memberships register --enable-workload-identity.
בדיקת הסטטוס של מישור הבקרה המנוהל
כדי לבדוק את הסטטוס של מישור הבקרה המנוהל, מריצים את הפקודה gcloud container fleet mesh describe --project FLEET_PROJECT_ID.
יכול להיות שהשגיאה הספציפית תוסבר בשדה membershipStates[].servicemesh.controlPlaneManagement.details בתגובה.
אם אתם צריכים פרטים נוספים, תוכלו לבדוק את המשאב המותאם אישית ControlPlaneRevision באשכול, שמתעדכן כשמישור הבקרה המנוהל מוקצה או כשההקצאה נכשלת.
כדי לבדוק את סטטוס המשאב, מחליפים את NAME בערך שמתאים לכל ערוץ: asm-managed, asm-managed-stable או asm-managed-rapid.
kubectl describe controlplanerevision NAME -n istio-system
הפלט אמור להיראות כך:
Name: asm-managed
…
Status:
Conditions:
Last Transition Time: 2021-08-05T18:56:32Z
Message: The provisioning process has completed successfully
Reason: Provisioned
Status: True
Type: Reconciled
Last Transition Time: 2021-08-05T18:56:32Z
Message: Provisioning has finished
Reason: ProvisioningFinished
Status: True
Type: ProvisioningFinished
Last Transition Time: 2021-08-05T18:56:32Z
Message: Provisioning has not stalled
Reason: NotStalled
Status: False
Type: Stalled
התנאי Reconciled קובע אם מישור הבקרה המנוהל פועל בצורה תקינה. אם מופיע הערך true, מישור הבקרה פועל בהצלחה.
השדה Stalled מציין אם אירעה שגיאה בתהליך הקצאת ההרשאות הידנית של מישור הבקרה. אם Stalled, השדה Message מכיל מידע נוסף על השגיאה הספציפית. בקטע קודים תקועים מפורט מידע נוסף על שגיאות אפשריות.
קודי השהיה של ControlPlaneRevision
יש כמה סיבות לכך שהתנאי Stalled יכול להתקיים בסטטוס ControlPlaneRevisions.
| סיבה | הודעה | תיאור |
|---|---|---|
| PreconditionFailed | יש תמיכה רק במינויים ל-GKE, אבל ${CLUSTER_NAME} הוא לא אשכול GKE. | נראה שהאשכול הנוכחי הוא לא אשכול GKE. מישור בקרה מנוהל פועל רק באשכולות GKE. |
| שם ControlPlaneRevision לא נתמך: ${NAME} | השם של ControlPlaneRevision חייב להיות אחד מהבאים:
|
|
| מרחב השמות ControlPlaneRevision לא נתמך: ${NAMESPACE} | מרחב השמות של ControlPlaneRevision חייב להיות istio-system. |
|
| הערוץ ${CHANNEL} לא נתמך ב-ControlPlaneRevision עם השם ${NAME}. השם הצפוי: ${OTHER_CHANNEL} | השם של ControlPlaneRevision חייב להתאים לערוץ של ControlPlaneRevision, באופן הבא:
|
|
| חובה להזין ערוץ | Channel הוא שדה חובה ב-ControlPlaneRevision. הוא חסר או ריק במשאב המותאם אישית. |
|
| סוג גרסה לא נתמך של מישור הבקרה: ${TYPE} | managed_service הוא השדה היחיד שמותר להשתמש בו בשדה ControlPlaneRevisionType. |
|
| גרסת Kubernetes לא נתמכת: ${VERSION} | יש תמיכה בגרסאות 1.15 ומעלה של Kubernetes. | |
| Workload Identity לא מופעל | צריך להפעיל את Workload Identity באשכול. | |
| מאגר עומסי עבודה לא נתמך: ${POOL} | מאגר עומסי העבודה צריך להיות בפורמט ${PROJECT_ID}.svc.id.goog. |
|
| ProvisioningFailed | הייתה שגיאה בעדכון המשאבים של האשכול | Google לא הצליחה לעדכן את המשאבים באשכול, כמו CRD ו-webhook. |
| MutatingWebhookConfiguration "istiod-asm-managed" מכיל תגובה לפעולה מאתר אחר (webhook) עם כתובת ה-URL ${EXISTING_URL}, אבל הכתובת הצפויה היא ${EXPECTED_URL} | Google לא תחליף רשתות webhook קיימות כדי למנוע שיבושים בהתקנה. אם רוצים שההתנהגות הזו תתרחש, צריך לעדכן את זה באופן ידני. | |
| ValidatingWebhookConfiguration ${NAME} מכיל תגובה לפעולה מאתר אחר (webhook) עם כתובת ה-URL ${EXISTING_URL}, אבל הכתובת הצפויה היא ${EXPECTED_URL} | Google לא תחליף רשתות webhook קיימות כדי למנוע שיבושים בהתקנה. אם רוצים שההתנהגות הזו תתרחש, צריך לעדכן את זה באופן ידני. |
Managed Cloud Service Mesh לא מצליח להתחבר לאשכול GKE
בין יוני 2022 לספטמבר 2022, Google השלימה את עבודת האבטחה שקשורה לרשתות מורשות, ל-Cloud Run ולפונקציות Cloud Run ב-Google Kubernetes Engine (GKE). בפרויקטים שבהם השתמשו בעבר ב-Cloud Service Mesh מנוהל, אבל הפסיקו להשתמש בו לפני ההעברה, אין את ה-API שנדרש לתקשורת בין Cloud Run ל-GKE.
בתרחיש הזה, ההקצאה המנוהלת של Cloud Service Mesh תיכשל וב-Cloud Logging תוצג הודעת השגיאה הבאה:
Connect Gateway API has not been used in project [*PROJECT_NUMBER*] before or it is disabled.
Enable it by visiting https://console.developers.google.com/apis/api/connectgateway.googleapis.com/overview?project=[*PROJECT_NUMBER*] then retry.
If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.
אפשר לסנן את ההודעה הזו באמצעות השאילתה הבאה:
resource.type="istio_control_plane"
resource.labels.project_id=[*PROJECT_ID*]
resource.labels.location=[*REGION*]
severity=ERROR
jsonPayload.message=~"Connect Gateway API has not been used in project"
בינתיים, גם החדרת ה-sidecar ופריסת משאבים בהתאמה אישית של Kubernetes שקשורים ל-Cloud Service Mesh ייכשלו, וב-Cloud Logging תופיע הודעת האזהרה הבאה:
Error creating: Internal error occurred: failed calling webhook
"rev.namespace.sidecar-injector.istio.io": failed to call webhook: an error on
the server ("unknown") has prevented the request from succeeding.
אפשר לסנן את ההודעה הזו באמצעות השאילתה הבאה:
resource.type="k8s_cluster"
resource.labels.project_id=[*PROJECT_ID*]
resource.labels.location=[*REGION*]
resource.labels.cluster_name=[*CLUSTER_NAME*]
severity=WARNING
jsonPayload.message=~"Internal error occurred: failed calling webhook"
כדי לפתור את הבעיה:
מפעילים את ה-API הנדרש של
connectgateway:gcloud services enable connectgateway.googleapis.com --project=[*PROJECT_ID*]מבצעים הפעלה מחדש הדרגתית של עומסי העבודה.
Google Cloud ממשקי ה-API לא מופעלים
אם ב-Cloud Service Mesh המנוהל ב-Fleet משתמשים בTRAFFIC_DIRECTORהטמעה של מישור הבקרה, צריך להפעיל ממשקי API מסוימים.
מפעילים את כל ממשקי ה-API הנדרשים, כולל אלה שמופיעים ברשימה כ "ניתנים להשבתה" כשלא משתמשים ב-Cloud Service Mesh מנוהל.
gcloud services enable --project=[*PROJECT_ID*] \ trafficdirector.googleapis.com \ networkservices.googleapis.com \ networksecurity.googleapis.comחשוב לוודא שאין לכם כלים אוטומטיים שיבטלו את השינוי הזה. אם השגיאה חוזרת, צריך לעדכן את ההגדרות הרלוונטיות או את רשימות ההיתרים.