הערות מוצר לגרסה 1.13.3 של Google Distributed Cloud במודל Air-gapped

‫30 באוגוסט 2024

הודעה לכיתה
‫Google Distributed Cloud‏ (GDC) במודל Air-gapped 1.13.3 זמין.
בסקירה הכללית על המוצר אפשר לקרוא על התכונות של Distributed Cloud.
התכונה

ניהול אשכולות:

  • הוספנו קבוצה רחבה יותר של פרופילים של GPU עם כמה מופעים (MIG) (מצב אחיד ומצב מעורב). אתם יכולים ליצור אשכולות של Google Kubernetes Engine במכונות וירטואליות עם GPU (מכונות וירטואליות מסוג A3) עם מגוון תוכניות לפילוח GPU, ולטפל באופן דינמי בצרכי משאבי ה-GPU של שירותים שמארחים עומסי עבודה של בינה מלאכותית (AI).

חומרה:

  • שרתי DL380a חדשים עם מעבדי ה-GPU העדכניים ביותר של NVIDIA Hopper H100 (2x2 NVL), בשילוב עם מעבדי Intel מהדור החמישי החדשים ביותר, זמינים עכשיו.

מכונות וירטואליות:

  • סוג חדש של מכונה וירטואלית A3 שעברה אופטימיזציה ל-GPU זמין עכשיו. למכונה וירטואלית מסוג A3 מצורפים 4 מעבדי GPU של NVIDIA H100 בנפח 80GB, שיכולים להריץ עומסי עבודה של AI שדורשים מודלים גדולים של שפה (LLM) עם עד 100 מיליארד פרמטרים.
  • הוספנו צורות קטנות יותר של מכונות וירטואליות מסוג A3, עם יחידת GPU אחת מסוג H100 בנפח 80GB ו-2 יחידות GPU מסוג H100 בנפח 80GB שמצורפות לכל מכונה וירטואלית. התכונה הזו נמצאת בגרסת טרום-השקה (Preview).

‫Vertex AI:

אבטחה
גרסת תמונת מערכת ההפעלה Canonical Ubuntu עודכנה ל-20240811 כדי להחיל את תיקוני האבטחה האחרונים ואת העדכונים החשובים. כדי ליהנות מתיקוני הבאגים ונקודות החולשה באבטחה, צריך לשדרג את כל הצמתים בכל גרסה. בעיות האבטחה הבאות תוקנו:
אבטחה

גרסת תמונת Rocky OS עודכנה ל-20240731 כדי להחיל את תיקוני האבטחה האחרונים ועדכונים חשובים.

בעיה

חיוב:

  • המשתמש לא מצליח ליצור BillingAccountBinding בגלל שגיאה ב-webhook של האימות.

אחסון בלוקים:

  • תאי Grafana תקועים במצב Init בגלל שגיאות בהרכבת נפח האחסון.
  • יש שגיאה בצירוף קבצים ב-Trident.

Database Service:

  • רכיב המשנה dbs-fleet כולל שגיאת התאמה במהלך השדרוג.
  • היצירה של DBCluster נכשלת אחרי השדרוג.

ניהול זהויות והרשאות גישה:

  • הפודים gatekeeper-audit במרחב השמות opa-system מופעלים מחדש לעיתים קרובות.

מעקב:

  • יכול להיות שפודים של שער בחנות Cortex יכנסו ללולאה אינסופית של קריסות בזמן האתחול, בזמן הסנכרון עם קצה העורף של האחסון. ה-pods חורגים ממגבלות הזיכרון שלהם, ולכן Kubernetes מפסיק אותם.
  • יכול להיות שתרמילים של פרוקסי למדדים של מישור הבקרה של Kube יכנסו ללולאת קריסה עם שגיאת השהיה של משיכת תמונה.
  • גידול ב-WAL (write-ahead log) גורם ל-Prometheus להשתמש בהרבה זיכרון. בגלל הבעיה הזו, צומת ה-VM של מישור הבקרה של המערכת מדווח על אירועים NodeHasInsufficientMemory ו-EvictionThresholdMet.

רשת:

  • החלפת התמונה נכשלה כי לא הייתה אפשרות לחלץ או למשוך תמונה.

אחסון אובייקטים:

  • אפשר להתעלם מחלק מהאזהרות לגבי שדרוג האחסון באובייקטים.

מערכת הפעלה:

  • תאי Pod תקועים במצב ContainerCreating בצומת יחיד.

שרתים פיזיים:

  • הקצאת השרת DL380a נכשלת.

שדרוג:

  • אם יש כשל ב-Helm במהלך השדרוג, מתבצעת סדרה של חזרה לגרסה הקודמת.
  • כשמשדרגים מ-HW2.0 ומ-Ubuntu, שדרוג הצומת מציג באופן שגוי את RockyLinux.
  • ה-pod‏ dhcp-tftp-core-server לא מתרוקן.
  • ה-OrganizationUpgrade נתקע בשלב שדרוג הצומת.
  • כשל לסירוגין בקישוריות ל-VIP של אשכול חיצוני.
  • הליבה לא מצליחה ליצור קונטיינר.
  • מופיעה שגיאת Incorrect version of Trident במהלך השדרוג.
  • במהלך הקצאת משאבים של אשכול משתמשים, התזמון של חלק מהפודים נכשל.
  • השדרוג של הארגון הדייר נכשל בשלב של בדיקת ההתאמה עם השגיאה ErrImagePull.
  • השדרוג של הארגון הראשי תקוע בגלל משימת חתימה שנכשלה.
  • במהלך השדרוג, המשימה של ארגון ברמת הבסיס (root) נכשלת בגלל חשבונות שירות חסרים.
  • השדרוג נכשל ב-shared-service-cluster upgrade
  • הצומת נכשל במהלך השדרוג של אשכול המשתמשים.
  • השדרוג של ארגון הבסיס נכשל בבדיקה המקדימה.
  • יש פסק זמן קבוע במהלך השורש הראשוני organizationupgrade.
  • רכיב המשנה obj-syslog-server נכשל בהתאמה בארגון הבסיסי.

    מידע נוסף זמין במאמר בעיות מוכרות.

מכונות וירטואליות:

  • תוסף המכשיר של NVIDIA‏ DaemonSet נכשל עם ההודעה driver rpc error בצמתי אשכול עם GPUs. הבעיה הזו גורמת לכך שמעבדי GPU לא זמינים למכונות וירטואליות ול-pods.
  • מכונת ה-VM של אשכול המערכת לא מוכנה.
  • בדוח נפח הנתונים מצוין שלא נמצא שטח אחסון זמני.
  • רכיב המשנה obj-syslog-server נכשל בהתאמה בארגון הבסיסי.

‫Vertex AI:

  • הפונקציה streaming_recognize של ה-API שאומן מראש של Speech-to-Text נכשלת בגלל בעיה בספריית הלקוח.
  • אין תמיכה בבדיקת סטטוס המשימה ב-batchTranslateDocument API.
  • בקשות batchTranslateDocument עלולות לגרום לבעיות בביצועים.
  • בפעם הראשונה שמפעילים ממשקי API שאומנו מראש, יכול להיות שיוצג סטטוס לא עקבי במסוף GDC אחרי כמה דקות.
  • יכול להיות שפודים של translation-prediction-server יקרסו אם תשלחו בקשות תרגום עם יותר מ-250 תווים.
  • ה-GPUAllocation של אשכול השירות המשותף לא מוגדר בצורה נכונה.
  • כשמשדרגים מגרסה 1.9.x לגרסה 1.13.3, יכול להיות שיוצגו שגיאות בבקר Operable Component Lifecycle Management ‏ (OCLCM) של רכיבי המשנה של Vertex AI.
  • יכול להיות שבקשות תרגום יפיקו את קוד השגיאה RESOURCE_EXHAUSTED אם חרגתם ממגבלת התדירות של המערכת.
  • בקשות batchTranslateDocument מחזירות את השגיאה 503 "Batch Document translation is not implemented אם הפרמטר enableRAG לא מוגדר ל-true באשכול.
תוקן

מעקב:

  • תוקנה בעיה שבה ה-ConfigMap של Prober מאופס כך שלא כולל משימות בדיקה.

רשת:

  • תוקנה בעיה שבה PodCIDR לא הוקצה לצמתים למרות שנוצר ClusterCIDRConfig.

מערכת הפעלה:

  • תוקנה בעיה במשימת bm-system-machine-preflight-check Ansible עבור צומת bare metal או מכונה וירטואלית שנכשלה עם Either ip_tables or nf_tables kernel module must be loaded.

שרתים פיזיים:

  • תוקנה בעיה שגרמה לכשל באתחול השרת בגלל בעיות ב-POST בשרת HPE.

שדרוג:

  • נפתרה בעיה שגרמה לשדרוג להיכשל ברכיב המשנה iac-zoneselection-global.

‫Vertex AI:

  • תוקנה בעיה שבה MonitoringTarget מציג סטטוס Not Ready כשנוצרים אשכולות משתמשים, ולכן ממשקי API שאומנו מראש מציגים באופן רציף סטטוס Enabling בממשק המשתמש.
שינוי

המרכז לניהול תוספים:

שדרוג:

  • במסמכי השדרוג מפורטות הערכות משך הזמן של השלבים השונים בתהליך השדרוג.