הערות מוצר לגרסה 1.13.3 של Google Distributed Cloud במודל Air-gapped

‫30 באוגוסט 2024

הודעה לכיתה
‫Google Distributed Cloud (GDC) air-gapped 1.13.3 זמין.
בסקירה הכללית על המוצר אפשר לקרוא על התכונות של Distributed Cloud.
התכונה

ניהול אשכולות:

  • הוספנו קבוצה רחבה יותר של פרופילים של GPU עם כמה מופעים (MIG) (מצב אחיד ומצב מעורב). אתם יכולים ליצור אשכולות של Google Kubernetes Engine במכונות וירטואליות עם GPU‏ (מכונות וירטואליות מסוג A3) עם מגוון תוכניות לפילוח GPU, ולטפל באופן דינמי בצרכי משאבי ה-GPU של שירותים שמארחים עומסי עבודה של בינה מלאכותית (AI).

חומרה:

  • שרתי DL380a חדשים עם מעבדי ה-GPU העדכניים ביותר של NVIDIA Hopper H100 (2x2 NVL), בשילוב עם מעבדי Intel מהדור החמישי החדשים ביותר, זמינים עכשיו.

מכונות וירטואליות:

  • סוג חדש של מכונה וירטואלית A3 שעברה אופטימיזציה ל-GPU זמין עכשיו. למכונה וירטואלית מסוג A3 מצורפים 4 מעבדי GPU של NVIDIA H100 בנפח 80GB, שיכולים להריץ את עומסי העבודה של ה-AI שדורשים מודלים גדולים של שפה (LLM) עם עד 100 מיליארד פרמטרים.
  • הוספנו צורות קטנות יותר של מכונות וירטואליות מסוג A3, עם יחידת GPU אחת מסוג H100 בנפח 80GB ו-2 יחידות GPU מסוג H100 בנפח 80GB שמצורפות לכל מכונה וירטואלית. התכונה הזו נמצאת בגרסת טרום-השקה (Preview).

‫Vertex AI:

אבטחה
עדכנו את גרסת תמונת מערכת ההפעלה Canonical Ubuntu ל-20240811 כדי להחיל את תיקוני האבטחה האחרונים ואת העדכונים החשובים. כדי ליהנות מתיקוני הבאגים ונקודות החולשה באבטחה, צריך לשדרג את כל הצמתים בכל גרסה. בעיות האבטחה הבאות תוקנו:
אבטחה

עדכנו את גרסת תמונת Rocky OS ל-20240731 כדי להחיל את תיקוני האבטחה האחרונים ואת העדכונים החשובים.

בעיה

חיוב:

  • המשתמש לא מצליח ליצור BillingAccountBinding בגלל שגיאה ב-webhook של האימות.

אחסון בלוקים:

  • תאי Grafana תקועים במצב Init בגלל שגיאות בהרכבת נפח האחסון.
  • יש שגיאה בצירוף קבצים ב-Trident.

Database Service:

  • רכיב המשנה dbs-fleet כולל שגיאת התאמה במהלך השדרוג.
  • היצירה של DBCluster נכשלת אחרי השדרוג.

ניהול זהויות והרשאות גישה:

  • הפודים gatekeeper-audit במרחב השמות opa-system מופעלים מחדש לעיתים קרובות.

מעקב:

  • יכול להיות ש-Pods של שער המאגר של Cortex יפעילו לולאת קריסה באתחול בזמן הסנכרון עם קצה העורף של האחסון. ה-pods חורגים ממגבלות הזיכרון שלהם, ולכן Kubernetes מפסיק אותם.
  • יכול להיות שתרמילים של שרת proxy למדדים של מישור הבקרה של Kube יכנסו ללולאת קריסה עם שגיאת השהיה של משיכת תמונה.
  • גידול ב-WAL (write-ahead log) גורם ל-Prometheus להשתמש בהרבה זיכרון. בגלל הבעיה הזו, צומת ה-VM של מישור הבקרה של המערכת מדווח על אירועים NodeHasInsufficientMemory ו-EvictionThresholdMet.

רשת:

  • החלפת התמונה נכשלה כי לא הייתה אפשרות לחלץ או למשוך תמונה.

אחסון אובייקטים:

  • אפשר להתעלם מחלק מהאזהרות לגבי שדרוג האחסון באובייקטים.

מערכת הפעלה:

  • תאי Pod תקועים במצב ContainerCreating בצומת יחיד.

שרתים פיזיים:

  • הקצאת השרת DL380a נכשלת.

שדרוג:

  • כשל ב-Helm במהלך השדרוג גורם לסדרה של חזרה לגרסה קודמת.
  • כשמשדרגים מ-HW2.0 ומ-Ubuntu, שדרוג הצומת מציג באופן שגוי את RockyLinux.
  • ה-Pod‏ dhcp-tftp-core-server לא מנוקז.
  • ה-OrganizationUpgrade נתקע בשלב שדרוג הצומת.
  • כשל לסירוגין בקישוריות ל-VIP של אשכול חיצוני.
  • הליבה לא מצליחה ליצור קונטיינר.
  • מופיעה שגיאת Incorrect version of Trident במהלך השדרוג.
  • במהלך הקצאת משאבים של אשכול משתמשים, התזמון של חלק מהפודים נכשל.
  • השדרוג של הארגון בדייר נכשל בשלב של בדיקת ההתאמה עם השגיאה ErrImagePull.
  • השדרוג של הארגון הראשי נתקע בגלל משימת חתימה שנכשלה.
  • במהלך השדרוג, המשימה של ארגון ברמת הבסיס (root) נכשלת בגלל חשבונות שירות חסרים.
  • השדרוג נכשל ב-shared-service-cluster upgrade
  • הצומת נכשל במהלך השדרוג של אשכול המשתמשים.
  • השדרוג של ארגון הבסיס נכשל בבדיקה המקדימה.
  • יש פסק זמן קבוע במהלך השלב הראשוני של organizationupgrade.
  • רכיב המשנה obj-syslog-server נכשל בהתאמה בארגון הבסיסי.

מכונות וירטואליות:

  • תוסף המכשיר של NVIDIA‏ DaemonSet נכשל עם ההודעה driver rpc error בצמתי אשכול עם GPUs. הבעיה הזו גורמת לכך שמעבדי GPU לא זמינים למכונות וירטואליות ול-pods.
  • מכונת ה-VM של אשכול המערכת לא מוכנה.
  • בדוח נפח הנתונים מצוין שלא נמצא שטח אחסון זמני.
  • רכיב המשנה obj-syslog-server נכשל בהתאמה בארגון הבסיסי.

‫Vertex AI:

  • הפונקציה streaming_recognize של ה-API שאומן מראש של Speech-to-Text נכשלת בגלל בעיה בספריית הלקוח.
  • אין תמיכה בבדיקת סטטוס המשימה ב-batchTranslateDocument API.
  • בקשות batchTranslateDocument עלולות לגרום לבעיות בביצועים.
  • בפעם הראשונה שמפעילים ממשקי API שאומנו מראש, יכול להיות שיוצג במסוף GDC סטטוס לא עקבי אחרי כמה דקות.
  • יכול להיות שפודים של translation-prediction-server יקרסו אם תשלחו בקשות תרגום עם יותר מ-250 תווים.
  • ה-GPUAllocation לאשכול שירות משותף לא מוגדר בצורה נכונה.
  • כשמשדרגים מגרסה 1.9.x לגרסה 1.13.3, יכול להיות שיוצגו שגיאות בבקר Operable Component Lifecycle Management ‏ (OCLCM) של רכיבי המשנה של Vertex AI.
  • בקשות תרגום עשויות ליצור את קוד השגיאה RESOURCE_EXHAUSTED כשחורגים ממגבלת התדירות של המערכת.
  • בקשות batchTranslateDocument מחזירות את השגיאה 503 "Batch Document translation is not implemented אם הפרמטר enableRAG לא מוגדר ל-true באשכול.
תוקן

מעקב:

  • תוקנה בעיה שבה ה-ConfigMap של Prober מאופס כך שלא כולל משימות בדיקה.

רשת:

  • תוקנה בעיה שבה PodCIDR לא הוקצה לצמתים למרות שנוצר ClusterCIDRConfig.

מערכת הפעלה:

  • תוקנה בעיה במשימת bm-system-machine-preflight-check Ansible עבור צומת bare metal או מכונה וירטואלית שנכשלה עם Either ip_tables or nf_tables kernel module must be loaded.

שרתים פיזיים:

  • תוקנה בעיה שגרמה לכשל באתחול השרת בגלל בעיות ב-POST בשרת HPE.

שדרוג:

  • נפתרה בעיה שגרמה לשדרוג להיכשל ברכיב המשנה iac-zoneselection-global.

‫Vertex AI:

  • תוקנה בעיה שבה MonitoringTarget מציג סטטוס Not Ready כשנוצרים אשכולות משתמשים, ולכן ממשקי API שאומנו מראש מציגים באופן רציף סטטוס Enabling בממשק המשתמש.
שינוי

המרכז לניהול תוספים:

שדרוג:

  • במסמכי השדרוג מפורטים משכי הזמן המשוערים של השלבים השונים בתהליך השדרוג.