מידע על מנהל התקן ה-CSI של Google Cloud Managed Lustre

מנהל ההתקן של Google Cloud Managed Lustre Container Storage Interface‏ (CSI) הוא פתרון מנוהל של GKE שנועד לשלב את שירות מערכת הקבצים המקבילית בעלת הביצועים הגבוהים שלGoogle Cloud,‏ Managed Lustre, עם אשכולות של Google Kubernetes Engine‏ (GKE). השילוב הזה מיועד לעומסי עבודה תובעניים שדורשים אחסון מתמשך, ניתן להרחבה ובעל תפוקה גבוהה, במיוחד בתחומים של בינה מלאכותית (AI), למידת מכונה (ML) ומחשוב עתיר ביצועים (HPC).

מידע נוסף על השימוש ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI/ML שנפרסים ב-GKE זמין במאמר בנושא שיפור עומסי עבודה של AI ו-ML באמצעות Google Cloud Managed Lustre.

באמצעות מנהל התקן ה-CSI של Managed Lustre, אתם יכולים להקצות, לנהל ולגשת למופעים של Managed Lustre ישירות דרך טענות סטנדרטיות של נפחי אחסון קבועים (PVC) ונפחי אחסון קבועים (PV) של Kubernetes. הדרייבר פועל כמישור הבקרה, ומבצע אוטומטית את ניהול מחזור החיים של מופעי Managed Lustre בתגובה לקריאות CSI, כולל יצירה, מחיקה, הרכבה וביטול הרכבה של נפחים בצמתי GKE.

מנהל התקן ה-CSI של Managed Lustre תומך בנפחי אחסון קבועים שהוקצו באופן דינמי (שבהם מנהל ההתקן יוצר את מכונת Managed Lustre על סמך ה-PVC) ובנפחי אחסון קבועים שהוקצו באופן סטטי (לחיבור למכונות Managed Lustre קיימות). הוא מאפשר לאפליקציות Kubernetes להשתמש ביעילות ביכולות הביצועים של Managed Lustre.

יתרונות

למנהל התקן ה-CSI של Managed Lustre יש כמה יתרונות לשילוב אחסון עם ביצועים גבוהים בעומסי העבודה של Kubernetes:

  • אתם מקבלים גישה למערכות קבצים של Managed Lustre בתור אחסון לעומסי העבודה שלכם דרך ממשקי ה-API של Kubernetes.
  • הדרייבר תומך בReadWriteMany, בReadOnlyMany ובReadWriteOnce מצבי גישה.
  • אתם יכולים להשתמש בדרייבר כדי ליצור מופעים חדשים של Managed Lustre ולקשר אליהם כ-PersistentVolumes.
  • עומסי העבודה שלכם ב-Kubernetes יכולים לגשת למכונות קיימות ב-Managed Lustre בלי שתצטרכו להתקין ידנית תוכנה של Managed Lustre, כולל מודולים של ליבת המערכת או כלי לקוח.

מגבלות

כשמשתמשים ב-Managed Lustre CSI driver, חשוב לשים לב למגבלות הבאות:

  • אי אפשר לטעון כמה אמצעי אחסון ממכונות שונות של Managed Lustre עם אותו שם filesystem בצומת אחד.
  • מערכות ההפעלה הנתמכות והגרסאות המינימליות של צומתי GKE:
    • מערכת הפעלה שמותאמת לקונטיינרים (COS):
      • ‫x86_64: גרסה 1.33.2-gke.1111000 ואילך
      • ‫ARM: ‏ 1.34.1-gke.2541000 ואילך
    • ‫Ubuntu:
      • ‫x86_64 ו-ARM: ‏ 1.36.0-gke.3302001 ואילך
  • לדרייבר CSI של Managed Lustre אין תמיכה בתמונות של צומתי GKE בהתאמה אישית.
  • הגדלת נפח האחסון נתמכת רק בגרסאות GKE cluster‏ 1.35.0-gke.2331000 ואילך. כדי לשנות את הגודל של PVC בגרסאות קודמות, משתמשים באחת מהאפשרויות הבאות:
    • (מומלץ) ליצור מחדש את ה-PVC עם הגודל שנבחר, גודל spec.resources.requests.storage. מערכת GKE מקצה נפח אחסון חדש בגודל שנבחר.
    • מוחקים את ה-PVC ואת ה-PV. אם הערך של reclaimPolicy ב-PV הוא Delete, מופע Lustre נמחק. כדי לשמור את המכונה לשימוש חוזר, צריך לתקן את reclaimPolicy ל-Retain לפני המחיקה.
    • אפשרות אחרת היא ליצור באופן ידני מופע חדש של Lustre בגודל הרצוי. בין אם אתם משתמשים מחדש במכונה ובין אם אתם מתחברים למכונה חדשה, השתמשו בהקצאה סטטית כדי לחבר את המכונה ל-PVC חדש.

דרישות

כדי להשתמש ב-Managed Lustre CSI driver, האשכול צריך לעמוד בדרישות הבאות:

  • צריך להשתמש בגרסה 1.33.2-gke.1111000 ואילך של אשכול GKE ומאגר צמתים.
  • צריך להתקין את הגרסה העדכנית של Google Cloud CLI, עם גרסה מינימלית נתמכת של 523.0.0 ואילך.
  • צריך להפעיל את מנהל ההתקן של CSI באשכול GKE. כברירת מחדל, הדרייבר מושבת באשכולות Standard ו-Autopilot. אפשר להפעיל אותו במהלך יצירת האשכול או באשכול קיים.
  • אשכול GKE צריך לפעול באותה רשת VPC כמו מכונת Managed Lustre.

המאמרים הבאים