מידע על מנהל התקן ה-CSI של Google Cloud Managed Lustre

מנהל ההתקן של Google Cloud Managed Lustre Container Storage Interface ‏(CSI) הוא פתרון מנוהל של GKE שנועד לשלב את שירות מערכת הקבצים המקבילית בעלת הביצועים הגבוהים שלGoogle Cloud,‏ Managed Lustre, עם אשכולות של Google Kubernetes Engine ‏ (GKE). השילוב הזה מיועד לעומסי עבודה תובעניים שדורשים אחסון מתמשך, ניתן להרחבה ועם תפוקה גבוהה, במיוחד בתחומים של בינה מלאכותית (AI), למידת מכונה (ML) ומחשוב עתיר ביצועים (HPC).

מידע נוסף על השימוש ב-Managed Lustre כדי לבצע אופטימיזציה של הביצועים של עומסי עבודה של AI/ML שנפרסו ב-GKE זמין בארכיטקטורת העזר אופטימיזציה של עומסי עבודה של AI ו-ML באמצעות Google Cloud Managed Lustre.

באמצעות מנהל התקן ה-CSI של Managed Lustre, אתם יכולים להקצות, לנהל ולגשת למופעים של Managed Lustre ישירות דרך בקשות סטנדרטיות לנפח אחסון מתמיד (PVC) ונפחי אחסון מתמיד (PV) של Kubernetes. הדרייבר פועל כמישור הבקרה, ומבצע אוטומטית את ניהול מחזור החיים של מופעי Managed Lustre בתגובה לקריאות CSI, כולל יצירה, מחיקה, הרכבה וביטול הרכבה של אמצעי אחסון בצמתי GKE.

מנהל ההתקן של Managed Lustre CSI תומך בנפחי אחסון מתמשכים שהוקצו באופן דינמי (שבהם מנהל ההתקן יוצר את המכונה של Managed Lustre על סמך ה-PVC) ובנפחי אחסון מתמשכים שהוקצו באופן סטטי (לחיבור למכונות קיימות של Managed Lustre). הוא מספק דרך יעילה לאפליקציות Kubernetes להשתמש באופן מלא ביכולות הביצועים של Managed Lustre.

יתרונות

למנהל התקן ה-CSI של Managed Lustre יש כמה יתרונות בשילוב של אחסון עם ביצועים גבוהים עם עומסי העבודה של Kubernetes:

  • אתם מקבלים גישה למערכות קבצים של Managed Lustre בתור אחסון של עומסי העבודה (workload) שלכם דרך ממשקי ה-API של Kubernetes.
  • הדרייבר תומך בReadWriteMany, בReadOnlyMany ובReadWriteOnce מצבי גישה.
  • אפשר להשתמש בדרייבר כדי ליצור מופעים חדשים של Managed Lustre ולקשר אותם ל-PersistentVolumes.
  • עומסי העבודה שלכם ב-Kubernetes יכולים לגשת למכונות קיימות ב-Managed Lustre בלי שתצטרכו להתקין ידנית תוכנה של Managed Lustre, כולל מודולים של ליבת המערכת או כלי לקוח.

מגבלות

כשמשתמשים ב-Managed Lustre CSI driver, חשוב לשים לב למגבלות הבאות:

  • לא ניתן לטעון כמה אמצעי אחסון מכמה מופעים שונים של Managed Lustre עם אותו שם filesystem בצומת יחיד.
  • יש תמיכה רק בצמתים של מערכת הפעלה שמותאמת לקונטיינרים (COS). גרסת הצומת המינימלית של GKE שנתמכת בארכיטקטורת x86_64 היא ‎1.33.2-gke.1111000 ומעלה, ובארכיטקטורת ARM היא ‎1.34.1-gke.2541000 ומעלה.
  • מנהל התקן CSI של Managed Lustre לא תומך בתמונות של צומתי GKE בהתאמה אישית.
  • הגדלת נפח נתמכת רק בגרסאות של אשכול GKE‏ 1.35.0-gke.2331000 ואילך. כדי לשנות את הגודל של PVC בגרסאות קודמות, משתמשים באחת מהאפשרויות הבאות:
    • (מומלץ) יוצרים מחדש את ה-PVC עם הגודל שנבחר spec.resources.requests.storage size. מערכת GKE מקצה נפח אחסון חדש בגודל שנבחר.
    • מוחקים את ה-PVC ואת ה-PV. אם הערך של PV‏ reclaimPolicy הוא Delete, מופע Lustre נמחק. כדי לשמור את המכונה לשימוש חוזר, צריך לתקן את reclaimPolicy ל-Retain לפני המחיקה.
    • אפשרות אחרת היא ליצור באופן ידני מכונת Lustre חדשה בגודל הרצוי. בין אם משתמשים מחדש במכונה ובין אם מתחברים למכונה חדשה, צריך להשתמש בהקצאת משאבים סטטית כדי לחבר את המכונה ל-PVC חדש.

דרישות

כדי להשתמש ב-Managed Lustre CSI driver, האשכול צריך לעמוד בדרישות הבאות:

  • צריך להשתמש בגרסה 1.33.2-gke.1111000 ואילך של אשכול GKE ומאגר צמתים.
  • צריך להתקין את הגרסה העדכנית של Google Cloud CLI, עם גרסה נתמכת מינימלית של 523.0.0 ואילך.
  • צריך להפעיל את מנהל ההתקן של CSI באשכול GKE. כברירת מחדל, מנהל ההתקן מושבת באשכולות רגילים ובאשכולות של Autopilot. אפשר להפעיל את התכונה הזו במהלך יצירת האשכול או באשכול קיים.
  • אשכול GKE צריך לפעול באותה רשת VPC כמו מכונת Managed Lustre.

המאמרים הבאים