מידע על מנהל התקן ה-CSI של Parallelstore ב-Google Kubernetes Engine

הגישה ל-Parallelstore היא בהזמנה בלבד. אם אתם רוצים לבקש גישה ל-Parallelstore בפרויקט שלכם ב- Google Cloud , אתם יכולים לפנות לנציג המכירות שלכם.

‫Parallelstore היא מערכת קבצים מבוזרת ומנוהלת במלואה עם השהיה נמוכה, שנועדה לעמוד בדרישות של אימון AI/ML ועומסי עבודה של מחשוב עתיר ביצועים (HPC) שזקוקים להשהיה נמוכה במיוחד (פחות ממילישנייה), לסמנטיקה מלאה של POSIX ולתפוקה גבוהה של פעולות מטא-נתונים. Parallelstore מגיע למהירויות קריאה של 1 TB/s ומיליוני IOPS.

כדי לחבר אשכול Google Kubernetes Engine‏ (GKE) למופע Parallelstore, צריך להשתמש במנהל ההתקן של Parallelstore Container Storage Interface‏ (CSI). מנהל ההתקן של ה-CSI של Parallelstore מאפשר להשתמש ב-API של GKE כדי לצרוך מופעי Parallelstore כנפחי אחסון לעומסי עבודה עם שמירת מצב (stateful) (לדוגמה, Pods ו-Jobs). הוא מותאם לעומסי עבודה של אימון AI/ML, במיוחד כאלה שכוללים קבצים קטנים וקריאות אקראיות.

מערכת GKE מפעילה את מנהל ההתקן של CSI כברירת מחדל כשיוצרים אשכול GKE Autopilot חדש. ב-GKE Standard, צריך להפעיל את מנהל התקן CSI באשכולות חדשים וקיימים.

יתרונות

אתם יכולים להשתמש במנהל התקן ה-CSI של Parallelstore כדי ליהנות מאחסון עם ביצועים גבוהים. באמצעות מנהל ההתקן Parallelstore CSI, אתם יכולים להאיץ את עומסי העבודה של מחשוב בעל ביצועים גבוהים ואימון AI/ML, עם גישה מהירה ועקבית לנתונים משותפים לעיבוד ולניתוח יעילים.

  • יש לכם גישה למערכות קבצים מקבילות בניהול מלא בתור אחסון דרך ממשקי ה-API של Kubernetes.
  • מנהל התקן ה-CSI של Google Kubernetes Engine Parallelstore תומך במצבי הגישה‏ ReadWriteMany,‏ ReadOnlyMany ו-ReadWriteOnce.
  • אפשר להשתמש במנהל ההתקן של ה-CSI של Google Kubernetes Engine Parallelstore כדי להקצות באופן דינמי את PersistentVolumes.
  • אתם יכולים לגשת למופעים קיימים של Parallelstore בעומסי עבודה של Kubernetes. אפשר גם ליצור באופן דינמי מופעים של Parallelstore ולהשתמש בהם בעומסי עבודה של Kubernetes באמצעות StatefulSet או Deployment.

מגבלות

  • שמירת נתונים: Parallelstore היא מערכת קבצים מסוג scratch plus. הוא מגובה על ידי SSD מקומי עם קידוד מחיקה של 2+1, והזמן הממוצע עד לאובדן נתונים הוא חודשיים. ‫Parallelstore לא מיועד לאחסון לטווח ארוך, אלא למערכת קבצים מהירה במיוחד לעומסי עבודה ספציפיים.

  • מגבלה לכל Pod: ב-GKE אפשר לצרף רק מופע אחד של Parallelstore לכל Pod.

הערה: החל מגרסה 1.32.3 של GKE, אפשר להשתמש בתכונה node mount של Parallelstore CSI driver כדי לטעון כמה מופעים של Parallelstore לכל Pod.
  • העברות נתונים: העברת נתונים מ-Cloud Storage ל-Parallelstore לא נתמכת על ידי GKE API. כדי לבצע את ההעברה, משתמשים ב-Parallelstore API.
הערה: החל מגרסה 1.31.1 של GKE, אפשר להשתמש ב-GKE Volume Populator כדי להעביר נתונים מ-Cloud Storage ל-Parallelstore במהלך הקצאה דינמית.
  • נפח שמיש: אפשר להגדיר נפח אחסון מ-12,000 GiB עד 100,000 GiB.
  • אזורים נתמכים: Parallelstore נתמך באזורים האלה. אם האזור של האשכול שונה מהאזור של מופע Parallelstore, תהיה ירידה משמעותית בביצועי הקלט/פלט.
  • מגבלות של VPC-SC ב-Parallelstore: אם אתם משתמשים גם ב-VPC משותף וגם ב-VPC Service Controls, כדי שמופע Parallelstore יפעל בצורה תקינה, הפרויקט המארח שמספק את הרשת ופרויקט השירות שמכיל את מופע Parallelstore צריכים להיות באותו גבולות גזרה. הפרדה בין פרויקט המארח לפרויקט השירות באמצעות גבולות גזרה עלולה לגרום לכך שהמכונות הקיימות לא יהיו זמינות, ולא ייווצרו מכונות חדשות.
  • תמיכה במחשבי ARM: מנהל ההתקן Parallelstore CSI תומך רק בצמתים של ארכיטקטורת amd64. בשלב הזה אין תמיכה בצמתים מבוססי ARM.

דרישות

כדי להשתמש ב-Parallelstore CSI driver, האשכולות צריכים לעמוד בדרישות הבאות:

  • מוודאים שהגרסה האחרונה של Google Cloud CLI מותקנת. הגרסה המינימלית של ה-CLI של gcloud שנתמכת בתכונה הזו היא 469.0.0 ואילך.
  • משתמשים בגרסה 1.29 ואילך של אשכול Google Kubernetes Engine.

המאמרים הבאים