‫Google Kubernetes Engine Parallelstore CSI driver

הגישה ל-Parallelstore היא בהזמנה בלבד. אם אתם רוצים לבקש גישה ל-Parallelstore בפרויקט שלכם, אתם יכולים לפנות לנציג המכירות שלכם. Google Cloud

‫Parallelstore היא מערכת קבצים מבוזרת ומנוהלת עם זמן אחזור נמוך, שנועדה לעמוד בדרישות של אימון AI/ML ועומסי עבודה של מחשוב עתיר ביצועים (HPC) שזקוקים לזמן אחזור נמוך במיוחד (פחות ממילי-שנייה), לסמנטיקה מלאה של POSIX ולתפוקה גבוהה של פעולות מטא-נתונים. הקיבולת של Parallelstore גדלה עד למהירויות קריאה של ‎1 TB/s ומיליוני IOPS.

כדי לחבר אשכול Google Kubernetes Engine‏ (GKE) למופע Parallelstore, צריך להשתמש במנהל ההתקן של Parallelstore Container Storage Interface‏ (CSI). מנהל ההתקן של ה-CSI של Parallelstore מאפשר להשתמש ב-API של GKE כדי לצרוך מופעי Parallelstore כנפחי אחסון לעומסי עבודה עם שמירת מצב (stateful) (לדוגמה, קבוצות Pod ומשימות). הוא מותאם לעומסי עבודה של אימון AI/ML, במיוחד לעומסים שכוללים קבצים קטנים וקריאות אקראיות.

‫GKE מפעיל את מנהל ההתקן של CSI כברירת מחדל כשיוצרים אשכול GKE Autopilot חדש. בקטרי GKE Standard חדשים וקיימים, צריך להפעיל את מנהל התקן CSI.

יתרונות

אתם יכולים להשתמש במנהל התקן ה-CSI של Parallelstore כדי ליהנות מאחסון עם ביצועים גבוהים. באמצעות מנהל ההתקן Parallelstore CSI, אתם יכולים להאיץ את עומסי העבודה של מחשוב בעל ביצועים גבוהים ואימון AI/ML, עם גישה מהירה ועקבית לנתונים משותפים לעיבוד ולניתוח יעילים.

מגבלות

  • שמירת נתונים: Parallelstore היא מערכת קבצים מסוג "scratch plus". הוא מגובה על ידי SSD מקומי עם קידוד מחיקה של 2+1, והזמן הממוצע עד לאובדן נתונים הוא חודשיים. ‫Parallelstore לא מיועד לאחסון לטווח ארוך, אלא כמערכת קבצים מהירה במיוחד לעומסי עבודה ספציפיים.

  • מגבלה לכל Pod: ב-GKE אפשר לצרף רק מופע אחד של Parallelstore לכל Pod.

הערה: החל מגרסה 1.32.3 של GKE, אפשר להשתמש בתכונה node mount של Parallelstore CSI driver כדי לטעון כמה מופעים של Parallelstore לכל Pod.
  • העברות נתונים: העברת נתונים מ-Cloud Storage ל-Parallelstore לא נתמכת על ידי GKE API. כדי לבצע את ההעברה, משתמשים ב-Parallelstore API.
הערה: החל מגרסה 1.31.1 של GKE, אפשר להשתמש ב-GKE Volume Populator כדי להעביר נתונים מ-Cloud Storage ל-Parallelstore במהלך הקצאה דינמית.
  • נפח שמיש: אפשר להגדיר נפח אחסון מ-12,000 GiB עד 100,000 GiB.
  • אזורים נתמכים: Parallelstore נתמך באזורים האלה. אם האזור של אשכול ה-Parallelstore שונה מהאזור של מופע Parallelstore, תהיה ירידה משמעותית בביצועי הקלט/פלט.
  • מגבלות של VPC-SC ב-Parallelstore: אם אתם משתמשים גם ב-VPC משותף וגם ב-VPC Service Controls, הפרויקט המארח שמספק את הרשת ופרויקט השירות שמכיל את מופע Parallelstore צריכים להיות באותו היקף אבטחה כדי שמופע Parallelstore יפעל בצורה תקינה. הפרדה בין פרויקט המארח לפרויקט השירות באמצעות היקף עלולה לגרום לכך שהמופעים הקיימים לא יהיו זמינים, וייתכן שלא ייצרו מופעים חדשים.
  • תמיכה במחשבי ARM: מנהל ההתקן Parallelstore CSI תומך רק בצמתים בארכיטקטורת amd64. בשלב הזה אין תמיכה בצמתים מבוססי ARM.

דרישות

כדי להשתמש ב-Parallelstore CSI driver, האשכולות צריכים לעמוד בדרישות הבאות:

  • מוודאים שהגרסה האחרונה של Google Cloud CLI מותקנת. הגרסה המינימלית של gcloud CLI שנתמכת בתכונה הזו היא 469.0.0 ואילך.
  • משתמשים בגרסה 1.29 של אשכול Google Kubernetes Engine או בגרסה מתקדמת יותר.

המאמרים הבאים