ערכי הגדרה אוטומטיים לסוגי מכונות עם ביצועים גבוהים

במאמר הזה מוסבר איך להגדיר באופן אוטומטי את ערכי ברירת המחדל של Cloud Storage FUSE, שמשמשים לסוגי מכונות של Compute Engine עם ביצועים גבוהים, שנועדו לשפר את הביצועים של עומסי עבודה תובעניים עם תפוקה גבוהה. ערכים שמוגדרים ידנית בזמן הטעינה יחליפו את ערכי ברירת המחדל האלה.

סוגי מכונות

הערכים של ההגדרות אוטומטיים לסוגי המכונות הבאים של Compute Engine עם ביצועים גבוהים:

סוג הסדרה סוג המכונה
סדרת מכונות A2

a2-megagpu-16g

a2-ultragpu-8g
סדרת המכונות A3

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
סדרת המכונות A4

a4-highgpu-8g-lowmem
סדרת המכונות A4X
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

ערכי הגדרה אוטומטיים

כשמזוהה סוג מכונה נתמך, Cloud Storage FUSE מחיל באופן אוטומטי את ערכי ההגדרות הבאים:

שדה קובץ התצורה של Cloud Storage FUSE אפשרות ל-CLI של Cloud Storage FUSE ערך הגדרה אוטומטי
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
‫metadata-cache:ttl-secs1 ‫--metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

‫1הגדרת התצורה הזו לערך -1 משפרת משמעותית את הביצועים, כי הקבצים תמיד מוצגים מהמטמון. חשוב לדעת שההגדרה הזו עוקפת את בדיקות העקביות, ולכן יכול להיות שיוצגו נתונים לא עדכניים. פרטים על ניהול עקביות הנתונים מופיעים במאמר סקירה כללית על שמירה במטמון ב-Cloud Storage FUSE.

כוונון נוסף של הביצועים

כשמשתמשים ב Google Cloud סוג מכונה עם ביצועים גבוהים, ערכי ההגדרות שמפורטים בדף הזה חלים באופן אוטומטי. עם זאת, אתם יכולים לשפר את ביצועי המכונה באמצעות השיטות הבאות:

  • כדי לשפר את Cloud Storage FUSE, אתם יכולים להשתמש במדריך לשיטות מומלצות לכוונון הביצועים באמצעות תכונות והגדרות אישיות עיקריות של Cloud Storage FUSE, וכך להשיג תפוקה מקסימלית וביצועים אופטימליים.

  • אם אתם מריצים אימון, הגשה או יצירת נקודות ביקורת ועומסי עבודה של מטמון Just in Time (JIT) באשכולות של Google Kubernetes Engine שמשתמשים במעבדים גרפיים ל-Cloud או ב-Cloud TPU כדי לגשת למערכי נתונים גדולים ב-Cloud Storage, אתם יכולים לייעל את ההגדרה באמצעות קובצי YAML שהוגדרו מראש כדי לטעון את הקטגוריות של Cloud Storage ישירות לפודים בצורה יעילה יותר. מידע נוסף והוראות לשימוש בקובצי GKE YAML שהוגדרו מראש זמינים במאמר שימוש בקובצי GKE YAML שהוגדרו מראש כדי לשפר את הביצועים של Cloud Storage FUSE.

  • אם אתם מריצים עומסי עבודה של אימון, הגשה או יצירת נקודות ביקורת באמצעות Cloud Storage FUSE, אתם יכולים להשתמש בשדה profile או באפשרות הפקודה --profile כדי לבצע כוונון אוטומטי של הגדרות ספציפיות של Cloud Storage FUSE לביצועים אופטימליים על סמך סוג עומס העבודה הספציפי. מידע נוסף זמין במאמר בנושא הגדרות מבוססות-פרופיל לעומסי עבודה של AI/ML.

המאמרים הבאים