אזורי AI

במאמר הזה מוסבר על אזורי AI ב-Cloud Storage. אזורי AI הם אזורים ייעודיים שמיועדים לספק קיבולת מחשוב לעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). Google Cloud הם מספקים קיבולת משמעותית של מאיצי למידת מכונה (GPU ו-TPU).

אזורי AI מותאמים לעומסי עבודה של AI ו-ML, כמו:

  • אימון בקנה מידה גדול
  • אימון בקנה מידה קטן, כוונון עדין, הסקת מסקנות בכמות גדולה ואימון מחדש
  • הסקת מסקנות בזמן אמת באמצעות למידת מכונה

למידע רקע על אזורי AI, קראו את המאמר אזורי AI במסמכי התיעוד של Compute Engine.

באזור מסוים, יכול להיות שאזורי ה-AI יהיו מרוחקים גיאוגרפית מאזורים רגילים (ללא AI).

אזורי AI תואמים לתכונות אחרות של Cloud Storage ו- Google Cloud.

המלצות לארכיטקטורת אחסון

כדי לאזן בין עלות, עמידות וביצועים, מומלץ להשתמש בארכיטקטורת אחסון מדורגת:

  • שכבת אחסון קר: משתמשים בקטגוריות של Cloud Storage באזורים רגילים לאחסון עמיד ומתמיד ("מקור האמת") של מערכי הנתונים לאימון ונקודות הביקורת של המודלים.

  • שכבת ביצועים: שימוש בשירותי אחסון ייעודיים לאזורים, שישמשו כמטמון במהירות גבוהה או כמרחב זמני לטיוטות. הגישה הזו מבטלת את זמן האחזור בין האזורים וממקסמת את קצב הנתונים במהלך משימות פעילות.

כדי לשפר את הביצועים של מערכות AI ו-ML באזורי AI, מומלץ להשתמש בפתרונות האחסון הבאים:

מוצר או שירות אחסון תיאור תרחישים לדוגמה
‫Rapid Cache, מוצר של Cloud Storage

מטמון קריאה אזורי מנוהל במלואו, שמגובה ב-SSD ומעביר נתונים שנקראים לעיתים קרובות מקטגוריה לאזור ה-AI.

יוצרים מכונה של Rapid Cache באזור AI בשביל קטגוריית המקור האזורית שמכילה את המודלים או את מערכי הנתונים לאימון שרוצים להציג. כשמשימת האימון קוראת קובץ, הקובץ נשלף למטמון המהיר באזור. פעולות קריאה עוקבות מוגשות ישירות מהמטמון, תוך עקיפת הרשת האזורית. זה אידיאלי לדפוסי גישה חוזרים לנתונים באימון מודלים ולפרסום מודלים עם זמן אחזור קצר.

מומלץ:

  • עומסי עבודה שכוללים הרבה קריאה
  • אימון מודלים ומילוי בקשות בזמן אחזור קצר
מוצר Rapid Bucket של Cloud Storage

יכולת עם ביצועים גבוהים שמאפשרת לאתר קטגוריות באזורים ולהשתמש במחלקת האחסון Rapid. מותאמת לעומסי עבודה שדורשים הרבה פעולות קלט/פלט, ומיועדת במיוחד לאפליקציות AI/ML שצריכות להיות באותו מיקום פיזי כמו הנתונים שהן צריכות לגשת אליהם.

כדי לבצע אופטימיזציה של אחסון הנתונים לעומסי עבודה שדורשים זמן אחזור קצר וקצב העברת נתונים גבוה, יוצרים קטגוריה ברמת האזור שמשתמשת ב-Rapid Storage, ואז טוענים את הקטגוריה כספרייה במכונה הווירטואלית באמצעות Cloud Storage FUSE. אחרי זה תוכלו להגדיר את האפליקציה כך שתאחסן נתונים בקטגוריה האזורית או תיגש אליהם דרך נקודת הטעינה של הקטגוריה. לדוגמה, כדי לאחסן נקודות ביקורת של מודלים בקטגוריה האזורית, מגדירים את ספריית נקודות הביקורת לנקודת הטעינה בקוד האימון.

כדי לשמור על עמידות אזורית, אתם יכולים לגבות את נקודות הבדיקה בקטגוריות אזוריות, בכמה אזורים או בשני אזורים. משתמשים ב-Storage Transfer Service כדי להעביר נתונים מקטגוריה אזורית לקטגוריה במיקום אחר. אפשר להשתמש בניהול מחזור החיים של אובייקטים כדי להגדיר תפוגה ומחיקה של נתונים אחרי פרק זמן מסוים.

מומלץ:

  • עומסי עבודה של קריאה וכתיבה עם תפוקה גבוהה
  • נקודות ביקורת במהירות גבוהה
  • אימון מודלים ומילוי בקשות בזמן אחזור קצר

שיטות מומלצות

כדאי לפעול לפי השיטות המומלצות הבאות לאחסון כשמשתמשים באזורי AI:

  • הקצו את שכבת הביצועים באותו אזור AI שבו נמצאים משאבי המחשוב. הצבת המחשוב והאחסון באותו מיקום עוזרת לוודא שה-GPU וה-TPU נשארים רוויים לחלוטין, וכך למקסם את ה-goodput (קצב העברת נתונים שימושי).

  • ב-Rapid Cache, לפני שמתחילים את תקופת האימון הראשונית, צריך לקרוא מראש את קבוצת הנתונים כדי לאכלס או לחמם את המטמון שמגובה ב-SSD.

אזורי AI זמינים

בטבלה הבאה מפורטים אזורי ה-AI והאזורים הראשיים שלהם ב- Google Cloud.

אזור גיאוגרפי אזור הורה אזור ה-AI
אירופה europe-west4 europe-west4-ai1a
ארצות הברית us-central1 us-central1-ai1a
ארצות הברית us-south1 us-south1-ai1b

לתשומת ליבכם

  • אפשר לגשת למוצרי Google Cloud באזור Google Cloud דרך אזור ה-AI של האזור. עם זאת, גישה לשירותים באזור Google Cloudמאזור AI יכולה להוסיף זמן אחזור ברשת, כי המיקום של אזור ה-AI עשוי להיות נפרד פיזית מהמיקומים של האזורים הרגילים באזור.

  • מומלץ להריץ עומסי עבודה שלא קשורים ל-ML באזורים רגילים, ולא באזורי AI, כי באזורי AI לא כל שירותי Google Cloud מוצעים באופן מקומי.

המאמרים הבאים