אם אתם כותבים קוד אימון משלכם במקום להשתמש ב-AutoML}, יש כמה דרכים לבצע אימון בלי שרת (serverless) ב-Vertex AI שכדאי לשקול. במסמך הזה מפורטת סקירה כללית קצרה והשוואה בין הדרכים השונות להפעלת אימון ללא שרתים.
משאבי אימון ללא שרת ב-Vertex AI
יש שלושה סוגים של משאבי Vertex AI שאפשר ליצור כדי לאמן מודלים בהתאמה אישית ב-Vertex AI:
כשיוצרים משימה בהתאמה אישית, מציינים הגדרות ש-Vertex AI צריך כדי להריץ את קוד האימון, כולל:
- מאגר worker אחד
לאימון של צומת יחיד (
WorkerPoolSpec), או כמה מאגרי worker לאימון מבוזר - הגדרות אופציונליות להגדרת תזמון של עבודות (
Scheduling), הגדרת משתני סביבה מסוימים לקוד האימון, שימוש בחשבון שירות בהתאמה אישית ושימוש ב-VPC Network Peering
במאגרי העובדים אפשר לציין את ההגדרות הבאות:
- סוגי מכונות ומאיצים
- הגדרה של סוג קוד ההדרכה שמופעל במאגר העובדים: אפליקציית הדרכה של Python (
PythonPackageSpec) או קונטיינר בהתאמה אישית (ContainerSpec)
משימות כוונון של היפר-פרמטר כוללות הגדרות נוספות שאפשר לקבוע, כמו מדד. מידע נוסף על אופטימיזציה של היפרפרמטרים
צינור אימון מתזמר משימות אימון בלי שרתים (serverless) או משימות כוונון היפר-פרמטרים עם שלבים נוספים, כמו טעינת מערך נתונים או העלאת המודל ל-Vertex AI אחרי שמשימת האימון הושלמה בהצלחה.
משאבי הדרכה בנושא Serverless
כדי לראות את צינורות ההכשרה הקיימים בפרויקט, עוברים לדף Training Pipelines בקטע Vertex AI במסוףGoogle Cloud .
מעבר אל 'אימון צינורות עיבוד נתונים'
כדי לראות את המשימות המותאמות אישית הקיימות בפרויקט, עוברים לדף Custom jobs.
כדי לראות משימות קיימות של כוונון היפר-פרמטרים בפרויקט, עוברים לדף Hyperparameter tuning.
מאגרי תגים מוכנים מראש ומותאמים אישית
לפני ששולחים ל-Vertex AI משימת אימון בלי שרת (serverless), משימת כוונון של היפר-פרמטרים או צינור עיבוד נתונים לאימון, צריך ליצור אפליקציית אימון ב-Python או קונטיינר בהתאמה אישית כדי להגדיר את קוד האימון ואת התלות שרוצים להפעיל ב-Vertex AI. אם יוצרים אפליקציית אימון ב-Python באמצעות TensorFlow, PyTorch, scikit-learn או XGBoost, אפשר להשתמש בקונטיינרים המובנים שלנו כדי להריץ את הקוד. אם אתם לא בטוחים איזו מהאפשרויות האלה לבחור, תוכלו לעיין בדרישות לגבי קוד האימון כדי לקבל מידע נוסף.
אימון מבוזר
אפשר להגדיר משימת אימון ללא שרת, משימת כוונון של היפר-פרמטרים או צינור אימון לאימון מבוזר על ידי ציון של כמה מאגרי עובדים:
- משתמשים במאגר העובדים הראשון כדי להגדיר את הרפליקה הראשית, ומגדירים את מספר הרפליקות ל-1.
- אפשר להוסיף עוד מאגרי עובדים כדי להגדיר רפליקות של עובדים, רפליקות של שרת פרמטרים או רפליקות של מעריך, אם מסגרת למידת המכונה תומכת במשימות נוספות של אשכולות לאימון מבוזר.
מידע נוסף על שימוש באימון מבוזר
המאמרים הבאים
- כך יוצרים משאב מתמשך כדי להריץ משימות אימון ללא שרת.
- במאמר יצירת משימות אימון ללא שרת מוסבר איך ליצור משימות אימון ללא שרת כדי להפעיל את אפליקציות האימון ללא שרת ב-Vertex AI.
- במאמר יצירת צינורות עיבוד נתונים לאימון מוסבר איך ליצור צינורות עיבוד נתונים לאימון כדי להריץ אפליקציות לאימון ללא שרת ב-Vertex AI.
- מידע נוסף על חיפושים של כוונון היפר-פרמטרים