Agent Platform Pipelines מאפשרת לכם להפוך לאוטומטיים את מערכות למידת המכונה (ML), לנטר אותן ולשלוט בהן באופן serverless באמצעות צינורות עיבוד נתונים של למידת מכונה כדי לתזמר את תהליכי העבודה של למידת המכונה. אפשר להריץ אצווה של צינורות ML שהוגדרו באמצעות Kubeflow Pipelines או TensorFlow Extended (TFX). כדי ללמוד איך לבחור מסגרת להגדרת צינור ה-ML, אפשר לעיין במאמר ממשקים להגדרת צינור.
בדף הזה מפורטים הנושאים הבאים:
מהו צינור עיבוד נתונים של למידת מכונה?
צינור עיבוד נתונים של למידת מכונה הוא תיאור נייד וניתן להרחבה של תהליך עבודה של MLOps כסדרה של שלבים שנקראים משימות בצינור עיבוד הנתונים. כל משימה מבצעת שלב ספציפי בתהליך העבודה של אימון מודל למידת מכונה ופריסתו.
באמצעות צינורות עיבוד נתונים של למידת מכונה, אתם יכולים להחיל אסטרטגיות של MLOps כדי לבצע אוטומציה ולעקוב אחרי תהליכים שניתנים לשחזור בתהליך למידת המכונה. לדוגמה, אפשר להשתמש מחדש בהגדרת צינור עיבוד נתונים כדי לאמן מחדש באופן רציף מודל על נתוני הייצור העדכניים ביותר. מידע נוסף על MLOps ב-Gemini Enterprise זמין במאמר MLOps ב-Gemini Enterprise API.
המבנה של צינור עיבוד נתונים של למידת מכונה
פייפליין של ML הוא גרף אציקלי מכוון (DAG) של משימות פייפליין בקונטיינרים שמחוברות ביניהן באמצעות יחסי תלות של קלט-פלט. אפשר ליצור כל משימה ב-Python או כתמונות קונטיינר מוכנות מראש.
אפשר להגדיר את צינור העיבוד כ-DAG באמצעות Kubeflow Pipelines SDK או TFX SDK, לקמפל אותו ל-YAML לייצוג ביניים ואז להריץ את צינור העיבוד. כברירת מחדל, המשימות בצינור העיבוד פועלות במקביל. אפשר לקשר בין המשימות כדי להריץ אותן ברצף. מידע נוסף על משימות בצינור זמין במאמר משימה בצינור. מידע נוסף על תהליך העבודה להגדרה, לקומפילציה ולהרצה של צינור העברת הנתונים זמין במאמר מחזור החיים של צינור להעברת נתונים של למידת מכונה.
משימות ורכיבים של צינורות
משימה בצינור עיבוד נתונים היא מופע של רכיב בצינור עיבוד נתונים עם קלט ספציפי. כשמגדירים צינור עיבוד נתונים של למידת מכונה, אפשר לקשר בין כמה משימות כדי ליצור DAG, על ידי ניתוב הפלט של משימת צינור עיבוד נתונים אחת לקלט של משימת צינור עיבוד הנתונים הבאה בתהליך העבודה של למידת המכונה. אפשר גם להשתמש בקלט של צינור ה-ML כקלט למשימה בצינור.
רכיב פוטנציאלי
רכיב של צינור הוא קבוצה עצמאית של קוד שמבצע שלב ספציפי בתהליך העבודה של למידת מכונה, כמו עיבוד מקדים של נתונים, אימון מודל או פריסת מודל. רכיב בדרך כלל כולל את המאפיינים הבאים:
קלט: לרכיב יכולים להיות פרמטרים וארטיפקטים של קלט.
פלט: לכל רכיב יש פרמטר או ארטיפקט אחד או יותר של פלט.
לוגיקה: זהו קוד ההפעלה של הרכיב. לרכיבים מבוססי-קונטיינר, הלוגיקה מכילה גם את ההגדרה של הסביבה, או קובץ אימג' של קונטיינר, שבה הרכיב פועל.
רכיבים הם הבסיס להגדרת משימות בצינור עיבוד נתונים של למידת מכונה. כדי להגדיר משימות של צינורות, אפשר להשתמש בGoogle Cloud רכיבי צינור מוגדרים מראש או ליצור רכיבים מותאמים אישית.
רכיבים מוגדרים מראש
אם רוצים להשתמש בתכונות של Gemini Enterprise API, כמו AutoML, בצינור עיבוד הנתונים, צריך להשתמש ב Google Cloud רכיבי צינור עיבוד נתונים מוגדרים מראש. כדי ללמוד איך להשתמש ב Google Cloud רכיבי צינור עיבוד נתונים להגדרת צינור עיבוד נתונים, אפשר לעיין במאמר יצירת צינור עיבוד נתונים.
רכיבים בהתאמה אישית
אתם יכולים ליצור רכיבים מותאמים אישית משלכם לשימוש בצינור ה-ML. מידע נוסף על יצירת רכיבים בהתאמה אישית זמין במאמר יצירת רכיבי צינור משלכם.
כדי ללמוד איך ליצור רכיבים מותאמים אישית של Kubeflow Pipelines, אפשר לעיין ב-notebook של הדרכה בנושא 'צינורות עם רכיבים פשוטים שמבוססים על פונקציות Python' ב-GitHub. כדי ללמוד איך ליצור רכיבי TFX בהתאמה אישית, אפשר לעיין במדריך בנושא רכיבי פונקציות Python של TFX במדריכים בנושא TensorFlow Extended בייצור.
משימה בפייפליין
משימה בצינור עיבוד נתונים היא מופע של רכיב בצינור עיבוד הנתונים, והיא מבצעת שלב ספציפי בתהליך העבודה של למידת מכונה. אפשר ליצור משימות של צינורות ML באמצעות Python או כקובצי אימג' מקונטיינרים מוכנים מראש.
במסגרת משימה, אתם יכולים להסתמך על יכולות החישוב לפי דרישה של Gemini Enterprise Agent Platform עם Kubernetes כדי להריץ את הקוד בצורה ניתנת להרחבה, או להעביר את עומס העבודה למנוע ביצוע אחר, כמו BigQuery, Dataflow או Managed Service for Apache Spark.
מחזור החיים של צינור עיבוד נתונים של למידת מכונה
מחזור החיים של צינור עיבוד נתונים של למידת מכונה, מההגדרה ועד להפעלה ולמעקב, כולל את השלבים הכלליים הבאים:
הגדרה: התהליך של הגדרת צינור עיבוד נתונים של למידת מכונה והמשימה שלו נקרא גם בניית צינור. בשלב הזה, צריך לבצע את הפעולות הבאות:
בחירת מסגרת ML: פייפליינים של Agent Platform תומכים בפייפליינים של ML שמוגדרים באמצעות המסגרת TFX או Kubeflow Pipelines. במאמר ממשקים להגדרת צינור מוסבר איך לבחור מסגרת לבניית צינור.
הגדרת משימות בצינור עיבוד הנתונים והגדרת צינור עיבוד הנתונים: מידע נוסף זמין במאמר יצירת צינור עיבוד נתונים.
קומפילציה: בשלב הזה, צריך לבצע את הפעולות הבאות:
יוצרים את ההגדרה של צינור עיבוד הנתונים של למידת המכונה בקובץ YAML שעבר קומפילציה לייצוג ביניים, שאפשר להשתמש בו כדי להריץ את צינור עיבוד הנתונים של למידת המכונה.
אופציונלי: אפשר להעלות את קובץ ה-YAML שעבר קומפילציה כתבנית של צינור עיבוד נתונים למאגר, ולהשתמש בו שוב כדי ליצור הפעלות של צינורות עיבוד נתונים של ML.
הפעלה: יצירת מופע הפעלה של צינור עיבוד הנתונים של למידת מכונה באמצעות קובץ ה-YAML שעבר קומפילציה או תבנית של צינור עיבוד נתונים. מופע ההפעלה של הגדרת צינור עיבוד נתונים נקרא הפעלת צינור עיבוד נתונים.
אפשר ליצור הפעלה חד-פעמית של צינור עיבוד נתונים או להשתמש ב-scheduler API כדי ליצור הפעלות חוזרות של צינור עיבוד נתונים מאותה הגדרה של צינור עיבוד נתונים ללמידת מכונה. אפשר גם לשכפל הרצה קיימת של צינור. כדי ללמוד איך לבחור ממשק להרצת צינור ML, אפשר לעיין במאמר בנושא ממשקים להרצת צינור. מידע נוסף על יצירת הרצה של צינור זמין במאמר הרצת צינור.
מעקב אחרי הרצות, הצגה חזותית וניתוח שלהן: אחרי שיוצרים הרצת צינור עיבוד נתונים, אפשר לבצע את הפעולות הבאות כדי לעקוב אחרי הביצועים, הסטטוס והעלויות של הרצות:
הגדרת התראות באימייל על כשלים בצינורות עיבוד נתונים. מידע נוסף זמין במאמר בנושא הגדרת התראות באימייל.
משתמשים ב-Cloud Logging כדי ליצור רשומות ביומן למעקב אחר אירועים. איך צופים ביומני עבודות של צינורות
הצגה חזותית, ניתוח והשוואה של הרצות של צינורות. מידע נוסף זמין במאמר בנושא הצגה חזותית וניתוח של תוצאות צינורות.
אתם יכולים להשתמש בייצוא של נתוני החיוב ב-Cloud ל-BigQuery כדי לנתח את העלויות של הרצת צינורות. מידע נוסף זמין במאמר הסבר על עלויות של הפעלת צינורות.
אופציונלי: עצירה או מחיקה של הרצות של צינורות: אין הגבלה על משך הזמן שבו אפשר להשאיר הרצה של צינור פעילה. אפשר גם לבצע את הפעולות הבאות:
הפסקה של הרצת צינור עיבוד נתונים.
השהיה או המשך של לוח זמנים להרצת צינור.
מחיקת תבנית קיימת של צינור, הפעלה של צינור או תזמון של הפעלה של צינור.
מהי הרצה של צינור עיבוד נתונים?
הרצת צינור עיבוד נתונים היא מופע של הפעלה של הגדרת צינור עיבוד הנתונים של למידת המכונה. כל הרצה של צינור מזוהה באמצעות שם הרצה ייחודי. באמצעות צינורות עיבוד נתונים של Agent Platform, אפשר ליצור הרצה של צינור עיבוד נתונים ללמידת מכונה בדרכים הבאות:
שימוש בהגדרת YAML שעברה קומפילציה של צינור עיבוד נתונים
שימוש בתבנית של צינור נתונים מגלריית התבניות
מידע נוסף על יצירת הפעלה של צינור זמין במאמר הפעלת צינור. מידע נוסף על יצירת הרצת צינור מתבנית של צינור זמין במאמר יצירה, העלאה ושימוש בתבנית של צינור.
למידע על תיעוד ושמירה של מטא-נתונים של הרצת פייפליין באמצעות Agent Platform ML Metadata, אפשר לעיין במאמר בנושא שימוש ב-Agent Platform ML Metadata כדי לעקוב אחרי השתלשלות של ארטיפקטים של למידת מכונה.
מידע על שימוש בהרצות של צינורות כדי לבצע ניסויים בתהליך העבודה של ה-ML באמצעות Gemini Enterprise Agent Platform Experiments זמין במאמר הוספת הרצות של צינורות לניסויים.
מעקב אחר שושלת של פריטי ML
הפעלת צינור מכילה כמה ארטיפקטים ופרמטרים, כולל מטא-נתונים של צינור. כדי להבין שינויים בביצועים או בדיוק של מערכת למידת המכונה (ML), צריך לנתח את המטא-נתונים ואת שושלת הארטיפקטים של למידת המכונה מהרצות של צינור הנתונים של למידת המכונה. שושלת הנתונים של ארטיפקט של ML כוללת את כל הגורמים שתרמו ליצירה שלו, יחד עם מטא-נתונים והפניות לארטיפקטים שנגזרים ממנו.
תרשימי שושלת עוזרים לכם לנתח את שורש הבעיה במעלה הזרם ואת ההשפעה במורד הזרם. כל הפעלה של צינור יוצרת תרשים של פרמטרים וארטיפקטים שמוזנים להפעלה, ממומשים בה ומוצאים ממנה. המטא-נתונים שמרכיבים את תרשים שושלת הנתונים הזה מאוחסנים ב-Agent Platform ML Metadata. אפשר גם לסנכרן את המטא-נתונים האלה עם Knowledge Catalog.
שימוש ב-Agent Platform ML Metadata כדי לעקוב אחרי שושלת של ארטיפקטים של פייפליין
כשמריצים פייפליין באמצעות Agent Platform Pipelines, כל הפרמטרים והמטא-נתונים של הארטיפקטים שנצרכים ונוצרים על ידי הפייפליין מאוחסנים ב-Agent Platform ML Metadata. Agent Platform ML Metadata הוא הטמעה מנוהלת של ספריית ML Metadata ב-TensorFlow, והוא תומך ברישום ובכתיבה של סכימות מטא-נתונים מותאמות אישית. כשיוצרים הפעלה של צינור עיבוד נתונים ב-Agent Platform Pipelines, המטא-נתונים מהפעלת צינור עיבוד הנתונים נשמרים במאגר המטא-נתונים שמוגדר כברירת מחדל לפרויקט ולאזור שבהם מפעילים את צינור עיבוד הנתונים.
שימוש ב-Knowledge Catalog כדי לעקוב אחרי שושלת נתונים של ארטיפקטים של פייפליין
Knowledge Catalog הוא שכבת נתונים גלובלית שמשולבת עם מערכות שונות ב- Google Cloud, כמו Agent Platform, BigQuery ו-Managed Service for Apache Airflow. ב-Knowledge Catalog, אפשר לחפש ארטיפקט של פייפליין ולראות את תרשים שושלת הנתונים שלו. חשוב לדעת: כדי למנוע קונפליקטים בין ארטיפקטים, כל משאב שמקוטלג ב-Knowledge Catalog מזוהה באמצעות שם מוגדר במלואו (FQN).
מידע נוסף על מעקב אחר שושלת נתונים של ארטיפקטים של למידת מכונה באמצעות Agent Platform ML Metadata ו-Knowledge Catalog זמין במאמר מעקב אחר שושלת נתונים של ארטיפקטים של פייפליין.
מידע נוסף על הדמיה, ניתוח והשוואה של הרצות של צינורות זמין במאמר הדמיה וניתוח של תוצאות צינורות. רשימה של סוגי ארטיפקטים מאינטראקציה ישירה (First-Party) שמוגדרים ב Google Cloud רכיבי צינורות, מופיעה במאמר סוגי ארטיפקטים של מטא-נתונים של ML.
הוספת הרצות של צינורות לניסויים
התכונה 'ניסויים בפלטפורמת סוכנים' מאפשרת לכם לעקוב אחרי ארכיטקטורות שונות של מודלים, היפרפרמטרים וסביבות אימון ולנתח אותם, כדי למצוא את המודל הכי טוב לתרחיש השימוש שלכם בלמידת מכונה. אחרי שיוצרים הפעלה של צינור עיבוד נתונים של למידת מכונה, אפשר לשייך אותה לניסוי או להפעלה של ניסוי. כך תוכלו להתנסות עם קבוצות שונות של משתנים, כמו היפרפרמטרים, מספר שלבי האימון או איטרציות.
מידע נוסף על ניסויים בתהליכי עבודה של ML באמצעות Agent Platform Experiments זמין במאמר מבוא ל-Agent Platform Experiments.
המאמרים הבאים
מידע על הממשקים שבהם אפשר להשתמש כדי להגדיר ולהריץ צינורות באמצעות Agent Platform Pipelines
כדי להתחיל, כדאי ללמוד איך להגדיר צינור עיבוד נתונים באמצעות Kubeflow Pipelines SDK.
שיטות מומלצות להטמעה של מודלים מותאמים אישית ללמידת מכונה ב-Gemini Enterprise Agent Platform