רענון אוטומטי של המודל

בעזרת התכונה 'רענון אוטומטי של המודל', כשמתבצע שינוי במודל הבסיסי, צינור הנתונים מתעדכן כך שישתמש במודל החדש. הטרנספורמציה RunInference מעדכנת אוטומטית את המטפל במודל, ולכן אין צורך לפרוס מחדש את צינור הנתונים. התכונה הזו מאפשרת לעדכן את המודל בזמן אמת, גם בזמן שהצינור של Apache Beam פועל.

עדכון אוטומטי של מודלים מספק שתי שיטות לעדכון מודלים של למידת מכונה (ML): מצב צפייה ומצב אירוע.

מצב צפייה

אפשר להשתמש באחד מהדפוסים שסופקו על ידי Apache Beam, כמו המחלקה WatchFilePattern, כדי לעקוב אחרי הקובץ האחרון בקטגוריה של Cloud Storage. ‫WatchFilePattern משתמש בחותמות זמן כדי להתאים file_pattern ופולט את ModelMetadata האחרון, ש-RunInference PTransform משתמש בו כדי לעדכן את מודל ה-ML.

במאמר Use WatchFilePattern to auto-update ML models in RunInference במסמכי התיעוד של Apache Beam מוסבר איך משתמשים ב-WatchFilePattern כדי לרענן אוטומטית מודלים של ML.

מצב אירוע

מחברים את צינור העיבוד למקור לא מוגבל, כמו Pub/Sub, כדי לשלוח אירועי עדכון ישירות לטרנספורמציה, שמתחילה עדכון של המודל. מגדירים קלט צדדי בהתאמה אישית PCollection שמגדיר את הלוגיקה לעדכון המודל.

כדי לעקוב אחרי הדרכה שמראה איך לעדכן את המודל בסביבת ייצור באמצעות קלט צדדי PCollection, אפשר לעיין במאמר עדכון מודלים של למידת מכונה בצינורות עיבוד נתונים פעילים.

המאמרים הבאים