Tabular Workflows on Agent Platform

‫Tabular Workflows הוא אוסף של צינורות עיבוד נתונים משולבים, מנוהלים וניתנים להתאמה, ללמידת מכונה מקצה לקצה עם נתונים טבלאיים. הוא מבוסס על הטכנולוגיה של Google לפיתוח מודלים, ומספק לכם אפשרויות התאמה אישית שמתאימות לצרכים שלכם.

יתרונות

  • מנוהל באופן מלא: לא צריך לדאוג לגבי עדכונים, יחסי תלות וקונפליקטים.
  • קל להרחבה: לא צריך לתכנן מחדש את התשתית ככל שהעומסים או מערכי הנתונים גדלים.
  • אופטימיזציה לביצועים: החומרה המתאימה מוגדרת אוטומטית לדרישות של תהליך העבודה.
  • שילוב עמוק: תאימות למוצרים בחבילת MLOps של Gemini Enterprise Agent Platform, כמו Gemini Enterprise Agent Platform Pipelines ו-Vertex AI Experiments, מאפשרת לכם להריץ הרבה ניסויים בפרק זמן קצר.

סקירה טכנית

כל תהליך עבודה הוא מופע מנוהל של צינורות (Pipelines) של Gemini Enterprise Agent Platform.

‫Gemini Enterprise Agent Platform Pipelines הוא שירות ללא שרת (serverless) שמריץ צינורות של Kubeflow. אתם יכולים להשתמש בצינורות כדי להפוך לאוטומטיות את המשימות שלכם בלמידת מכונה ובהכנת נתונים, ולעקוב אחריהן. כל שלב בצינור העברת נתונים מבצע חלק מזרימת העבודה של צינור העברת הנתונים. לדוגמה, צינור יכול לכלול שלבים לפיצול נתונים, המרה של סוגי נתונים ואימון מודל. מכיוון ששלבים הם מופעים של רכיבי צינור עיבוד נתונים, יש להם קלט, פלט וקובץ אימג' של קונטיינר. אפשר להגדיר את נתוני הקלט של השלב מתוך נתוני הקלט של צינור העיבוד, או שהם יכולים להיות תלויים בפלט של שלבים אחרים בצינור העיבוד הזה. התלויות האלה מגדירות את תהליך העבודה של צינור הנתונים כגרף אציקלי מכוון.

גרף אציקלי מכוון של תהליכי עבודה טבלאיים

קדימה, מתחילים

ברוב המקרים, מגדירים ומריצים את צינור עיבוד הנתונים באמצעות Google Cloud Pipeline Components SDK. הקוד לדוגמה הבא ממחיש את התהליך הזה. שימו לב שההטמעה בפועל של הקוד עשויה להיות שונה.

  // Define the pipeline and the parameters
  template_path, parameter_values = tabular_utils.get_default_pipeline_and_parameters(
     …
      optimization_objective=optimization_objective,
      data_source=data_source,
      target_column_name=target_column_name
     …)

  // Run the pipeline
  job = pipeline_jobs.PipelineJob(..., template_path=template_path, parameter_values=parameter_values)
  job.run(...)

כדי לקבל דוגמאות של מחברות ושל קובצי Colab, אפשר לפנות לנציג המכירות או למלא טופס בקשה.

ניהול גרסאות ותחזוקה

ל-Tabular Workflows יש מערכת יעילה לניהול גרסאות, שמאפשרת לבצע עדכונים ושיפורים באופן רציף בלי לשנות את האפליקציות.

כל תהליך עבודה מופץ ומעודכן כחלק מ-Google Cloud Pipeline Components SDK. עדכונים ושינויים בתהליך עבודה כלשהו מתפרסמים כגרסאות חדשות של אותו תהליך עבודה. גרסאות קודמות של כל תהליך העבודה תמיד זמינות דרך הגרסאות הישנות יותר של ה-SDK. אם גרסת ה-SDK מוצמדת, גם גרסת תהליך העבודה מוצמדת.

תהליכי עבודה זמינים

ב-Agent Platform יש את תהליכי העבודה הטבלאיים הבאים:

שם סוג זמינות
Feature Transform Engine Feature Engineering גרסת טרום-השקה ציבורית
‫AutoML מקצה לקצה סיווג ורגרסיה זמינות לכלל המשתמשים (GA)
תחזיות תחזיות גרסת טרום-השקה ציבורית

לקבלת מידע נוסף ומחברות לדוגמה, אפשר לפנות לנציג המכירות או למלא את טופס הבקשה.

Feature Transform Engine

התכונה Transform Engine מבצעת בחירה של תכונות וטרנספורמציות של תכונות. אם האפשרות 'בחירת תכונות' מופעלת, Feature Transform Engine יוצר קבוצה מדורגת של תכונות חשובות. אם הפעלתם את התכונה 'שינוי תכונות', המנוע Feature Transform Engine מעבד את התכונות כדי לוודא שהקלט לאימון המודל ולהצגת המודל יהיה עקבי. אפשר להשתמש ב-Feature Transform Engine בנפרד או יחד עם כל אחד מתהליכי העבודה של אימון נתונים בפורמט טבלאי. הוא תומך ב-frameworks של TensorFlow וגם ב-frameworks אחרים.

מידע נוסף זמין במאמר בנושא הנדסת תכונות.

תהליכי עבודה טבלאיים לסיווג ולרגרסיה

תהליך עבודה טבלאי של AutoML מקצה לקצה

‫Tabular Workflow for End-to-End AutoML הוא צינור AutoML מלא למשימות סיווג ורגרסיה. הוא דומה ל-AutoML API, אבל מאפשר לכם לבחור מה לשלוט ומה להפוך לאוטומטי. במקום אמצעי בקרה לכל הצינור, יש אמצעי בקרה לכל שלב בצינור. אמצעי הבקרה של הצינור כוללים:

  • פיצול נתונים
  • Feature engineering
  • חיפוש אדריכלות
  • אימון המודל
  • שילוב מודלים
  • זיקוק מודלים

יתרונות

  • תמיכה במערכי נתונים גדולים בגודל של כמה טרה-בייט, עם עד 1,000 עמודות.
  • האפשרות הזו מאפשרת לכם לשפר את היציבות ולקצר את זמן האימון על ידי הגבלת מרחב החיפוש של סוגי הארכיטקטורה או דילוג על חיפוש הארכיטקטורה.
  • האפשרות הזו מאפשרת לכם לשפר את מהירות האימון על ידי בחירה ידנית של החומרה שמשמשת לאימון ולחיפוש ארכיטקטורה.
  • מאפשרת להקטין את גודל המודל ולשפר את זמן האחזור באמצעות זיקוק או שינוי גודל האנסמבל.
  • אפשר לבדוק כל רכיב של AutoML בממשק גרפי רב-עוצמה של צינורות, שמאפשר לראות את טבלאות הנתונים שעברו טרנספורמציה, את ארכיטקטורות המודלים שנבדקו ועוד הרבה פרטים.
  • כל רכיב AutoML מקבל גמישות ושקיפות מורחבות, כמו היכולת להתאים אישית פרמטרים, חומרה, להציג את סטטוס התהליך, יומנים ועוד.

קלט-פלט

  • מקבל כקלט טבלה ב-BigQuery או קובץ CSV מ-Cloud Storage.
  • יוצר מודל של Agent Platform כפלט.
  • הפלט הזמני כולל נתונים סטטיסטיים של קבוצת הנתונים ופיצולים של קבוצת הנתונים.

מידע נוסף זמין במאמר תהליך עבודה טבלאי ל-AutoML מקצה לקצה.

תהליכי עבודה טבלאיים ליצירת תחזיות

תהליך עבודה טבלאי ליצירת תחזיות

תהליך העבודה הטבלאי ליצירת תחזיות הוא צינור מלא של משימות תחזיות. הוא דומה ל-AutoML API, אבל מאפשר לכם לבחור מה לשלוט ומה להפוך לאוטומטי. במקום אמצעי בקרה לכל הצינור, יש אמצעי בקרה לכל שלב בצינור. אמצעי הבקרה של הצינור כוללים:

  • פיצול נתונים
  • Feature engineering
  • חיפוש אדריכלות
  • אימון המודל
  • שילוב מודלים

יתרונות

  • תמיכה במערכי נתונים גדולים בגודל של עד 1TB ועם עד 200 עמודות.
  • האפשרות הזו מאפשרת לשפר את היציבות ולקצר את זמן ההכשרה על ידי הגבלת מרחב החיפוש של סוגי הארכיטקטורה או דילוג על חיפוש הארכיטקטורה.
  • אפשר לשפר את מהירות האימון על ידי בחירה ידנית של החומרה שמשמשת לאימון ולחיפוש ארכיטקטורה.
  • אפשר להקטין את גודל המודל ולשפר את זמן האחזור על ידי שינוי גודל האנסמבל.
  • אפשר לבדוק כל רכיב בממשק גרפי רב-עוצמה של צינורות, שמאפשר לראות את טבלאות הנתונים שעברו טרנספורמציה, את ארכיטקטורות המודלים שנבדקו ועוד הרבה פרטים.
  • כל רכיב מקבל גמישות ושקיפות מורחבות, כמו היכולת להתאים אישית פרמטרים, חומרה, להציג את סטטוס התהליך, יומנים ועוד.

קלט-פלט

  • מקבל כקלט טבלה ב-BigQuery או קובץ CSV מ-Cloud Storage.
  • יוצר מודל של Agent Platform כפלט.
  • הפלט הזמני כולל נתונים סטטיסטיים של קבוצת הנתונים ופיצולים של קבוצת הנתונים.

מידע נוסף זמין במאמר Tabular Workflow for Forecasting.

המאמרים הבאים