מודל נתונים ומשאבים

ב-Vertex ML Metadata, המשאבים מאורגנים בהיררכיה, כשכל משאב שייך ל-MetadataStore. כדי ליצור משאבי Metadata, קודם צריך ליצור MetadataStore.

מינוח של Vertex ML Metadata

בקטעים הבאים מוסבר על מודל הנתונים והטרמינולוגיה שמשמשים לתיאור של רכיבים ומשאבים של Vertex ML Metadata.

MetadataStore
  • ‫MetadataStore הוא הקונטיינר ברמה העליונה של משאבי מטא-נתונים. מאגר המטא-נתונים הוא אזורי ומשויך לפרויקט ספציפי ב-Google Cloud. בדרך כלל, ארגון משתמש ב-MetadataStore משותף אחד למשאבי מטא-נתונים בכל פרויקט.
פריט מידע אחד (Artifact)
  • ארטיפקט הוא ישות נפרדת או חלק של נתונים שנוצרים ומשמשים בתהליך עבודה של למידת מכונה. דוגמאות לארטיפקטים כוללות מערכי נתונים, מודלים, קובצי קלט ויומני אימון.
context
  • הקשר משמש לקיבוץ של פריטי מידע מעניינים שנוצרו בתהליך פיתוח (Artifacts) וביצועים (Executions) יחד בקטגוריה אחת שאפשר להריץ עליה שאילתות ולסווג אותה. אפשר להשתמש בהקשרים כדי לייצג קבוצות של מטא-נתונים. דוגמה להקשר: הרצה של צינור למידת מכונה.
לדוגמה, אפשר להשתמש בהקשרים כדי לייצג קבוצות של מטא-נתונים כמו:

  • הרצה של צינור עיבוד נתונים בפלטפורמת הסוכנים של Gemini Enterprise. במקרה הזה, ההקשר מייצג הרצה אחת וכל ביצוע מייצג שלב בצינור עיבוד הנתונים של למידת המכונה. התרשים מראה איך ארטיפקטים, הפעלות והקשר משולבים במודל נתוני הגרף של Vertex ML Metadata.

  • ניסוי שמופעל מתוך מחברת. במקרה הזה, ההקשר יכול לייצג את ה-Notebook וכל הרצה יכולה לייצג תא ב-Notebook הזה.

    event
    • אירוע מתאר את הקשר בין ארטיפקטים לבין הפעלות. כל ארטיפקט יכול להיווצר על ידי הפעלה ולהיצרך על ידי הפעלות אחרות. אירועים עוזרים לקבוע את המקור של ארטיפקטים בתהליכי העבודה של למידת מכונה (ML) על ידי שרשור של ארטיפקטים והרצות.
    execution
    • הרצה היא רשומה של שלב ספציפי בתהליך עבודה של למידת מכונה, שבדרך כלל מצורפים לה פרמטרים של זמן הריצה. דוגמאות להרצות כוללות קליטת נתונים, אימות נתונים, אימון מודל, הערכת מודל ופריסת מודל.
    MetadataSchema
    • ‫MetadataSchema מתאר את הסכימה של סוגים מסוימים של ארטיפקטים, הפעלות או הקשרים. משתמשים ב-MetadataSchemas כדי לאמת את צמדי המפתח/ערך במהלך היצירה של משאבי המטא-נתונים התואמים. אימות הסכימה מתבצע רק בשדות תואמים בין המשאב לבין MetadataSchema. סכימות של סוגים מיוצגות באמצעות אובייקטים של סכימת OpenAPI, שצריך לתאר באמצעות YAML.

דוגמה ל-MetadataSchema

סכימות של סוגים מיוצגות באמצעות אובייקטים של סכימת OpenAPI, שצריך לתאר באמצעות YAML.

בדוגמה הבאה מוצג אופן ההגדרה של סוג המערכת המוגדר מראש Model בפורמט YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

הפורמט של שם הסכימה הוא <namespace>.<type name>.‏ Vertex ML Metadata מפרסם ומנהל סכימות שמוגדרות על ידי המערכת לייצוג סוגים נפוצים שנמצאים בשימוש נרחב בתהליכי עבודה של ML. הסכימות האלה נמצאות במרחב השמות system, ואפשר לגשת אליהן כמשאבי MetadataSchema ב-API. הסכימות תמיד כוללות גרסאות.

מידע נוסף על סכימות זמין במאמר סכימות מערכת. בנוסף, בעזרת Vertex ML Metadata אפשר ליצור סכימות מותאמות אישית שהמשתמש מגדיר. מידע נוסף על סכימות מערכת זמין במאמר איך רושמים סכימות מותאמות אישית.

משאבי המטא-נתונים שמוצגים דומים מאוד לאלה של הטמעת הקוד הפתוח של ML Metadata (MLMD).

המאמרים הבאים