ב-Vertex ML Metadata, המשאבים מאורגנים בהיררכיה, כשכל משאב שייך ל-MetadataStore. כדי ליצור משאבי מטא-נתונים, קודם צריך ליצור MetadataStore.
טרמינולוגיה של Vertex ML Metadata
בקטע הבא מוסבר על מודל הנתונים והטרמינולוגיה שמשמשים לתיאור של רכיבים ומשאבים של מטא-נתונים של Vertex ML.
MetadataStore
- MetadataStore הוא הקונטיינר ברמה העליונה של משאבי מטא-נתונים. מאגר המטא-נתונים הוא אזורי ומשויך לפרויקט ספציפי ב-Google Cloud. בדרך כלל, ארגון משתמש במאגר MetadataStore משותף אחד למשאבי מטא-נתונים בכל פרויקט.
artifact
- ארטיפקט הוא ישות נפרדת או חלק נתונים שנוצרים ונצרכים על ידי תהליך עבודה של למידת מכונה. דוגמאות לארטיפקטים: מערכי נתונים, מודלים, קובצי קלט ויומני אימון.
context
- הקשר משמש לקיבוץ של פריטי מידע וביצועים יחד בקטגוריה אחת שאפשר להריץ עליה שאילתות ולסווג אותה. אפשר להשתמש בהקשרים כדי לייצג קבוצות של מטא-נתונים. דוגמה להקשר: הרצה של צינור עיבוד נתונים של למידת מכונה.
הרצה של צינור עיבוד נתונים ב-Vertex AI Pipelines. במקרה הזה, ההקשר מייצג הרצה אחת וכל ביצוע מייצג שלב בצינור הנתונים של למידת המכונה.
ניסוי שמופעל מ-notebook. במקרה כזה, ההקשר יכול לייצג את המחברת וכל הרצה יכולה לייצג תא במחברת הזו.
event
- אירוע מתאר את הקשר בין ארטיפקטים לבין הפעלות. כל ארטיפקט יכול להיווצר על ידי הפעלה ולהיצרך על ידי הפעלות אחרות. אירועים עוזרים לקבוע את מקור הארטיפקטים בתהליכי העבודה של למידת המכונה (ML) על ידי שרשור של ארטיפקטים וביצועים.
execution
- הרצה היא רשומה של שלב מסוים בתהליך העבודה של למידת מכונה, בדרך כלל עם הערות של פרמטרים של זמן הריצה. דוגמאות לביצועים כוללות קליטת נתונים, אימות נתונים, אימון מודלים, הערכת מודלים ופריסת מודלים.
MetadataSchema
- MetadataSchema מתאר את הסכימה של סוגים מסוימים של ארטיפקטים, הפעלות או הקשרים. משתמשים ב-MetadataSchemas כדי לאמת את צמדי המפתח/ערך במהלך היצירה של משאבי המטא-נתונים התואמים. אימות הסכימה מתבצע רק בשדות תואמים בין המשאב לבין MetadataSchema. סכימות של סוגים מיוצגות באמצעות אובייקטים של סכימת OpenAPI, שצריך לתאר באמצעות YAML.
דוגמה ל-MetadataSchema
סכימות של סוגים מיוצגות באמצעות אובייקטים של סכימת OpenAPI, שצריך לתאר באמצעות YAML.
בדוגמה הבאה מוצג אופן ההגדרה של סוג המערכת Model המוגדר מראש בפורמט YAML.
title: system.Model
type: object
properties:
framework:
type: string
description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
framework_version:
type: string
description: "The framework version, for example '1.15' or '2.1'"
payload_format:
type: string
description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"
הכותרת של הסכימה צריכה להיות בפורמט <namespace>.<type name>.
ב-Vertex ML Metadata מתפרסמות סכימות שמוגדרות על ידי המערכת ומתוחזקות כדי לייצג סוגים נפוצים שנמצאים בשימוש נרחב בתהליכי עבודה של למידת מכונה. הסכימות האלה נמצאות במרחב השמות system, ואפשר לגשת אליהן כמשאבי MetadataSchema ב-API. סכימות תמיד כוללות גרסה.
מידע נוסף על סכימות זמין במאמר סכימות מערכת. בנוסף, בעזרת Vertex ML Metadata אפשר ליצור סכימות מותאמות אישית שהמשתמש מגדיר. מידע נוסף על סכימות מערכת זמין במאמר איך רושמים סכימות מותאמות אישית.
משאבי המטא-נתונים שמוצגים דומים מאוד לאלה של הטמעת הקוד הפתוח של ML Metadata (MLMD).