מעקב אחר שרשרת המקור של ארטיפקטים של צינורות

לכל הרצת צינור שנוצרת באמצעות Agent Platform Pipelines יש כמה ארטיפקטים ופרמטרים משויכים, כמו מודלים, מערכי נתונים, תבניות של צינורות ורכיבים. שושלת הנתונים של ארטיפקט של פייפליין כוללת את הגורמים שתרמו ליצירה שלו, וגם ארטיפקטים ומטא-נתונים שנגזרים מהארטיפקט. לדוגמה, שושלת של מודל יכולה לכלול את המידע הבא:

• נתוני האימון, הבדיקה וההערכה ששימשו ליצירת המודל.

• ההיפר-פרמטרים שבהם נעשה שימוש במהלך אימון המודל.

• מטא-נתונים שתועדו מתהליך האימון וההערכה, כמו רמת הדיוק של המודל.

• ארטיפקטים שנובעים מהמודל הזה, כמו התוצאות של חיזויים באצווה.

בעזרת המטא-נתונים האלה תוכלו לענות על שאלות כמו:

• למה הפעלת צינור מסוים הניבה מודל מדויק במיוחד?

• איזה מודל הכי מדויק נוצר בהרצת צינור הנתונים, ואילו היפרפרמטרים שימשו לאימון המודל?

• בהתאם לשלבים בצינור, יכול להיות שתוכלו לענות על שאלות לגבי ניהול המערכת. לדוגמה, אפשר להשתמש במטא-נתונים כדי לקבוע איזו גרסה של המודל הייתה בייצור בנקודת זמן מסוימת.

כדי לראות ולנתח את שושלת הנתונים של ארטיפקטים של פייפליין, אפשר להשתמש ב-Vertex ML Metadata או ב-Knowledge Catalog.

בטבלה הבאה מפורטים ההבדלים בין Vertex ML Metadata לבין Knowledge Catalog:

תכונה	Vertex ML Metadata	Knowledge Catalog
סוגי המטא-נתונים של צינורות העברת נתונים שנאספים	כל פריטי המידע שנוצרו בתהליך פיתוח (Artifact) של הרצת צינור.	פריטי קלט ופלט שאפשר למפות לשמות מוגדרים במלואם (FQN) שנתמכים ב-Knowledge Catalog, בדרך כלל באמצעות Google Cloud רכיבי פייפליין.
גיאוגרפיה	קריאות באזור יחיד.	קריאות גלובליות, כלומר קריאות שמתבצעות במספר אזורים.
פרויקטים	קריאות של פרויקט יחיד.	קריאות בכל הארגון בכמה פרויקטים.
שירותים משולבים	משולב עם Agent Platform Pipelines,‏ Gemini Enterprise Agent Platform Experiments,‏ Gemini Enterprise Agent Platform Model Registry ו-Datasets.	משולב עם מספר Google Cloud מוצרים, כמו Gemini Enterprise Agent Platform,‏ BigQuery,‏ Managed Service for Apache Airflow ו-Managed Service for Apache Spark.
רוצה להצטרף?	לא, תמיד מופעל.	כדי להצטרף, מפעילים את Data Lineage API בכל פרויקט.

מיפוי ארטיפקטים של Vertex ML Metadata ל-Knowledge Catalog

כדי למפות ארטיפקטים של Vertex ML Metadata ל-FQNs ב-Knowledge Catalog, צריך לבצע את הפעולות הבאות:

• משתמשים ב Google Cloud רכיבי צינור עיבוד הנתונים בזמן יצירת מודלים של Agent Platform וערכות נתונים מנוהלות.

• משתמשים בשמות של סכימות מותאמות אישית (google.VertexDataset או google.VertexModel) כשמציינים את שם המשאב של המודל או של מערך הנתונים המנוהל בשדה metadata, כמו בדוגמה הבאה:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

ניתוח השושלת של ארטיפקטים של פייפליין באמצעות Vertex ML Metadata

כשמריצים פייפליין באמצעות Agent Platform Pipelines, הארטיפקטים והפרמטרים של הפעלת הפייפליין מאוחסנים באמצעות Vertex ML Metadata. בעזרת Vertex ML Metadata קל יותר לנתח את שושלת הנתונים של הארטיפקטים של הפייפליין, כי לא צריך לעקוב אחרי המטא-נתונים של הפייפליין.

אם זו הפעם הראשונה שאתם משתמשים ב-Vertex ML Metadata, מומלץ לקרוא את המבוא ל-Vertex ML Metadata.

כדי לקבל הדרכה מפורטת על ניתוח ארטיפקטים ומטא-נתונים שנוצרו במהלך ההרצה של צינורות (Pipelines) ב-Agent Platform, אפשר לעיין בשיעור Codelab בנושא שימוש ב-Vertex ML Metadata עם צינורות (Pipelines) ב-Agent Platform.

כדי לראות את גרף שושלת הנתונים של ארטיפקט של פייפליין באמצעות Vertex ML Metadata, פועלים לפי ההוראות הבאות:

1. במסוף Google Cloud , בקטע Gemini Enterprise Agent Platform, עוברים לדף Metadata.

   מעבר אל Metadata

   בדף המטא-נתונים מפורטים הארטיפקטים שנוצרו במאגר המטא-נתונים שמוגדר כברירת מחדל.

2. בתפריט הנפתח Region, בוחרים את האזור שבו נוצר הריצה.

3. לוחצים על השם לתצוגה של ארטיפקט כדי לראות את תרשים השושלת שלו.

   מוצג תרשים סטטי שבו רואים את הארטיפקטים וההפעלות שכלולים בתרשים השושלת הזה.

4. כדי לקבל מידע נוסף על ארטיפקט או על ביצוע, לוחצים עליו.

ניתוח שושלת הנתונים של ארטיפקטים של פייפליין באמצעות Knowledge Catalog

‫Knowledge Catalog מגלה מטא-נתונים מGoogle Cloud משאבים, שכוללים ארטיפקטים של צינורות של Agent Platform כמו מודלים של Vertex AI, מערכי נתונים מנוהלים וGoogle Cloud משאבים אחרים שאפשר לגלות ב-Knowledge Catalog. אתם יכולים לגלות את הארטיפקטים האלה באמצעות יכולת החיפוש של מטא-נתונים ב-Knowledge Catalog ולראות את הגרפים של שרשרת המקור שלהם.

מידע נוסף על האפשרות לחיפוש מטא-נתונים ב-Knowledge Catalog זמין במאמר חיפוש משאבים ב-Knowledge Catalog.

שימו לב: יכול להיות ש-Knowledge Catalog לא יהיה זמין בכל האזורים שבהם יש תמיכה ב-Agent Platform Pipelines. אם לא ניתן להשתמש ב-Knowledge Catalog באזור שלכם, אתם יכולים להשתמש ב-Vertex ML Metadata. רשימת האזורים הנתמכים ב-Knowledge Catalog

כדי לראות את תרשים שושלת הנתונים של ארטיפקט של פייפליין ב-Knowledge Catalog:

1. כדי להריץ שאילתת חיפוש ב-Knowledge Catalog ב Google Cloud מסוף, עוברים לדף חיפוש ב-Knowledge Catalog.

   מעבר אל חיפוש

2. אם פלטפורמת החיפוש מוגדרת כקטלוג נתונים, בתפריט בחירת פלטפורמת חיפוש בוחרים באפשרות Knowledge Catalog.

3. משתמשים במסננים כדי לחפש את הארטיפקטים. לדוגמה, אפשר להשתמש במסנן סוגי נתונים כדי לציין את סוג הארטיפקט, כמו מודל, מערך נתונים או טבלה ב-BigQuery. מידע נוסף זמין במאמר חיפוש משאבים ב-Knowledge Catalog.

   אפשר גם להגדיר את השאילתה בשדה החיפוש.

4. כדי לראות את שושלת הנתונים של ארטיפקט, לוחצים על שם הארטיפקט ואז על הכרטיסייה שושלת נתונים.

   בתרשים של שרשרת האירועים, התהליכים של Agent Platform מופיעים אחרי . התהליכים האלה כוללים ארטיפקטים של צינורות עיבוד נתונים, רכיבים של צינורות עיבוד נתונים ותבניות של צינורות עיבוד נתונים.

   • כדי לראות את הפרטים של תהליך, לוחצים על התהליך בתרשים של שושלת נתונים.

     הערה: פרטי התהליך זמינים רק אם התהליך סווג ב-Knowledge Catalog באמצעות שם מוגדר במלואו (FQN).

   • בתהליכים שמבוססים על משימות של צינורות מתוך הפעלות של צינורות, אפשר לבצע את הפעולות הבאות:

     • כדי לראות את ההרצה של צינור העיבוד ב-Agent Platform, לוחצים על Open in Agent Platform (פתיחה ב-Agent Platform) בכרטיסייה Details (פרטים). כדי לראות את פרטי זמן הריצה של צינור העיבוד, כמו מצבים, חותמות זמן ומאפיינים, לוחצים על More (עוד). כדי לראות את ההרצה של צינור העיבוד ב-Agent Platform, לוחצים על Open in Agent Platform (פתיחה ב-Agent Platform).

   • בתהליכים שמבוססים על תבנית של צינור, אפשר לבצע את הפעולות הבאות:

     • כדי לראות את פרטי התבנית ב-Agent Platform, לוחצים על פתיחה ב-Agent Platform בכרטיסיית הפרטים.

     • בכרטיסייה Runs (הרצות), אפשר לראות את רשימת המשימות של צינור העיבוד שנוצרו בהרצות של צינור העיבוד. כדי לראות את הפרטים של תבנית צינור העיבוד ב-Agent Platform, לוחצים על More (עוד) ואז על Open in Agent Platform (פתיחה ב-Agent Platform).

המאמרים הבאים

• איך מריצים צינורות
• מתחילים להציג את התוצאות של משפך המכירות ולנתח אותן.
• איך יוצרים צינור עיבוד נתונים של למידת מכונה