כשמריצים פייפליין ב-Gemini Enterprise Agent Platform Pipelines, המערכת בודקת אם קיים execution ב-Vertex ML Metadata עם הממשק (מפתח המטמון) של כל שלב בפייפליין.
הממשק של השלב מוגדר כשילוב של הרכיבים הבאים:
הקלט של שלב בצינור עיבוד הנתונים. הנתונים האלה כוללים את הערך של פרמטרים של קלט (אם יש כאלה) ואת מזהה ארטיפקט הקלט (אם יש כזה).
הגדרת הפלט של שלב בצינור. הגדרת הפלט הזו כוללת הגדרת פרמטר פלט (שם, אם יש) והגדרת פריט פלט (שם, אם יש).
המפרט של הרכיב. המפרט הזה כולל את התמונה, הפקודות, הארגומנטים ומשתני הסביבה שנעשה בהם שימוש, וגם את הסדר של הפקודות והארגומנטים.
בנוסף, רק צינורות עם אותו שם של צינור ישתפו את המטמון.
אם יש התאמה להרצה ב-Vertex ML Metadata, נעשה שימוש בפלטים של ההרצה הזו והשלב נדלג. הפעולה הזו עוזרת לצמצם את העלויות כי היא מדלגת על חישובים שהושלמו בהרצת צינור קודמת.
כדי להשבית את שמירת המטמון של ההרצה ברמת המשימה, מגדירים את הערך הבא:
eval_task.set_caching_options(False)
אפשר להשבית את שמירת הביצועים במטמון עבור משימה שלמה בצינור. כשמריצים צינור עיבוד נתונים באמצעות PipelineJob(), אפשר להשתמש בארגומנט enable_caching כדי לציין שהרצת צינור עיבוד הנתונים הזו לא תשתמש במטמון. כל השלבים בעבודת הצינור לא ישתמשו במטמון.
מידע נוסף על יצירת הפעלות של צינורות
אפשר להשתמש בדוגמה הבאה כדי להשבית את השמירה במטמון:
pl = PipelineJob(
display_name="My first pipeline",
# Whether or not to enable caching
# True = enable the current run to use caching results from previous runs
# False = disable the current run's use of caching results from previous runs
# None = defer to cache option for each pipeline component in the pipeline definition
enable_caching=False,
# Local or Cloud Storage path to a compiled pipeline definition
template_path="pipeline.yaml",
# Dictionary containing input parameters for your pipeline
parameter_values=parameter_values,
# Cloud Storage path to act as the pipeline root
pipeline_root=pipeline_root,
)
המגבלות הבאות חלות על התכונה הזו:
- לתוצאה שנשמרת במטמון אין זמן חיים (TTL), ואפשר לעשות בה שימוש חוזר כל עוד הרשומה לא נמחקת מ-Vertex ML Metadata. אם הרשומה נמחקת מ-Vertex ML Metadata, המשימה תופעל מחדש כדי ליצור מחדש את התוצאה.