מפתחים עם ניסיון ביצירת צינורות Kubeflow צריכים להבין את ההבדלים בין Agent Platform Pipelines לבין Kubeflow Pipelines.
העברת נתונים (קלט/פלט)
- העברת נתונים באמצעות קלט ופלט שונה בין Kubeflow Pipelines SDK v1 לבין Kubeflow Pipelines SDK v2. ב-Kubeflow Pipelines SDK v2 יש הפרדה בין פרמטרים לבין ארטיפקטים, ואי אפשר להעביר אותם אחד לשני. מידע מפורט יותר זמין במאמרים Kubeflow Pipelines Pipelines Basics ו-Kubeflow Pipelines Data Types.
שימוש בגרסה של שפה ספציפית לדומיין (DSL)
צינורות של Agent Platform יכולים להריץ צינורות שנבנו באמצעות TFX בגרסה 0.30.0 ואילך, או Kubeflow Pipelines SDK בגרסה 2 של שפת תכנות ספציפית לתחום (DSL).
ה-DSL של Kubeflow Pipelines SDK v2 זמין ב-Kubeflow Pipelines SDK v1.6 או בגרסה מתקדמת יותר.
ב-Kubeflow Pipelines אפשר להריץ צינורות שנוצרו באמצעות Kubeflow Pipelines SDK. ב-Kubeflow Pipelines בגרסה 1.6 ואילך אפשר גם להריץ צינורות שנוצרו באמצעות Kubeflow Pipelines SDK v2 DSL.
אחסון
יש הבדל בין האופן שבו Kubeflow Pipelines ו-Agent Platform Pipelines מטפלים באחסון. ב-Kubeflow Pipelines אפשר להשתמש במשאבי Kubernetes כמו הצהרות על נפחי אחסון מתמיד. ב-Agent Platform Pipelines, הנתונים מאוחסנים ב-Cloud Storage ומותקנים ברכיבים באמצעות Cloud Storage FUSE.
בצינורות עיבוד נתונים של Agent Platform, אפשר להשתמש ב Google Cloud שירותים כדי להפוך משאבים לזמינים. לדוגמה, אפשר להשתמש ב-Cloud Storage FUSE כדי לגשת לקטגוריה של Cloud Storage כאל נפח שנטען בשלב של צינור עיבוד נתונים. אם ה-URI של Cloud Storage הוא
gs://example-bucket/example-pipeline, הקונטיינר של רכיב צינור העיבוד יכול להשתמש ב-Cloud Storage FUSE כדי לגשת ל-URI הזה כנתיב הבא:/gcs/example-bucket/example-pipeline.כשמריצים צינור עיבוד נתונים באמצעות Agent Platform Pipelines, צריך לציין את שורש צינור עיבוד הנתונים בהערה
@pipelineאו כשיוצרים את ההרצה של צינור עיבוד הנתונים.ב-Kubeflow Pipelines, ציון תיקיית הבסיס של צינור עיבוד הנתונים הוא אופציונלי. כברירת מחדל, הארטיפקטים של הרצת צינורות מאוחסנים באמצעות MinIO.
תכונות שלא נתמכות בצינורות של Agent Platform
התכונות הבאות של Kubeflow Pipelines לא נתמכות ב-Agent Platform Pipelines.
Cache Expiration: ב-Kubeflow Pipelines, אפשר לציין שביצועים של רכיבים שנשמרו במטמון יפוגו אחרי פרק זמן מסוים באמצעות Kubeflow Pipelines SDK v1 DSL.
אי אפשר לציין שהרצת רכיבים תפוג אחרי פרק זמן מסוים באמצעות Kubeflow Pipelines SDK v2 DSL.
ב-Agent Platform Pipelines, כשמריצים צינור עיבוד נתונים באמצעות
create_run_from_job_spec, אפשר להשתמש בארגומנטenable_cachingכדי לציין שהרצת צינור עיבוד הנתונים הזו לא תשתמש במטמון.רקורסיה: ב-Kubeflow Pipelines, אפשר לציין רכיבי צינורות שמופעלים באופן רקורסיבי.
Agent Platform Pipelines לא תומך ברכיבי פייפליין שנקראים באופן רקורסיבי.