מבוא לרכיבי צינורות ב-Google Cloud

‫Pipeline Components (GCPC) SDK מספק קבוצה של רכיבי Kubeflow Pipelines מוכנים מראש, באיכות של מוצר, עם ביצועים טובים ונוחים לשימוש. Google Cloud אפשר להשתמש ב Google Cloud רכיבי צינור עיבוד נתונים כדי להגדיר ולהריץ צינורות עיבוד נתונים של ML ב-Vertex AI Pipelines ובקצה העורפי של צינורות עיבוד נתונים אחרים של ML שתואמים ל-Kubeflow Pipelines.

לדוגמה, אפשר להשתמש ברכיבים האלה כדי לבצע את הפעולות הבאות:

  • יוצרים מערך נתונים חדש וטוענים לתוכו סוגים שונים של נתונים (תמונה, טבלה, טקסט או סרטון).
  • ייצוא נתונים ממערך נתונים אל Cloud Storage.
  • אפשר להשתמש ב-AutoML כדי לאמן מודל באמצעות נתונים של תמונות, טבלאות או סרטונים.
  • מריצים משימת אימון מותאמת אישית באמצעות קונטיינר מותאם אישית או חבילת Python.
  • העלאת מודל קיים ל-Vertex AI לצורך חיזוי באצווה.
  • יוצרים נקודת קצה חדשה ומפריסים אליה מודל ליצירת תחזיות אונליין.

בנוסף, Google Cloud Pipeline Components תומך ברכיבים המוכנים מראש האלה ב-Vertex AI Pipelines ומציע את היתרונות הבאים:

  • ניפוי באגים קל יותר: הצגת המשאבים הבסיסיים שהופעלו מהרכיב לניפוי באגים פשוט.
  • סוגי ארטיפקטים סטנדרטיים: מספקים ממשקים עקביים לשימוש בסוגי ארטיפקטים סטנדרטיים כקלט ופלט. ב-Vertex ML Metadata מתבצע מעקב אחרי הארטיפקטים הסטנדרטיים האלה, וכך קל יותר לנתח את שרשרת הארטיפקטים של צינור הנתונים. פרטים נוספים על שרשרת המקור של פריטי מידע שנוצרו בתהליך פיתוח (Artifact) זמינים במאמר בנושא מעקב אחר שרשרת המקור של פריטי מידע שנוצרו בתהליך פיתוח (Artifact) בצינורות.
  • הבנת העלויות של צינור עיבוד הנתונים באמצעות תוויות לחיוב: תוויות של משאבים מועברות אוטומטית לשירותי Google Cloud שנוצרים על ידי רכיבי Google Cloud צינור עיבוד הנתונים בהרצת צינור עיבוד הנתונים. כדי לבדוק את העלות של הרצת צינור, אפשר להשתמש בתוויות חיוב יחד עם ייצוא נתוני החיוב ב-Cloud ל-BigQuery. מידע נוסף על שימוש בתוויות כדי להבין את העלות של הרצת צינורות זמין במאמר הסבר על העלויות של הרצת צינורות. מידע נוסף על האופן שבו התוויות מועברות מהרצת צינור אל המשאבים שנוצרו על ידי Google Cloud רכיבי צינור זמין במאמר תיוג משאבים על ידי Vertex AI Pipelines.
  • חיסכון בעלויות*: Vertex AI Pipelines מבצע אופטימיזציה של ההרצה של הרכיבים האלה על ידי הפעלת המשאבים של Google Cloud , בלי להפעיל את הקונטיינר. כך מקצרים את זמן האחזור של ההפעלה ומפחיתים את העלויות של קונטיינר עם המתנה פעילה.
* התכונה הזו רלוונטית רק לרכיבים הבאים:
  • CustomTrainingJobOp
  • ‫WaitGcpResourcesOp (ל-Dataflow)
  • DataflowPythonJobOp

המאמרים הבאים