מבוא לרכיבי צינורות ב-Google Cloud

‫ Google Cloud Pipeline Components (GCPC) SDK מספק קבוצה של רכיבי Kubeflow Pipelines מוכנים מראש, באיכות מתאימה לייצור, עם ביצועים טובים ונוחים לשימוש. אתם יכולים להשתמש ב- Google Cloud Pipeline Components כדי להגדיר ולהריץ צינורות עיבוד נתונים של למידת מכונה ב-Gemini Enterprise Agent Platform Pipelines ובקצה העורפי של צינורות עיבוד נתונים אחרים של למידת מכונה שתואמים ל-Kubeflow Pipelines.

לדוגמה, אפשר להשתמש ברכיבים האלה כדי לבצע את הפעולות הבאות:

  • יוצרים מערך נתונים חדש וטוענים לתוכו סוגים שונים של נתונים (תמונה, טבלה, טקסט או סרטון).
  • ייצוא נתונים ממערך נתונים אל Cloud Storage.
  • משתמשים ב-AutoML כדי לאמן מודל באמצעות נתונים של תמונות, טבלאות או סרטונים.
  • מריצים משימת אימון מותאמת אישית באמצעות קונטיינר מותאם אישית או חבילת Python.
  • העלאת מודל קיים ל-Gemini Enterprise Agent Platform לצורך חיזוי אצווה.
  • יוצרים נקודת קצה חדשה ומפריסים אליה מודל ליצירת תחזיות אונליין.

בנוסף, Google Cloud Pipeline Components תומך ברכיבים מוכנים מראש בצינורות של Gemini Enterprise Agent Platform ומציע את היתרונות הבאים:

  • ניפוי באגים קל יותר: הצגת המשאבים הבסיסיים שהופעלו מהרכיב לניפוי באגים פשוט.
  • סוגי ארטיפקטים סטנדרטיים: מספקים ממשקים עקביים לשימוש בסוגי ארטיפקטים סטנדרטיים כקלט ופלט. Vertex ML Metadata עוקב אחרי הארטיפקטים הסטנדרטיים האלה, וכך מקל עליכם לנתח את שושלת הנתונים של הארטיפקטים של הפייפליין שלכם. לפרטים נוספים על שושלת נתונים של ארטיפקטים, אפשר לעיין במאמר בנושא מעקב אחרי שושלת הנתונים של ארטיפקטים של פייפליין.
  • הבנת עלויות צינורות עיבוד נתונים באמצעות תוויות חיוב: תוויות משאבים מועברות אוטומטית אל Google Cloud השירותים שנוצרו על ידי Google Cloud רכיבי צינור העיבוד בהרצת צינור העיבוד. אפשר להשתמש בתוויות חיוב יחד עם ייצוא נתוני חיוב ב-Cloud ל-BigQuery כדי לבדוק את העלות של הרצת צינור העיבוד. מידע נוסף על שימוש בתוויות כדי להבין את העלות של הרצת צינור העיבוד זמין במאמר הבנת העלויות של הרצת צינור עיבוד. מידע נוסף על האופן שבו תוויות מועברות מהרצת צינור עיבוד למשאבים שנוצרו על ידי Google Cloud רכיבי צינור העיבוד זמין במאמר תיוג משאבים באמצעות Vertex AI Pipelines.
  • חיסכון בעלויות*: צינורות של Gemini Enterprise Agent Platform מייעלים את ההרצה של הרכיבים האלה על ידי הפעלת משאבי Google Cloud , בלי להפעיל את הקונטיינר. כך מקצרים את זמן האחזור של תהליך ההפעלה ומפחיתים את העלויות של קונטיינר עם מצב המתנה פעילה.
* התכונה הזו רלוונטית רק לרכיבים הבאים:
  • CustomTrainingJobOp
  • ‫WaitGcpResourcesOp (ל-Dataflow)
  • DataflowPythonJobOp

המאמרים הבאים