ציון הגדרת המכונה לשלב בצינור עיבוד הנתונים

רכיבי צינורות Kubeflow הם פונקציות ליצירת אובייקטים שיוצרות שלבים בצינור. כל רכיב מתאר את הקלט, הפלט וההטמעה של הרכיב. לדוגמה, train_op הוא רכיב בדוגמת הקוד הבאה.

לדוגמה, רכיב אימון יכול לקבל קובץ CSV כקלט ולהשתמש בו כדי לאמן מודל. הגדרת הפרמטרים של סוג המכונה בשלב של צינור העיבוד מאפשרת לכם לנהל את הדרישות של כל שלב בצינור העיבוד. אם יש לכם שני שלבי אימון, ואחד מהם מתבצע על קובץ נתונים ענק והשני על קובץ נתונים קטן, אתם יכולים להקצות יותר זיכרון ומעבד למשימה הראשונה ופחות משאבים למשימה השנייה.

כברירת מחדל, הרכיב יפעל כפלטפורמת סוכנים של Gemini Enterprise‏ CustomJob באמצעות מכונת e2-standard-4, עם 4 מעבדי ליבה וזיכרון בנפח 16GB. למידע נוסף על בחירת אחד ממשאבי המכונה הספציפיים ל- Google Cloudשמופיעים במאמר סוגי מכונות, אפשר לעיין במאמר בקשת משאבי מכונה באמצעות צינורות של פלטפורמת סוכנים של Gemini Enterprise. Google Cloud

בדוגמה הבאה מוצג איך להגדיר את ההגדרות של מעבד, זיכרון ו-GPU לשלב:

הערה: אם רוצים לציין את נפח הדיסק בהגדרות המכונה, צריך ליצור משימת אימון בהתאמה אישית מרכיב על ידי בקשת משאבי מכונה.

Google Cloud

from kfp import dsl

@dsl.pipeline(name='custom-container-pipeline')
def pipeline():
  generate = generate_op()
  train = (
    train_op(
      training_data=generate.outputs['training_data'],
      test_data=generate.outputs['test_data'],
      config_file=generate.outputs['config_file'])
    .set_cpu_limit('CPU_LIMIT')
    .set_memory_limit('MEMORY_LIMIT')
    .add_node_selector_constraint(SELECTOR_CONSTRAINT)
    .set_accelerator_type(ACCELERATOR_TYPE)
    .set_accelerator_limit(ACCELERATOR_LIMIT))

מחליפים את מה שכתוב בשדות הבאים:

• ‫CPU_LIMIT: מגבלת המעבד המקסימלית לאופרטור הזה. הערך הזה יכול להיות מספר (ערך שלם של מספר המעבדים) או מספר שאחריו האות m, שפירושה 1/1000. אפשר לציין לכל היותר 96 מעבדים.

• ‫MEMORY_LIMIT: מגבלת הזיכרון המקסימלית לאופרטור הזה. הערך של המחרוזת יכול להיות מספר, או מספר שאחריו האותיות K (קילובייט), M (מגהבייט) או G (גיגהבייט). הגודל המקסימלי הנתמך הוא 624GB.

  הערה: ב-Agent Platform Pipelines אין תמיכה בקריאה ל-set_memory_request באופרטור. צריך להשתמש ב-set_memory_limit כדי לבקש כמות ספציפית של זיכרון.

• ‫SELECTOR_CONSTRAINT: כל אילוץ הוא תווית של צמד מפתח/ערך. כדי שהמאגר יעמוד בדרישות להרצה בצומת, לכל אילוץ צריך להיות תווית בצומת. לדוגמה: 'cloud.google.com/gke-accelerator', 'NVIDIA_TESLA_T4'

  אלה האילוצים שזמינים:

  • ‫NVIDIA_GB200⁺ (כולל GPUDirect-RDMA)
  • ‫NVIDIA_B200^* (כולל GPUDirect-RDMA)
  • ‫NVIDIA_H100_MEGA_80GB^* (כולל GPUDirect-TCPXO)
  • NVIDIA_H100_80GB
  • ‫NVIDIA_H200_141GB^* (כולל GPUDirect-RDMA)
  • NVIDIA_A100_80GB
  • ‫NVIDIA_TESLA_A100 (NVIDIA A100 40GB)
  • NVIDIA_TESLA_P4
  • NVIDIA_TESLA_P100
  • NVIDIA_TESLA_T4
  • NVIDIA_TESLA_V100
  • NVIDIA_L4
  • NVIDIA_RTX_PRO_6000
  • TPU_V2
  • TPU_V3

• ‫ACCELERATOR_TYPE: סוג המאיץ. מידע נוסף על מעבדי ה-GPU הזמינים ועל אופן ההגדרה שלהם זמין במאמר בנושא מעבדי GPU. מידע נוסף על סוגי ה-TPU הזמינים ועל אופן ההגדרה שלהם זמין במאמר TPU. מידע נוסף מופיע במאמר בנושא פרמטרים של accelerator_type.

• ‫ACCELERATOR_LIMIT: המגבלה של המאיץ (GPU או TPU) עבור האופרטור. אפשר לציין מספר שלם חיובי. מידע נוסף על מעבדי ה-GPU הזמינים ועל אופן ההגדרה שלהם זמין במאמר בנושא מעבדי GPU. מידע נוסף על יחידות ה-TPU הזמינות ועל אופן ההגדרה שלהן זמין במאמר TPU.

  הערה: חלק מהמאיצים זמינים רק במיקומים ספציפיים. מידע נוסף מופיע במאמר שימוש במאיצים.

‫CustomJob תומך בסוגים ספציפיים של מכונות שמגבילים אתכם למקסימום של 96 מעבדים ו-624GB של זיכרון. על סמך הגדרות המעבד, הזיכרון והמאיץ שאתם מציינים, צינורות Agent Platform בוחרים באופן אוטומטי את ההתאמה הקרובה ביותר מבין סוגי המכונות הנתמכים.