איך מבקשים משאבי מכונה של Google Cloud בצינורות של Gemini Enterprise Agent Platform

אתם יכולים להריץ את רכיב Python בצינורות של Gemini Enterprise Agent Platform באמצעות משאבי מכונה ספציפיים שמוצעים על ידי אימון בהתאמה אישית של Gemini Enterprise Agent Platform. Google Cloud

אתם יכולים להשתמש בשיטה create_custom_training_job_from_component מתוך רכיבי צינורות של Google Cloud כדי להפוך רכיב Python למשימת אימון בהתאמה אישית ב-Gemini Enterprise Agent Platform. כך יוצרים משימה בהתאמה אישית.

יצירת משימת אימון בהתאמה אישית מרכיב באמצעות Gemini Enterprise Agent Platform Pipelines

בדוגמה הבאה מוצג שימוש בשיטה create_custom_training_job_from_component כדי להפוך רכיב Python למשימת אימון בהתאמה אישית עם משאבי מכונה מוגדרים על ידי המשתמש, ולאחר מכן להריץ את צינור העיבוד המהודר ב-Gemini Enterprise Agent Platform Pipelines: Google Cloud

import kfp
from kfp import dsl
from google_cloud_pipeline_components.v1.custom_job import create_custom_training_job_from_component

# Create a Python component
@dsl.component
def my_python_component():
  import time
  time.sleep(1)

# Convert the above component into a custom training job
custom_training_job = create_custom_training_job_from_component(
    my_python_component,
    display_name = 'DISPLAY_NAME',
    machine_type = 'MACHINE_TYPE',
    accelerator_type='ACCELERATOR_TYPE',
    accelerator_count='ACCELERATOR_COUNT',
    boot_disk_type: 'BOOT_DISK_TYPE',
    boot_disk_size_gb: 'BOOT_DISK_SIZE',
    network: 'NETWORK',
    reserved_ip_ranges: 'RESERVED_IP_RANGES',
    nfs_mounts: 'NFS_MOUNTS'
    persistent_resource_id: 'PERSISTENT_RESOURCE_ID'
)

# Define a pipeline that runs the custom training job
@dsl.pipeline(
  name="resource-spec-request",
  description="A simple pipeline that requests a Google Cloud machine resource",
  pipeline_root='PIPELINE_ROOT',
)
def pipeline():
  training_job_task = custom_training_job(
      project='PROJECT_ID',
      location='LOCATION',
  ).set_display_name('training-job-task')

מחליפים את מה שכתוב בשדות הבאים:

• ‫DISPLAY_NAME: השם של המשימה המותאמת אישית. אם לא מציינים את השם, נעשה שימוש בשם הרכיב כברירת מחדל.

• ‫MACHINE_TYPE: סוג המכונה להרצת העבודה המותאמת אישית, לדוגמה e2-standard-4. מידע נוסף על סוגי מכונות זמין במאמר סוגי מכונות. אם ציינתם TPU כ-accelerator_type, צריך להגדיר את הערך הזה כ-cloud-tpu. מידע נוסף מופיע במאמר בנושא פרמטרים של machine_type.

• ‫ACCELERATOR_TYPE: סוג המאיץ שמצורף למכונה. מידע נוסף על מעבדי ה-GPU הזמינים ועל אופן ההגדרה שלהם זמין במאמר מעבדי GPU. מידע נוסף על סוגי ה-TPU הזמינים ועל אופן ההגדרה שלהם זמין במאמר TPU. מידע נוסף מופיע במאמר בנושא פרמטרים של accelerator_type.

• ‫ACCELERATOR_COUNT: מספר המאיצים שמצורפים למכונה שמריצה את העבודה המותאמת אישית. אם מציינים את סוג המאיץ, מספר המאיצים מוגדר כ-1 כברירת מחדל.

• ‫BOOT_DISK_TYPE: סוג דיסק האתחול. מידע נוסף מופיע במאמר בנושא פרמטרים של boot_disk_type.

• ‫BOOT_DISK_SIZE: גודל דיסק האתחול ב-GB. מידע נוסף מופיע במאמר בנושא פרמטרים של boot_disk_size_gb.

• ‫NETWORK: אם העבודה המותאמת אישית היא עמיתה לרשת Compute Engine שמוגדרת בה גישה לשירותים פרטיים, צריך לציין את השם המלא של הרשת. מידע נוסף זמין במאמר הפניה לפרמטר network.

• ‫RESERVED_IP_RANGES: רשימת השמות של טווחי כתובות ה-IP השמורים ברשת ה-VPC שמשמשת לפריסת העבודה בהתאמה אישית. מידע נוסף מופיע במאמר בנושא פרמטרים של reserved_ip_ranges.

• ‫NFS_MOUNTS: רשימה של משאבי NFS mount בפורמט JSON dict. מידע נוסף מופיע במאמר בנושא פרמטרים של nfs_mounts.

• ‫PERSISTENT_RESOURCE_ID (תצוגה מקדימה): המזהה של המשאב המתמשך להרצת צינור עיבוד הנתונים. אם מציינים משאב מתמשך, צינור העיבוד פועל במכונות קיימות שמשויכות למשאב המתמשך, במקום במשאבי מכונה לפי דרישה ולטווח קצר. שימו לב: הגדרות הרשת וה-CMEK של צינור העיבוד צריכות להיות זהות להגדרות שצוינו עבור המשאב הקבוע. מידע נוסף על משאבים קבועים ועל אופן היצירה שלהם זמין במאמר יצירת משאב קבוע.

• ‫PIPELINE_ROOT: מציינים URI של Cloud Storage שחשבון השירות של צינורות העיבוד יכול לגשת אליו. פריטי המידע של הרצות הצינור מאוחסנים בתיקיית הבסיס של הצינור.

• ‫PROJECT_ID: Google Cloud הפרויקט שבו צינור העברת הנתונים הזה פועל.

• ‫LOCATION: המיקום או האזור שבהם הצינור הזה פועל.

הפניית API

לרשימה מלאה של הארגומנטים שנתמכים על ידי השיטה create_custom_training_job_from_component, ראו Google Cloud Pipeline Components SDK Reference.