ExecutionTemplate

תיאור של עומס עבודה של הפעלת מחברת.

ייצוג ב-JSON 
{
  "scaleTier": enum (ScaleTier),
  "masterType": string,
  "acceleratorConfig": {
    object (SchedulerAcceleratorConfig)
  },
  "labels": {
    string: string,
    ...
  },
  "inputNotebookFile": string,
  "containerImageUri": string,
  "outputNotebookFolder": string,
  "paramsYamlFile": string,
  "parameters": string,
  "serviceAccount": string,
  "jobType": enum (JobType),
  "kernelSpec": string,
  "tensorboard": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "dataprocParameters": {
    object (DataprocParameters)
  },
  "vertexAiParameters": {
    object (VertexAIParameters)
  }
  // End of mutually exclusive fields.
}
שדות
scaleTier
(deprecated)

enum (ScaleTier)

חובה. רמת הגידול של החומרה שמשמשת להרצת מחברת. יצא משימוש. בשלב הזה יש תמיכה רק בפונקציה CUSTOM.
masterType

string

מציין את סוג המכונה הווירטואלית שבה יש להשתמש עבור העובד הראשי של משימת האימון. חובה לציין את השדה הזה כשמגדירים את הערך CUSTOM בשדה scaleTier.

אפשר להשתמש ישירות בשדה הזה בסוגי מכונות מסוימים של Compute Engine. הסוגים הבאים נתמכים:

  • n1-standard-4
  • n1-standard-8
  • n1-standard-16
  • n1-standard-32
  • n1-standard-64
  • n1-standard-96
  • n1-highmem-2
  • n1-highmem-4
  • n1-highmem-8
  • n1-highmem-16
  • n1-highmem-32
  • n1-highmem-64
  • n1-highmem-96
  • n1-highcpu-16
  • n1-highcpu-32
  • n1-highcpu-64
  • n1-highcpu-96

לחלופין, אפשר להשתמש בסוגי המכונות הבאים מדור קודם:

  • standard
  • large_model
  • complex_model_s
  • complex_model_m
  • complex_model_l
  • standard_gpu
  • complex_model_m_gpu
  • complex_model_l_gpu
  • standard_p100
  • complex_model_m_p100
  • standard_v100
  • large_model_v100
  • complex_model_m_v100
  • complex_model_l_v100

לבסוף, אם רוצים להשתמש ב-TPU לאימון, מציינים cloud_tpu בשדה הזה. מידע נוסף על אפשרויות ההגדרה המיוחדות לאימון באמצעות TPU
acceleratorConfig

object (SchedulerAcceleratorConfig)

הגדרות (מספר וסוג המאיץ) של החומרה שבה מופעלת מחברת.
labels

map (key: string, value: string)

תוויות להפעלה. אם ההפעלה מתוזמנת, השדה שייכלל הוא nbs-scheduled. אחרת, מדובר בהפעלה מיידית, והשדה שייכלל יהיה 'nbs-immediate'. אפשר להשתמש בשדות כדי ליצור אינדקס יעיל בין סוגים שונים של ביצועים.

אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
inputNotebookFile

string

הנתיב לקובץ הנוטבוק שרוצים להריץ. חייב להיות בקטגוריה של Google Cloud Storage. פורמט: gs://{bucket_name}/{folder}/{notebook_file_name} דוגמה: gs://notebook_user/scheduled_notebooks/sentiment_notebook.ipynb
containerImageUri

string

‫URI של קובץ אימג' של קונטיינר ל-DLVM. לדוגמה: gcr.io/deeplearning-platform-release/base-cu100. דוגמאות נוספות זמינות בכתובת: https://cloud.google.com/ai-platform/deep-learning-containers/docs/choosing-container
outputNotebookFolder

string

הנתיב לתיקיית הנוטבוק שאליה ייכתב. הנתיב צריך להיות בקטגוריה של Google Cloud Storage. פורמט: gs://{bucket_name}/{folder} דוגמה: gs://notebook_user/scheduled_notebooks
paramsYamlFile

string

פרמטרים שיוחלף הערך שלהם ב-notebook במהלך ההרצה. בקישור https://papermill.readthedocs.io/en/latest/usage-parameterize.html מוסבר איך לציין פרמטרים ב-notebook של הקלט ולהעביר אותם כאן בקובץ YAML. לדוגמה: gs://notebook_user/scheduled_notebooks/sentiment_notebook_params.yaml
parameters

string

פרמטרים שנעשה בהם שימוש ב-Notebook‏ 'inputNotebookFile'.
serviceAccount

string

כתובת האימייל של חשבון השירות שבו רוצים להשתמש כשמריצים את ההפעלה. צריכה להיות לכם ההרשאה iam.serviceAccounts.actAs בחשבון השירות שצוין.
jobType

enum (JobType)

סוג העבודה שבה רוצים להשתמש בהרצה הזו.
kernelSpec

string

השם של מפרט הליבה שבו רוצים להשתמש. צריך לציין את השם הזה אם שם מפרט הליבה ביעד ההפעלה לא זהה לשם בקובץ המחברת של הקלט.
tensorboard

string

השם של משאב [Tensorboard] ב-Vertex AI שאליו יועלו יומני Tensorboard של ההפעלה הזו. פורמט: projects/{project}/locations/{location}/tensorboards/{tensorboard}
פרמטרים לסוג ביצוע. הערה: כרגע אין פרמטרים נוספים לעבודות ב-VertexAI. הרשימה הבאה כוללת שדות שאי אפשר להשתמש בהם בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות:
dataprocParameters

object (DataprocParameters)

פרמטרים שמשמשים בהפעלות של JobType ב-Dataproc.
vertexAiParameters

object (VertexAIParameters)

פרמטרים שמשמשים בהרצות של Vertex AI JobType.
סוף השדות הבלעדיים.

ScaleTier

חובה. מציין את סוגי המכונות, את מספר העותקים המשוכפלים של העובדים ושל שרתי הפרמטרים.

טיפוסים בני מנייה (enum)
SCALE_TIER_UNSPECIFIED רמת Scale לא צוינה.
BASIC worker instance יחיד. השכבה הזו מתאימה ללימוד השימוש ב-Cloud ML ולניסויים עם מודלים חדשים באמצעות מערכי נתונים קטנים.
STANDARD_1 הרבה עובדים וכמה שרתי פרמטרים.
PREMIUM_1 מספר גדול של עובדים עם הרבה שרתי פרמטרים.
BASIC_GPU מופע יחיד של Worker עם GPU מסוג K80.
BASIC_TPU ‫worker instance יחיד עם Cloud TPU.
CUSTOM

רמת השירות CUSTOM היא לא רמה מוגדרת, אלא מאפשרת לכם להשתמש במפרט אשכול משלכם. כשמשתמשים ברמה הזו, צריך להגדיר ערכים כדי להגדיר את אשכול העיבוד בהתאם להנחיות הבאות:

  • חובה להגדיר את ExecutionTemplate.masterType כדי לציין את סוג המכונה שבה רוצים להשתמש לצומת הראשי. זו ההגדרה היחידה שנדרשת.

SchedulerAcceleratorConfig

הגדרה של שיפור המהירות באמצעות חומרה. חשוב לזכור שלא כל השילובים של type ו-coreCount הם תקינים. כדי למצוא שילוב תקין, אפשר לעיין במאמר בנושא GPUs on Compute Engine. אין תמיכה ב-TPU.

ייצוג ב-JSON 
{
  "type": enum (SchedulerAcceleratorType),
  "coreCount": string
}
שדות
type

enum (SchedulerAcceleratorType)

סוג המאיץ.
coreCount

string (int64 format)

מספר ליבות המעבד של המאיץ הזה.

SchedulerAcceleratorType

סוגים של שיפור המהירות באמצעות חומרה למשימות אימון ב-AI Platform.

טיפוסים בני מנייה (enum)
SCHEDULER_ACCELERATOR_TYPE_UNSPECIFIED סוג המאיץ לא צוין. ברירת המחדל היא ללא GPU.
NVIDIA_TESLA_K80 Nvidia Tesla K80 GPU.
NVIDIA_TESLA_P100 ‫Nvidia Tesla P100 GPU.
NVIDIA_TESLA_V100 ‫Nvidia Tesla V100 GPU.
NVIDIA_TESLA_P4 Nvidia Tesla P4 GPU.
NVIDIA_TESLA_T4 ‫Nvidia Tesla T4 GPU.
NVIDIA_TESLA_A100 Nvidia Tesla A100 GPU.
TPU_V2 TPU v2.
TPU_V3 TPU v3.

JobType

הקצה העורפי שבו נעשה שימוש בהרצה הזו.

טיפוסים בני מנייה (enum)
JOB_TYPE_UNSPECIFIED לא צוין סוג.
VERTEX_AI משימה בהתאמה אישית ב-aiplatform.googleapis.com. ערך ברירת המחדל של הפעלה.
DATAPROC הפעלת ביצוע באשכול באמצעות Dataproc כמשימה. https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs

DataprocParameters

פרמטרים שמשמשים בהפעלות של JobType ב-Dataproc.

ייצוג ב-JSON 
{
  "cluster": string
}
שדות
cluster

string

כתובת ה-URI של האשכול שמשמש להרצת ביצוע Dataproc. פורמט: projects/{PROJECT_ID}/regions/{REGION}/clusters/{CLUSTER_NAME}

VertexAIParameters

פרמטרים שמשמשים בהרצות של Vertex AI JobType.

ייצוג ב-JSON 
{
  "network": string,
  "env": {
    string: string,
    ...
  }
}
שדות
network

string

השם המלא של הרשת ב-Compute Engine שאליה העבודה צריכה להיות מחוברת. לדוגמה, projects/12345/global/networks/myVPC. הפורמט Format הוא בצורה projects/{project}/global/networks/{network}. כאשר {project} הוא מספר הפרויקט, כמו 12345, ו-{network} הוא שם הרשת.

צריך להגדיר מראש גישה לשירותים פרטיים ברשת. אם לא מציינים רשת, המשרה לא מקושרת לאף רשת.
env

map (key: string, value: string)

משתני סביבה. אפשר לציין עד 100 משתני סביבה ייחודיים. לדוגמה: GCP_BUCKET=gs://my-bucket/samples/

אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.