יצירת תבנית בזמן ריצה

יצירת תבנית בזמן ריצה

בדף הזה מוסבר איך ליצור תבנית של סביבת זמן ריצה ב-Colab Enterprise.

כדי להריץ קוד במחברת, משתמשים במשאב מחשוב שנקרא סביבת ריצה. אפשר להשתמש בזמן הריצה שמוגדר כברירת מחדל או בזמן ריצה שנוצר מתבנית של זמן ריצה. כשיוצרים תבנית בזמן ריצה, אפשר להגדיר את התבנית כך שתבצע אופטימיזציה של הביצועים, העלות ומאפיינים אחרים של זמן הריצה בהתאם לצרכים שלכם.

מידע נוסף על סביבות זמן ריצה ותבניות של סביבות זמן ריצה

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Agent Platform, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Agent Platform, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות ליצירת תבנית של סביבת זמן ריצה ב-Colab Enterprise, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של Colab Enterprise ‏ (roles/aiplatform.colabEnterpriseAdmin) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

תפקיד אחד או יותר מהתפקידים הנדרשים כולל את ההרשאה dataform.repositories.list. משתמשים שקיבלו את ההרשאה dataform.repositories.list או את התפקיד Code Creator (roles/dataform.codeCreator) בפרויקט יכולים לראות את רשימת השמות של נכסי הקוד בפרויקט הזה באמצעות Dataform API או Dataform command-line interface (CLI). משתמשים שאינם אדמינים ב-BigQuery Studio יכולים לראות רק נכסי קוד שהם יצרו או ששותפו איתם.

יצירת תבנית זמן הריצה

כדי ליצור תבנית של סביבת זמן ריצה, אפשר להשתמש במסוף Google Cloud , ב-Google Cloud CLI, ב-API בארכיטקטורת REST או ב-Terraform.

המסוף

כדי ליצור תבנית של זמן ריצה:

1. במסוף Google Cloud , נכנסים לדף Runtime templates של Colab Enterprise.

   מעבר אל Runtime templates

2. לוחצים על  תבנית חדשה.

   מופיעה תיבת הדו-שיח יצירת תבנית חדשה של זמן ריצה.

מידע בסיסי על זמן ריצה

1. בקטע Runtime basics, מזינים Display name.

2. בתפריט אזור, בוחרים את האזור שבו רוצים שהתבנית של זמן הריצה תהיה.

3. אופציונלי: מוסיפים תיאור של תבנית זמן הריצה.

4. אופציונלי: כדי להוסיף תווית, לוחצים על  הוספת תווית ואז מזינים צמד של מפתח וערך. כדי להוסיף עוד תוויות, חוזרים על השלב הזה.

5. לוחצים על Continue.

הגדרת מחשוב

1. בקטע Configure compute (הגדרת מחשוב), בתפריט Machine type (סוג המכונה), בוחרים סוג מכונה. מידע על סוגי מכונות זמין במאמר השוואה בין משפחות של מכונות ומשאבים.

   אם בוחרים סוג מכונה עם GPU, בוחרים את סוג המאיץ ואת מספר המאיצים. אם אתם לא מצליחים לבחור את מספר ה-GPU הרצוי, יכול להיות שתצטרכו להגדיל את המכסה. איך שולחים בקשה לשינוי המכסות

2. בתפריט Data disk type (סוג דיסק הנתונים), בוחרים סוג דיסק.

3. בשדה Data disk size (גודל דיסק הנתונים), מזינים גודל ב-GB.

4. בקטע Idle shutdown (כיבוי במצב לא פעיל):

   • כדי להשבית את ההגדרה של כיבוי כשאין פעילות, מבטלים את הסימון בתיבה הפעלה של כיבוי כשאין פעילות.

   • כדי לשנות את משך הזמן של חוסר הפעילות, בשדה משך הזמן של חוסר פעילות לפני כיבוי (בדקות), משנים את המספר למספר הדקות של חוסר הפעילות שרוצים. במסוף Google Cloud , אפשר להגדיר את ההגדרה הזו לכל ערך של מספר שלם מ-10 עד 1,440.

5. לוחצים על Continue.

סביבה

1. בקטע Environment, בוחרים Environment. ברירת המחדל היא הגרסה האחרונה (נכון לעכשיו, Python 3.12).

2. אופציונלי: בשדה Post-startup script, מזינים את ה-URI של סקריפט אחרי ההפעלה. מידע נוסף על שימוש בסקריפט לטעינה אחרי ההפעלה זמין במאמר בנושא שימוש בסקריפט לטעינה אחרי ההפעלה.

3. אופציונלי: בקטע Post-startup script URL (כתובת URL של סקריפט אחרי הפעלה), בוחרים את ההתנהגות של הסקריפט אחרי ההפעלה. התנהגות ברירת המחדל היא הפעלה חד-פעמית. מידע נוסף זמין במאמר בנושא התנהגות הסקריפט אחרי ההפעלה.

4. אופציונלי: כדי להוסיף משתנה סביבה, לוחצים על  הוספת משתנה סביבה ואז מזינים צמד של מפתח וערך. כדי להוסיף עוד משתני סביבה, חוזרים על השלב הזה.

5. לוחצים על Continue.

רשתות ואבטחה

1. בקטע Networking and security (רשתות ואבטחה), בתפריט Network (רשת), בוחרים רשת. אם לא בוחרים רשת, המערכת בוחרת את רשת ברירת המחדל.

2. בתפריט רשת משנה, בוחרים רשת משנה.

3. כדי להשבית את הגישה לכולם באינטרנט, מסירים את הסימון מהתיבה שליד הפעלת גישה לכולם באינטרנט.

4. כדי להשבית את הגישה של משתמשי קצה לפרטי הכניסה, מבטלים את הסימון של הפעלת פרטי כניסה של משתמשי קצה.

סיום יצירת תבנית זמן הריצה

לוחצים על יצירה כדי לסיים את יצירת תבנית זמן הריצה.

תבנית זמן הריצה מופיעה ברשימה בכרטיסייה Runtime templates (תבניות זמן ריצה).

gcloud

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

• ‫DISPLAY_NAME: השם המוצג של תבנית זמן הריצה.
• PROJECT_ID: מזהה הפרויקט.
• ‫REGION: האזור שבו רוצים להשתמש בתבנית זמן הריצה.
• ‫MACHINE_TYPE: סוג המכונה שבה רוצים להשתמש בזמן הריצה.
• ‫ACCELERATOR_TYPE: סוג ההאצה של החומרה שרוצים להשתמש בה בזמן הריצה.
• ‫ACCELERATOR_COUNT: מספר המאיצים לשימוש בזמן הריצה.

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

הערה: חשוב לוודא שהפעלתם את Google Cloud CLI עם אימות ופרויקט באמצעות אחת מהפקודות הבאות: gcloud init; או gcloud auth login ו- gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" \
    --project=PROJECT_ID \
    --region=REGION \
    --machine-type=MACHINE_TYPE \
    --accelerator-type=ACCELERATOR_TYPE \
    --accelerator-count=ACCELERATOR_COUNT

‏Windows (PowerShell)

הערה: חשוב לוודא שהפעלתם את Google Cloud CLI עם אימות ופרויקט באמצעות אחת מהפקודות הבאות: gcloud init; או gcloud auth login ו- gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" `
    --project=PROJECT_ID `
    --region=REGION `
    --machine-type=MACHINE_TYPE `
    --accelerator-type=ACCELERATOR_TYPE `
    --accelerator-count=ACCELERATOR_COUNT

Windows‏ (cmd.exe)

הערה: חשוב לוודא שהפעלתם את Google Cloud CLI עם אימות ופרויקט באמצעות אחת מהפקודות הבאות: gcloud init; או gcloud auth login ו- gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" ^
    --project=PROJECT_ID ^
    --region=REGION ^
    --machine-type=MACHINE_TYPE ^
    --accelerator-type=ACCELERATOR_TYPE ^
    --accelerator-count=ACCELERATOR_COUNT

למידע נוסף על הפקודה ליצירת תבנית של סביבת זמן ריצה משורת הפקודה, אפשר לעיין במסמכי התיעוד של ה-CLI של gcloud.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫REGION: האזור שבו רוצים להשתמש בתבנית זמן הריצה.
• PROJECT_ID: מזהה הפרויקט.
• ‫DISPLAY_NAME: השם המוצג של תבנית זמן הריצה.
• ‫MACHINE_TYPE: סוג המכונה שבה רוצים להשתמש בזמן הריצה.
• ‫ACCELERATOR_TYPE: סוג ההאצה של החומרה שרוצים להשתמש בה בזמן הריצה.
• ‫ACCELERATOR_COUNT: מספר המאיצים לשימוש בזמן הריצה.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates

גוף בקשת JSON:

{
  "displayName": "DISPLAY_NAME",
  "machineSpec": {
    {
      "machineType": MACHINE_TYPE
      "acceleratorType": ACCELERATOR_TYPE,
      "acceleratorCount": ACCELERATOR_COUNT,
    }
  },
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates" | Select-Object -Expand Content

אם הפעולה בוצעה ללא שגיאות, גוף התגובה יכיל מופע של Operation.

מידע נוסף זמין במסמכי התיעוד של notebookRuntimeTemplates.create REST API.

Terraform

כדי ללמוד איך להחיל הגדרות ב-Terraform או להסיר אותן, ראו פקודות בסיסיות ב-Terraform. למידע נוסף, ראו את מאמרי העזרה לספקים של Terraform.

בדוגמה הבאה נעשה שימוש במשאב Terraform‏ google_colab_runtime_template כדי ליצור תבנית של זמן ריצה ב-Colab Enterprise.

resource "google_compute_network" "my_network" {
  name = "{{index $.Vars "network_name"}}"
  auto_create_subnetworks = false
}

resource "google_compute_subnetwork" "my_subnetwork" {
  name   = "{{index $.Vars "network_name"}}"
  network = google_compute_network.my_network.id
  region = "us-central1"
  ip_cidr_range = "10.0.1.0/24"
}

resource "google_colab_runtime_template" "{{$.PrimaryResourceId}}" {
  name        = "{{index $.Vars "runtime_template_name"}}"
  display_name = "Runtime template full"
  location    = "us-central1"
  description = "Full runtime template"
  machine_spec {
    machine_type     = "n1-standard-2"
    accelerator_type = "NVIDIA_TESLA_T4"
    accelerator_count = "1"
  }

  data_persistent_disk_spec {
    disk_type    = "pd-standard"
    disk_size_gb = 200
  }

  network_spec {
    enable_internet_access = true
    network = google_compute_network.my_network.id
    subnetwork = google_compute_subnetwork.my_subnetwork.id
  }

  labels = {
    k = "val"
  }

  idle_shutdown_config {
    idle_timeout = "3600s"
  }

  euc_config {
    euc_disabled = false
  }

  shielded_vm_config {
    enable_secure_boot = false
  }

  network_tags = ["abc", "def"]

  encryption_spec {
    kms_key_name = "{{index $.Vars "key_name"}}"
  }

  software_config {
    env {
      name    = "TEST"
      value   = 1
    }

    post_startup_script_config {
      post_startup_script = "echo 'hello world'"
      post_startup_script_url = "gs://colab-enterprise-pss-secure/secure_pss.sh"
      post_startup_script_behavior = "RUN_ONCE"
    }

    colab_image {
      release_name = "py312"
    }
  }
}

הענקת גישה לתבנית של זמן הריצה

אחרי שיוצרים תבנית של זמן ריצה, צריך להעניק גישה למנהל כדי שיוכל להשתמש בה. גורם ראשי יכול ליצור סביבת זמן ריצה מתבנית של סביבת זמן ריצה רק אם יש לו את הדברים הבאים:

• גישה לתבנית של זמן הריצה.
• ההרשאות שנדרשות ליצירת סביבות זמן ריצה.

מידע נוסף מופיע במאמר ניהול הגישה לתבנית של זמן ריצה.

שימוש ב-Colab Enterprise ברשת VPC משותפת

כשיוצרים תבנית או סביבת זמן ריצה בפרויקט שירות של רשת VPC משותפת, צריך להעניק לסוכן השירות של Gemini Enterprise Agent Platform ‏([e-mail]) הרשאות ספציפיות בפרויקט המארח. ההרשאות האלה משמשות לביצוע הפעולות הבאות:

• כשיוצרים את תבנית זמן הריצה, צריך לוודא שהרשת ורשת המשנה קיימות ושיש אליהן גישה.
• כשיוצרים סביבת ריצה, מקצים את המכונה הווירטואלית הבסיסית של Compute Engine ברשת ה-VPC המשותפת.

כדי לוודא שלסוכן השירות של Gemini Enterprise Agent Platform יש את ההרשאות הנדרשות להפעלת תבנית זמן ריצה וזמן ריצה ברשת VPC משותפת, צריך לבקש מהאדמין להקצות לסוכן השירות של Gemini Enterprise Agent Platform את תפקיד ה-IAM ‏Compute Network User ‏ (roles/compute.networkUser) בפרויקט המארח.

חשוב: צריך להעניק את התפקיד הזה לסוכן השירות של Gemini Enterprise Agent Platform, ולא לחשבון המשתמש. אם לא תקצו את התפקיד לחשבון הראשי הנכון, יכול להיות שתקבלו שגיאות הרשאה.

מידע נוסף על הקצאת תפקידים מופיע במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים.

יכול להיות שהאדמין יוכל גם לתת לסוכן השירות של Gemini Enterprise Agent Platform את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

תזמון הפעלות של מחברות ברשת VPC משותפת

אם רוצים להשתמש בכלי לתזמון מחברות עם תבנית זמן ריצה או עם זמן ריצה בפרויקט שירות של רשת VPC משותפת, צריך להעניק לסוכן השירות של Colab Enterprise ‏([e-mail]) הרשאות ספציפיות בפרויקט המארח. ההרשאות האלה משמשות ליצירת מכונת ה-VM הבסיסית ב-Compute Engine.

כדי לוודא שלסוכן השירות של Colab Enterprise יש את ההרשאות שנדרשות לשימוש במחברות מתוזמנות ברשת VPC משותפת, צריך לבקש מהאדמין להקצות לסוכן השירות של Colab Enterprise את תפקיד ה-IAM ‏Compute Network User ‏ (roles/compute.networkUser) בפרויקט המארח.

חשוב: צריך להקצות את התפקיד הזה לסוכן השירות של Colab Enterprise, ולא לחשבון המשתמש. אם לא תקצו את התפקיד לחשבון הראשי הנכון, יכול להיות שתקבלו שגיאות הרשאה.

מידע נוסף על הקצאת תפקידים מופיע במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים.

יכול להיות שהאדמין גם יוכל לתת לסוכן השירות של Colab Enterprise את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מחיקה של תבנית זמן ריצה

כדי למחוק תבנית של זמן ריצה:

1. במסוף Google Cloud , נכנסים לדף Runtime templates של Colab Enterprise.

   מעבר אל Runtime templates

2. בתפריט Region (אזור), בוחרים את האזור שבו נמצאת תבנית זמן הריצה.

3. בוחרים את תבנית זמן הריצה שרוצים למחוק.

4. לוחצים על  מחיקה.

5. לוחצים על אישור.

פתרון בעיות

בקטע הזה מוסבר איך לפתור בעיות שקשורות ליצירת תבניות של זמן ריצה ב-Colab Enterprise.

אי אפשר לבחור מספיק יחידות GPU

בזמן יצירת תבנית של סביבת ריצה, אי אפשר לבחור את מספר ה-GPU הרצוי. יכול להיות שאין לכם מספיק מכסה.

‫Colab Enterprise משתמש במכסה של Compute Engine עבור מעבדי GPU. מידע נוסף זמין במאמר מכסות ומגבלות ב-Compute Engine – סקירה כללית.

כדי לפתור את הבעיה, צריך לבקש שינוי במכסה.

המאמרים הבאים

• מידע נוסף על סביבות זמן ריצה ותבניות של סביבות זמן ריצה
• איך יוצרים סביבת ריצה על סמך תבנית של סביבת ריצה.