Membuat template runtime

Membuat template runtime

Halaman ini menunjukkan cara membuat template runtime di Colab Enterprise.

Untuk menjalankan kode di notebook, gunakan resource komputasi yang disebut runtime. Anda dapat menggunakan runtime default atau runtime yang dibuat dari template runtime. Dengan membuat template runtime, Anda dapat mengonfigurasi template untuk mengoptimalkan performa, biaya, dan karakteristik runtime lainnya berdasarkan kebutuhan Anda.

Pelajari runtime dan template runtime lebih lanjut.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat template runtime di Colab Enterprise, minta administrator untuk memberi Anda peran IAM Colab Enterprise Admin (roles/aiplatform.colabEnterpriseAdmin) di project itu. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Satu atau beberapa peran yang diperlukan mencakup izin dataform.repositories.list. permission. Pengguna yang diberi izin dataform.repositories.list atau peran Code Creator (roles/dataform.codeCreator) dalam suatu project dapat mencantumkan nama aset kode dalam project tersebut menggunakan Dataform API atau antarmuka command line (CLI) Dataform. Pengguna non-administrator yang menggunakan BigQuery Studio hanya dapat melihat aset kode yang mereka buat atau yang dibagikan kepada mereka.

Membuat template runtime

Untuk membuat template runtime, Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, REST API, atau Terraform.

Konsol

Untuk membuat template runtime:

1. Di konsol Google Cloud , buka halaman Runtime templates Colab Enterprise.

   Buka Template Runtime

2. Klik  New template.

   Dialog Create new runtime template akan muncul.

Dasar-dasar runtime

1. Di bagian Runtime basics, masukkan Display name.

2. Di menu Region, pilih region tempat Anda ingin template runtime.

3. Opsional: Tambahkan Deskripsi dari template runtime Anda.

4. Opsional: Untuk menambahkan label, klik  Tambahkan label, lalu masukkan pasangan Kunci dan Nilai singkat ini. Untuk menambahkan label lainnya, ulangi langkah ini.

5. Klik Lanjutkan.

Mengonfigurasikan komputasi

1. Di bagian Configure compute, pada menu Machine type, pilih jenis mesin. Untuk informasi tentang jenis mesin, lihat Panduan perbandingan dan resource kelompok mesin.

   Jika Anda memilih jenis mesin yang memiliki GPU, pilih Jenis akselerator dan Jumlah akselerator. Jika Anda tidak dapat memilih jumlah GPU yang diinginkan, Anda mungkin perlu menambah kuota. Lihat Meminta penyesuaian kuota.

2. Pada menu Data disk type, pilih jenis disk.

3. Di kolom Data disk size, masukkan ukuran dalam GB.

4. Di bagian Idle shutdown:

   • Untuk menonaktifkan penonaktifan saat tidak ada aktivitas, hapus opsi Aktifkan penonaktifan saat tidak ada aktivitas.

   • Untuk mengubah jangka waktu tidak aktif, di Waktu tidak aktif sebelum penonaktifan (Menit), ubah angka ke jumlah menit tidak aktif yang Anda inginkan. Di konsol Google Cloud , setelan ini dapat disetel ke nilai bilangan bulat apa pun dari 10 hingga 1440.

5. Klik Lanjutkan.

Lingkungan

1. Di bagian Environment, pilih Environment. Defaultnya adalah Terbaru (saat ini Python 3.12).

2. Opsional: Di kolom Post-startup script, masukkan URI untuk skrip post-startup. Untuk mengetahui informasi selengkapnya tentang penggunaan skrip pasca-startup, lihat Menggunakan skrip pasca-startup.

3. Opsional: Di bagian URL skrip pasca-startup, pilih perilaku skrip pasca-startup Anda. Perilaku default adalah Jalankan sekali. Untuk mengetahui informasi selengkapnya, lihat Perilaku skrip pasca-startup.

4. Opsional: Untuk menambahkan variabel lingkungan, klik  Tambahkan variabel env, lalu masukkan pasangan Kunci dan Nilai. Untuk menambahkan variabel lingkungan lainnya, ulangi langkah ini.

5. Klik Lanjutkan.

Jaringan dan keamanan

1. Di bagian Networking and security, pada menu Network, pilih jaringan. Jika Anda tidak memilih jaringan, jaringan default akan dipilih.

2. Pada menu Subnetwork, pilih subnetwork.

3. Untuk menonaktifkan akses internet publik, hapus opsi Aktifkan akses internet publik.

4. Untuk menonaktifkan akses kredensial pengguna akhir, hapus centang Enable end-user credentials.

Menyelesaikan pembuatan template runtime

Klik Create untuk menyelesaikan pembuatan template runtime.

Template runtime Anda akan muncul dalam daftar di tab Runtime templates.

gcloud

Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:

• DISPLAY_NAME: nama tampilan template runtime Anda.
• PROJECT_ID: project ID Anda.
• REGION: region tempat Anda menginginkan template runtime.
• MACHINE_TYPE: jenis mesin yang akan digunakan untuk runtime Anda.
• ACCELERATOR_TYPE: jenis akselerator hardware yang akan digunakan untuk runtime Anda.
• ACCELERATOR_COUNT: jumlah akselerator yang akan digunakan untuk runtime Anda.

Jalankan perintah berikut:

Linux, macOS, atau Cloud Shell

Catatan: Pastikan Anda telah menginisialisasi Google Cloud CLI dengan autentikasi dan sebuah project dengan menjalankan gcloud init; atau gcloud auth login dan gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" \
    --project=PROJECT_ID \
    --region=REGION \
    --machine-type=MACHINE_TYPE \
    --accelerator-type=ACCELERATOR_TYPE \
    --accelerator-count=ACCELERATOR_COUNT

Windows (PowerShell)

Catatan: Pastikan Anda telah menginisialisasi Google Cloud CLI dengan autentikasi dan sebuah project dengan menjalankan gcloud init; atau gcloud auth login dan gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" `
    --project=PROJECT_ID `
    --region=REGION `
    --machine-type=MACHINE_TYPE `
    --accelerator-type=ACCELERATOR_TYPE `
    --accelerator-count=ACCELERATOR_COUNT

Windows (cmd.exe)

Catatan: Pastikan Anda telah menginisialisasi Google Cloud CLI dengan autentikasi dan sebuah project dengan menjalankan gcloud init; atau gcloud auth login dan gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" ^
    --project=PROJECT_ID ^
    --region=REGION ^
    --machine-type=MACHINE_TYPE ^
    --accelerator-type=ACCELERATOR_TYPE ^
    --accelerator-count=ACCELERATOR_COUNT

Untuk mengetahui informasi selengkapnya tentang perintah untuk membuat template runtime dari command line, lihat dokumentasi gcloud CLI.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• REGION: region tempat Anda menginginkan template runtime.
• PROJECT_ID: project ID Anda.
• DISPLAY_NAME: nama tampilan template runtime Anda.
• MACHINE_TYPE: jenis mesin yang akan digunakan untuk runtime Anda.
• ACCELERATOR_TYPE: jenis akselerator hardware yang akan digunakan untuk runtime Anda.
• ACCELERATOR_COUNT: jumlah akselerator yang akan digunakan untuk runtime Anda.

Metode HTTP dan URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates

Meminta isi JSON:

{
  "displayName": "DISPLAY_NAME",
  "machineSpec": {
    {
      "machineType": MACHINE_TYPE
      "acceleratorType": ACCELERATOR_TYPE,
      "acceleratorCount": ACCELERATOR_COUNT,
    }
  },
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates" | Select-Object -Expand Content

Jika berhasil, isi respons berisi instance Operation.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi notebookRuntimeTemplates.create REST API.

Terraform

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi penyedia Terraform.

Contoh berikut menggunakan resource Terraform google_colab_runtime_template untuk membuat template runtime Colab Enterprise.

resource "google_compute_network" "my_network" {
  name = "{{index $.Vars "network_name"}}"
  auto_create_subnetworks = false
}

resource "google_compute_subnetwork" "my_subnetwork" {
  name   = "{{index $.Vars "network_name"}}"
  network = google_compute_network.my_network.id
  region = "us-central1"
  ip_cidr_range = "10.0.1.0/24"
}

resource "google_colab_runtime_template" "{{$.PrimaryResourceId}}" {
  name        = "{{index $.Vars "runtime_template_name"}}"
  display_name = "Runtime template full"
  location    = "us-central1"
  description = "Full runtime template"
  machine_spec {
    machine_type     = "n1-standard-2"
    accelerator_type = "NVIDIA_TESLA_T4"
    accelerator_count = "1"
  }

  data_persistent_disk_spec {
    disk_type    = "pd-standard"
    disk_size_gb = 200
  }

  network_spec {
    enable_internet_access = true
    network = google_compute_network.my_network.id
    subnetwork = google_compute_subnetwork.my_subnetwork.id
  }

  labels = {
    k = "val"
  }

  idle_shutdown_config {
    idle_timeout = "3600s"
  }

  euc_config {
    euc_disabled = false
  }

  shielded_vm_config {
    enable_secure_boot = false
  }

  network_tags = ["abc", "def"]

  encryption_spec {
    kms_key_name = "{{index $.Vars "key_name"}}"
  }

  software_config {
    env {
      name    = "TEST"
      value   = 1
    }

    post_startup_script_config {
      post_startup_script = "echo 'hello world'"
      post_startup_script_url = "gs://colab-enterprise-pss-secure/secure_pss.sh"
      post_startup_script_behavior = "RUN_ONCE"
    }

    colab_image {
      release_name = "py312"
    }
  }
}

Memberikan akses ke template runtime

Setelah membuat template runtime, Anda harus memberikan akses ke template tersebut agar akun utama dapat menggunakannya. Akun utama dapat membuat runtime dari template runtime hanya jika memiliki hal berikut:

• Akses ke template runtime.
• Izin yang diperlukan untuk membuat runtime.

Lihat Mengelola akses ke template runtime.

Menggunakan Colab Enterprise di jaringan VPC Bersama

Saat membuat template runtime atau runtime di project layanan jaringan VPC Bersama, Anda harus memberikan izin khusus ke agen layanan Vertex AI ([e-mail]) di project host. Izin ini digunakan untuk melakukan hal berikut:

• Validasi keberadaan dan aksesibilitas jaringan dan subnetwork Anda saat Anda membuat template runtime.
• Sediakan instance VM Compute Engine yang mendasarinya dalam jaringan VPC Bersama saat Anda membuat runtime.

Untuk memastikan bahwa agen layanan Vertex AI memiliki izin yang diperlukan untuk mengaktifkan penggunaan template runtime dan runtime dalam jaringan VPC Bersama, minta administrator Anda untuk memberikan peran IAM Compute Network User (roles/compute.networkUser) kepada agen layanan Vertex AI di project host.

Penting: Anda harus memberikan peran ini kepada agen layanan Vertex AI, bukan kepada akun pengguna Anda. Jika peran tidak diberikan kepada akun utama yang tepat, error izin mungkin terjadi.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada agen layanan Vertex AI melalui peran khusus atau peran bawaan lainnya.

Menjadwalkan operasi notebook di jaringan VPC Bersama

Jika ingin menggunakan penjadwal notebook dengan template runtime atau runtime di project layanan jaringan VPC Bersama, Anda harus memberikan izin khusus kepada agen layanan Colab Enterprise ([e-mail]) di project host. Izin ini digunakan untuk membuat VM Compute Engine yang mendasarinya.

Untuk memastikan bahwa agen layanan Colab Enterprise memiliki izin yang diperlukan untuk menggunakan notebook terjadwal dalam jaringan VPC Bersama, minta administrator untuk memberikan peran IAM Compute Network User (roles/compute.networkUser) kepada agen layanan Colab Enterprise di project host.

Penting: Anda harus memberikan peran ini kepada agen layanan Colab Enterprise, bukan kepada akun pengguna Anda. Jika peran tidak diberikan kepada akun utama yang tepat, error izin mungkin terjadi.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada agen layanan Colab Enterprise melalui peran khusus atau peran bawaan lainnya.

Menghapus template runtime

Untuk menghapus template runtime:

1. Di konsol Google Cloud , buka halaman Runtime templates Colab Enterprise.

   Buka Template Runtime

2. Di menu Region, pilih region yang berisi template runtime Anda.

3. Pilih template runtime yang ingin Anda hapus.

4. Klik  Delete.

5. Klik Konfirmasi.

Memecahkan masalah

Bagian ini menjelaskan cara menyelesaikan masalah terkait pembuatan template runtime di Colab Enterprise.

Tidak dapat memilih GPU yang cukup

Saat membuat template runtime, Anda tidak dapat memilih jumlah GPU yang diinginkan. Hal ini mungkin karena Anda tidak memiliki kuota yang cukup.

Colab Enterprise menggunakan kuota Compute Engine untuk GPU. Untuk mengetahui informasi selengkapnya, lihat ringkasan kuota dan batas Compute Engine.

Untuk mengatasi masalah ini, Minta penyesuaian kuota.

Langkah berikutnya

• Pelajari lebih lanjut runtime dan template runtime.
• Pelajari cara membuat runtime berdasarkan template runtime.