Membuat template runtime

Membuat template runtime

Halaman ini menunjukkan cara membuat template runtime di Colab Enterprise.

Untuk menjalankan kode di notebook, gunakan resource komputasi yang disebut runtime. Anda dapat menggunakan runtime default atau runtime yang dibuat dari template runtime. Dengan membuat template runtime, Anda dapat mengonfigurasi template untuk mengoptimalkan performa, biaya, dan karakteristik runtime lainnya berdasarkan kebutuhan Anda.

Pelajari runtime dan template runtime lebih lanjut.

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat template runtime di Colab Enterprise, minta administrator Anda untuk memberi Anda peran IAM Colab Enterprise Admin (roles/aiplatform.colabEnterpriseAdmin) di project tersebut. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Satu atau beberapa peran yang diperlukan mencakup izin dataform.repositories.list. Pengguna yang diberi izin dataform.repositories.list atau peran Code Creator (roles/dataform.codeCreator) dalam suatu project dapat mencantumkan nama aset kode dalam project tersebut menggunakan Dataform API atau antarmuka command line (CLI) Dataform. Pengguna non-administrator yang menggunakan BigQuery Studio hanya dapat melihat aset kode yang mereka buat atau yang dibagikan kepada mereka.

Membuat template runtime

Untuk membuat template runtime, Anda dapat menggunakan Google Cloud konsol, Google Cloud CLI, REST API, atau Terraform.

Konsol

Untuk membuat template runtime:

1. Di Google Cloud konsol, buka halaman Colab Enterprise Runtime templates.

   Buka Template Runtime

2. Klik  New template.

   Dialog Create new runtime template akan muncul.

Dasar-dasar runtime

1. Di bagian Runtime basics, masukkan Display name.

2. Di menu Region, pilih region tempat Anda ingin template runtime.

3. Opsional: Tambahkan Deskripsi dari template runtime Anda.

4. Opsional: Untuk menambahkan label, klik  Tambahkan label, lalu masukkan pasangan Kunci dan Nilai singkat ini. Untuk menambahkan label lainnya, ulangi langkah ini.

5. Klik Lanjutkan.

Mengonfigurasikan komputasi

1. Di bagian Configure compute, pada menu Machine type, pilih jenis mesin. Untuk informasi tentang jenis mesin, lihat Panduan perbandingan dan resource kelompok mesin.

   Jika Anda memilih jenis mesin yang memiliki GPU, pilih Accelerator type dan Accelerator count. Jika Anda tidak dapat memilih jumlah GPU yang diinginkan, Anda mungkin perlu meningkatkan kuota. Lihat Meminta penyesuaian kuota.

2. Di menu Data disk type, pilih jenis disk.

3. Di kolom Data disk size, masukkan ukuran dalam GB.

4. Di bagian Idle shutdown:

   • Untuk menonaktifkan penonaktifan tidak ada aktivitas, hapus opsi Enable idle shutdown.

   • Untuk mengubah jangka waktu tidak aktif, di Time of inactivity before shutdown (Minutes), ubah angka ke jumlah menit tidak aktif yang Anda inginkan. Di Google Cloud konsol, setelan ini dapat disetel ke nilai bilangan bulat apa pun dari 10 hingga 1440.

5. Klik Lanjutkan.

Lingkungan

1. Di bagian Environment, pilih Environment. Defaultnya adalah Latest (saat ini Python 3.12).

2. Opsional: Di kolom Post-startup script, masukkan URI untuk skrip pasca-startup. Untuk mengetahui informasi selengkapnya tentang penggunaan skrip pasca-startup, lihat Menggunakan skrip pasca-startup.

3. Opsional: Di bagian URL skrip pasca-startup, pilih perilaku skrip pasca-startup Anda. Perilaku defaultnya adalah Run once. Untuk mengetahui informasi selengkapnya, lihat Perilaku skrip pasca-startup.

4. Opsional: Untuk menambahkan variabel lingkungan, klik  Tambahkan variabel lingkungan, lalu masukkan pasangan Kunci dan Nilai. Untuk menambahkan variabel lingkungan lainnya, ulangi langkah ini.

5. Klik Lanjutkan.

Jaringan dan keamanan

1. Di bagian Networking and security, pada menu Network, pilih jaringan. Jika Anda tidak memilih jaringan, jaringan default akan dipilih.

2. Pada menu Subnetwork, pilih subnetwork.

3. Untuk menonaktifkan akses internet publik, hapus opsi Aktifkan akses internet publik.

4. Untuk menonaktifkan akses kredensial pengguna akhir, hapus centang Enable end-user credentials.

Menyelesaikan pembuatan template runtime

Klik Create untuk menyelesaikan pembuatan template runtime.

Template runtime Anda akan muncul dalam daftar di tab Runtime templates.

gcloud

Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:

• DISPLAY_NAME: nama tampilan template runtime Anda.
• PROJECT_ID: project ID Anda.
• REGION: region tempat Anda ingin template runtime.
• MACHINE_TYPE: jenis mesin yang akan digunakan untuk runtime Anda.
• ACCELERATOR_TYPE: jenis akselerator hardware yang akan digunakan untuk runtime Anda.
• ACCELERATOR_COUNT: jumlah akselerator yang akan digunakan untuk runtime Anda.

Jalankan perintah berikut:

Linux, macOS, atau Cloud Shell

Catatan: Pastikan Anda telah menginisialisasi Google Cloud CLI dengan autentikasi dan sebuah project dengan menjalankan gcloud init; atau gcloud auth login dan gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" \
    --project=PROJECT_ID \
    --region=REGION \
    --machine-type=MACHINE_TYPE \
    --accelerator-type=ACCELERATOR_TYPE \
    --accelerator-count=ACCELERATOR_COUNT

Windows (PowerShell)

Catatan: Pastikan Anda telah menginisialisasi Google Cloud CLI dengan autentikasi dan sebuah project dengan menjalankan gcloud init; atau gcloud auth login dan gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" `
    --project=PROJECT_ID `
    --region=REGION `
    --machine-type=MACHINE_TYPE `
    --accelerator-type=ACCELERATOR_TYPE `
    --accelerator-count=ACCELERATOR_COUNT

Windows (cmd.exe)

Catatan: Pastikan Anda telah menginisialisasi Google Cloud CLI dengan autentikasi dan sebuah project dengan menjalankan gcloud init; atau gcloud auth login dan gcloud config set project.

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" ^
    --project=PROJECT_ID ^
    --region=REGION ^
    --machine-type=MACHINE_TYPE ^
    --accelerator-type=ACCELERATOR_TYPE ^
    --accelerator-count=ACCELERATOR_COUNT

Untuk mengetahui informasi selengkapnya tentang perintah untuk membuat template runtime dari command line, lihat dokumentasi gcloud CLI.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• REGION: region tempat Anda ingin template runtime.
• PROJECT_ID: project ID Anda.
• DISPLAY_NAME: nama tampilan template runtime Anda.
• MACHINE_TYPE: jenis mesin yang akan digunakan untuk runtime Anda.
• ACCELERATOR_TYPE: jenis akselerator hardware yang akan digunakan untuk runtime Anda.
• ACCELERATOR_COUNT: jumlah akselerator yang akan digunakan untuk runtime Anda.

Metode HTTP dan URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates

Meminta isi JSON:

{
  "displayName": "DISPLAY_NAME",
  "machineSpec": {
    {
      "machineType": MACHINE_TYPE
      "acceleratorType": ACCELERATOR_TYPE,
      "acceleratorCount": ACCELERATOR_COUNT,
    }
  },
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates" | Select-Object -Expand Content

Jika berhasil, isi respons memuat instance Operation.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi REST API notebookRuntimeTemplates.create.

Terraform

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform. Untuk mengetahui informasi selengkapnya, lihat Terraform dokumentasi referensi penyedia.

Contoh berikut menggunakan google_colab_runtime_template resource Terraform untuk membuat template runtime Colab Enterprise

resource "google_compute_network" "my_network" {
  name = "{{index $.Vars "network_name"}}"
  auto_create_subnetworks = false
}

resource "google_compute_subnetwork" "my_subnetwork" {
  name   = "{{index $.Vars "network_name"}}"
  network = google_compute_network.my_network.id
  region = "us-central1"
  ip_cidr_range = "10.0.1.0/24"
}

resource "google_colab_runtime_template" "{{$.PrimaryResourceId}}" {
  name        = "{{index $.Vars "runtime_template_name"}}"
  display_name = "Runtime template full"
  location    = "us-central1"
  description = "Full runtime template"
  machine_spec {
    machine_type     = "n1-standard-2"
    accelerator_type = "NVIDIA_TESLA_T4"
    accelerator_count = "1"
  }

  data_persistent_disk_spec {
    disk_type    = "pd-standard"
    disk_size_gb = 200
  }

  network_spec {
    enable_internet_access = true
    network = google_compute_network.my_network.id
    subnetwork = google_compute_subnetwork.my_subnetwork.id
  }

  labels = {
    k = "val"
  }

  idle_shutdown_config {
    idle_timeout = "3600s"
  }

  euc_config {
    euc_disabled = false
  }

  shielded_vm_config {
    enable_secure_boot = false
  }

  network_tags = ["abc", "def"]

  encryption_spec {
    kms_key_name = "{{index $.Vars "key_name"}}"
  }

  software_config {
    env {
      name    = "TEST"
      value   = 1
    }

    post_startup_script_config {
      post_startup_script = "echo 'hello world'"
      post_startup_script_url = "gs://colab-enterprise-pss-secure/secure_pss.sh"
      post_startup_script_behavior = "RUN_ONCE"
    }

    colab_image {
      release_name = "py312"
    }
  }
}

Memberikan akses ke template runtime

Setelah membuat template runtime, Anda harus memberikan akses ke template tersebut agar akun utama dapat menggunakannya. Akun utama dapat membuat runtime dari template runtime hanya jika memiliki hal berikut:

• Akses ke template runtime.
• Izin yang diperlukan untuk membuat runtime.

Lihat Mengelola akses ke template runtime.

Menggunakan Colab Enterprise di jaringan VPC Bersama

Saat membuat template runtime atau runtime di project layanan jaringan VPC Bersama, Anda harus memberikan izin tertentu kepada agen layanan Vertex AI ([e-mail]) di project host. Izin ini digunakan untuk melakukan hal berikut:

• Memvalidasi keberadaan dan aksesibilitas jaringan dan subnetwork Anda saat membuat template runtime.
• Menyediakan instance VM Compute Engine yang mendasarinya dalam jaringan VPC Bersama saat Anda membuat runtime.

Untuk memastikan bahwa agen layanan Vertex AI memiliki izin yang diperlukan untuk mengaktifkan penggunaan template runtime dan runtime dalam jaringan VPC Bersama, minta administrator Anda untuk memberikan peran IAM Compute Network User (roles/compute.networkUser) kepada agen layanan Vertex AI di project host.

Penting: Anda harus memberikan peran ini kepada agen layanan Vertex AI, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada agen layanan Vertex AI melalui peran khusus atau peran bawaan lainnya.

Menjadwalkan menjalankan notebook di jaringan VPC Bersama

Jika ingin menggunakan penjadwal notebook dengan template runtime atau runtime di project layanan jaringan VPC Bersama, Anda harus memberikan izin tertentu kepada agen layanan Colab Enterprise ([e-mail]) di project host. Izin ini digunakan untuk membuat VM Compute Engine yang mendasarinya.

Untuk memastikan bahwa agen layanan Colab Enterprise memiliki izin yang diperlukan untuk menggunakan notebook terjadwal dalam jaringan VPC Bersama, minta administrator Anda untuk memberikan peran IAM Compute Network User (roles/compute.networkUser) kepada agen layanan Colab Enterprise di project host.

Penting: Anda harus memberikan peran ini kepada agen layanan Colab Enterprise, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada agen layanan Colab Enterprise melalui peran khusus atau peran bawaan lainnya.

Menghapus template runtime

Untuk menghapus template runtime:

1. Di Google Cloud konsol, buka halaman Colab Enterprise Runtime templates.

   Buka Template Runtime

2. Di menu Region, pilih region yang berisi template runtime Anda.

3. Pilih template runtime yang ingin dihapus.

4. Klik  Delete.

5. Klik Confirm.

Memecahkan masalah

Bagian ini menjelaskan cara menyelesaikan masalah terkait pembuatan template runtime di Colab Enterprise.

Tidak dapat memilih GPU yang cukup

Saat membuat template runtime, Anda tidak dapat memilih jumlah GPU yang diinginkan. Hal ini mungkin karena Anda tidak memiliki kuota yang cukup.

Colab Enterprise menggunakan kuota Compute Engine untuk GPU. Untuk mengetahui informasi selengkapnya, lihat ringkasan kuota dan batas Compute Engine.

Untuk mengatasi masalah ini, Minta penyesuaian kuota.

Langkah berikutnya

• Pelajari runtime dan template runtime lebih lanjut.
• Pelajari cara membuat runtime berdasarkan template runtime.