Halaman ini diterjemahkan oleh Cloud Translation API.

Membuat instance A3 High atau A2

Linux Windows

Dokumen ini menjelaskan cara membuat instance virtual machine (VM) yang menggunakan jenis mesin dari seri mesin yang dioptimalkan untuk akselerator A2 atau A3 High.

Untuk jenis mesin A3 High, dokumen ini hanya mencakup jenis mesin yang memiliki kurang dari 8 GPU yang terpasang. Jenis mesin A3 High dengan kurang dari 8 GPU ini hanya dapat dibuat sebagai Spot VM atau VM dengan mulai fleksibel. Untuk membuat instance A3 yang memiliki 8 GPU terpasang, lihat Membuat instance A3 Mega, A3 High, atau A3 Edge dengan GPUDirect diaktifkan.

Untuk membuat beberapa VM A3 atau A2, Anda juga dapat menggunakan salah satu opsi berikut:

Grup instance terkelola (MIG): untuk workload yang memerlukan ketersediaan, skalabilitas, dan perbaikan otomatis yang tinggi, Anda dapat membuat MIG yang menggunakan template instance GPU.
Pembuatan instance massal: untuk membuat sejumlah besar instance independen, Anda dapat membuat VM A3 atau A2 secara massal.

Sebelum memulai

Untuk meninjau batasan dan langkah-langkah prasyarat tambahan untuk membuat instance dengan GPU yang terpasang, seperti memilih image OS dan memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Google Cloud dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat mengautentikasi ke Compute Engine dengan memilih salah satu opsi berikut:
Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:
  gcloud init
  Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.
  
  Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi terbaru dengan menjalankan gcloud components update.
2. Set a default region and zone.
REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.
Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Peran yang diperlukan

Agar mendapatkan izin yang diperlukan untuk membuat VM, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat VM. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat VM:

compute.instances.create pada project
Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly pada snapshot
Untuk menggunakan template instance guna membuat VM: compute.instanceTemplates.useReadOnly pada template instance
Untuk menentukan subnet bagi VM Anda: compute.subnetworks.use di project atau di subnet yang dipilih
Untuk menentukan alamat IP statis untuk VM: compute.addresses.use pada project
Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp di project atau di subnet yang dipilih
Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp di project
Untuk menetapkan metadata instance VM bagi VM: compute.instances.setMetadata di project
Untuk menyetel tag untuk VM: compute.instances.setTags di VM
Untuk menetapkan label bagi VM: compute.instances.setLabels di VM
Untuk menyetel akun layanan yang akan digunakan VM: compute.instances.setServiceAccount di VM
Untuk membuat disk baru bagi VM: compute.disks.create pada project
Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Buat VM yang telah memasang GPU

Anda dapat membuat VM yang dioptimalkan akselerator A2 atau A3 menggunakan KonsolGoogle Cloud , Google Cloud CLI, atau REST.

Konsol

Di konsol Google Cloud , buka halaman Create an instance.

Buka Buat instance
Di kolom Name, masukkan nama unik untuk instance Anda. Lihat Konvensi penamaan resource.
Pilih region dan zona tempat jenis mesin GPU ini tersedia. Lihat region dan zona GPU.
Di bagian jenis mesin, pilih GPU.
1. Dalam daftar GPU type, pilih jenis GPU.
  - Untuk VM yang dioptimalkan akselerator A2, pilih NVIDIA A100 40GB atau NVIDIA A100 80GB
  - Untuk VM yang dioptimalkan akselerator A3, pilih NVIDIA H100 80GB
2. Dalam daftar Number of GPU, pilih jumlah GPU.
  Catatan: Setiap jenis mesin yang dioptimalkan akselerator memiliki jumlah GPU tetap yang terpasang. Jika Anda menyesuaikan jumlah GPU, jenis mesin akan berubah.
Konfigurasikan boot disk sebagai berikut:
1. Di bagian OS and storage, klik Change. Tindakan ini akan membuka halaman Boot disk configuration.
2. Di halaman Boot disk configuration, lakukan langkah berikut:
  1. Pada tab Public images, pilih image Compute Engine yang didukung atau Deep Learning VM Images.
  1. Tentukan ukuran boot disk minimal 40 GiB.
  2. Untuk mengonfirmasi opsi boot disk, klik Select.
Konfigurasi model penyediaan.
Catatan: Jenis mesin A3 dengan kurang dari 8 GPU hanya dapat dibuat sebagai Spot VM atau VM mulai fleksibel. Saat membuat jenis mesin A3 tertentu ini, Anda harus memilih Spot atau Flex-start. Untuk jenis mesin A2, Anda dapat memilih salah satu model penyediaan.
Di bagian Advanced options, di bagian VM provisioning model, pilih salah satu opsi berikut:
- Standard: untuk workload tujuan umum.
- Flex-start: untuk workload berdurasi singkat yang dapat mentoleransi waktu mulai yang fleksibel. Untuk mengetahui informasi selengkapnya, lihat Tentang VM mulai fleksibel.
- Spot: untuk workload fault-tolerant yang dapat di-preempt. Untuk mengetahui informasi selengkapnya, lihat Spot VM.
Opsional: Dalam daftar Saat penghentian VM, pilih apa yang terjadi saat Compute Engine melakukan preempt terhadap Spot VM atau VM mulai fleksibel mencapai akhir durasi jalannya:
- Untuk menghentikan VM selama preemption, pilih Hentikan (default).
- Untuk menghapus VM selama preemption, pilih Hapus.
Untuk membuat dan memulai VM, klik Create.

gcloud

Untuk membuat dan memulai VM, gunakan perintah gcloud compute instances create dengan flag berikut. VM dengan GPU tidak dapat dimigrasikan langsung, jadi pastikan Anda menetapkan flag --maintenance-policy=TERMINATE.

Contoh perintah juga menampilkan flag --provisioning-model. Flag ini menetapkan model penyediaan untuk VM. Flag ini diperlukan saat membuat jenis mesin A3 dengan kurang dari 8 GPU dan harus disetel ke SPOT atau FLEX_START. Untuk jenis mesin A2, tanda ini bersifat opsional. Jika Anda tidak menentukan model, model penyediaan standar akan digunakan. Untuk mengetahui informasi selengkapnya, lihat Model penyediaan instance Compute Engine.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      --provisioning-model=PROVISIONING_MODEL

Ganti kode berikut:

VM_NAME: nama untuk VM baru.
MACHINE_TYPE: jenis mesin A2 atau jenis mesin A3 dengan 1, 2, atau 4 GPU. Untuk jenis mesin A3, Anda harus menentukan model penyediaan.
ZONE: zona untuk VM. Zona ini harus mendukung model GPU yang Anda pilih.
DISK_SIZE: ukuran boot disk dalam GiB. Tentukan ukuran boot disk minimal 40 GiB.
IMAGE: image sistem operasi yang mendukung GPU. Jika Anda ingin menggunakan image terbaru dalam kelompok image, ganti flag --image dengan flag --image-family dan tetapkan nilainya ke kelompok image yang mendukung GPU. Misalnya: --image-family=rocky-linux-8-optimized-gcp.
Anda juga dapat menentukan image kustom atau Deep Learning VM Image.
IMAGE_PROJECT: project image Compute Engine yang mencakup image OS tersebut. Jika menggunakan image kustom atau Deep Learning VM Image, tentukan project tempat image tersebut berada.
PROVISIONING_MODEL: model penyediaan yang akan digunakan untuk membuat VM. Anda dapat menentukan SPOT atau FLEX_START. Jika Anda menghapus flag --provisioning-model dari perintah, model penyediaan standar akan digunakan. Flag ini diperlukan saat membuat VM A3 dengan kurang dari 8 GPU.

REST

Kirim permintaan POST ke metode instances.insert. VM dengan GPU tidak dapat melakukan migrasi langsung. Pastikan Anda menyetel parameter onHostMaintenance ke TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  "automaticRestart": true
}
}

Ganti kode berikut:

VM_NAME: nama untuk VM baru.
PROJECT_ID: Project ID Anda.
ZONE: zona untuk VM. Zona ini harus mendukung model GPU yang Anda pilih.
MACHINE_TYPE: jenis mesin A2 atau jenis mesin A3 dengan 1, 2, atau 4 GPU. Untuk jenis mesin A3, Anda harus menentukan model penyediaan.
PROVISIONING_MODEL: Model penyediaan untuk VM. Tentukan SPOT atau FLEX_START. Kolom ini wajib diisi saat membuat VM A3 dengan kurang dari 8 GPU. Untuk VM A2, kolom ini bersifat opsional; jika Anda tidak menentukan model, model penyediaan standar akan digunakan. Untuk mengetahui informasi selengkapnya, lihat Model penyediaan instance Compute Engine.
SOURCE_IMAGE_URI: URI untuk kelompok image atau image tertentu yang ingin Anda gunakan. Contoh:
- Gambar spesifik: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-10-optimized-gcp-v20251017"
- Kelompok image: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-10-optimized-gcp"
Saat Anda menentukan kelompok image, Compute Engine akan membuat VM dari image OS terbaru yang masih digunakan dalam kelompok tersebut. Untuk mengetahui informasi selengkapnya tentang kapan harus menggunakan kelompok image, lihat Praktik terbaik kelompok image.
DISK_SIZE: ukuran boot disk dalam GB. Tentukan ukuran boot disk minimal 40 GB.
NETWORK: jaringan VPC yang ingin Anda gunakan untuk VM. Anda dapat menentukan `default` untuk menggunakan jaringan default.

Setelan tambahan:

Untuk menentukan model penyediaan, tambahkan kolom "provisioningModel": "PROVISIONING_MODEL" ke objek scheduling dalam permintaan Anda. Hal ini diperlukan untuk jenis mesin A3 dengan kurang dari 8 GPU. Jika Anda menentukan untuk membuat Spot VM, kolom onHostMaintenance dan automaticRestart akan diabaikan.
```
"scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    "provisioningModel": "PROVISIONING_MODEL"
  }
```

Menginstal driver

Agar VM dapat menggunakan GPU, Anda harus Menginstal driver GPU di VM.

Contoh

Dalam contoh ini, sebagian besar VM dibuat menggunakan Google Cloud CLI. Namun, Anda juga dapat menggunakan Google Cloud console atau REST untuk membuat VM ini.

Contoh berikut menunjukkan cara membuat Spot VM A3 menggunakan image OS standar, dan VM A2 menggunakan image Deep Learning VM Images.

Buat VM Spot A3 menggunakan kelompok image OS Debian 13

Contoh ini membuat Spot VM A3 (a3-highgpu-1g) menggunakan kelompok image OS Debian 13.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=a3-highgpu-1g \
    --provisioning-model=SPOT \
    --maintenance-policy=TERMINATE \
    --image-family=debian-13 \
    --image-project=debian-cloud \
    --boot-disk-size=200GB \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Ganti kode berikut:

VM_NAME: nama instance VM Anda
PROJECT_ID: Project ID Anda.
ZONE: zona untuk instance VM

Membuat VM A2 dengan instance notebook yang dikelola pengguna Vertex AI Workbench di VM

Contoh ini membuat VM A2 Standard (a2-highgpu-1g) menggunakan image tf2-ent-2-3-cu110 Deep Learning VM Image. Dalam contoh ini, flag opsional seperti ukuran dan cakupan boot disk ditentukan.

Menggunakan image DLVM adalah cara termudah untuk memulai karena image ini sudah dilengkapi dengan driver NVIDIA dan library CUDA.

Gambar ini juga memberikan pengoptimalan performa.

Image DLVM berikut didukung untuk NVIDIA A100:

common-cu110: Driver NVIDIA dan CUDA yang telah diinstal sebelumnya
tf-ent-1-15-cu110: Driver NVIDIA, CUDA, TensorFlow Enterprise 1.15.3 telah diinstal sebelumnya
tf2-ent-2-1-cu110: Driver NVIDIA, CUDA, TensorFlow Enterprise 2.1.1 telah diinstal sebelumnya
tf2-ent-2-3-cu110: Driver NVIDIA, CUDA, TensorFlow Enterprise 2.3.1 telah diinstal sebelumnya
pytorch-1-6-cu110: Driver NVIDIA, CUDA, Pytorch 1.6

Untuk mengetahui informasi selengkapnya tentang image DLVM yang tersedia, dan paket yang diinstal pada image, lihat dokumentasi Deep Learning VM.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=a2-highgpu-1g \
    --maintenance-policy=TERMINATE \
    --image-family=tf2-ent-2-3-cu110 \
    --image-project=deeplearning-platform-release \
    --boot-disk-size=200GB \
    --metadata="install-nvidia-driver=True,proxy-mode=project_editors" \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Ganti kode berikut:

VM_NAME: nama instance VM Anda
PROJECT_ID: Project ID Anda.
ZONE: zona untuk instance VM

Contoh perintah sebelumnya juga menghasilkan instance notebook yang dikelola pengguna Vertex AI Workbench untuk VM. Untuk mengakses notebook, di konsol Google Cloud , buka halaman Vertex AI Workbench > User-managed notebooks.

Buka halaman Notebook yang dikelola pengguna

GPU Multi-Instance

Multi-Instance GPU mempartisi satu GPU NVIDIA A100 atau NVIDIA H100 dalam VM yang sama ke dalam hingga tujuh instance GPU independen. Keduanya berjalan secara bersamaan, masing-masing dengan memori, cache, dan multiprosesor streaming sendiri. Penyiapan ini memungkinkan GPU NVIDIA A100 dan H100 memberikan kualitas layanan (QoS) yang konsisten dengan pemanfaatan hingga 7x lebih tinggi dibandingkan dengan model GPU sebelumnya.

Anda dapat membuat hingga tujuh GPU Multi-instance. Untuk GPU A100 40 GB, setiap GPU Multi-instance dialokasikan memori 5 GB. Dengan GPU A100 80 GB, memori yang dialokasikan meningkat dua kali lipat menjadi 10 GB. Dengan GPU H100 80 GB, setiap GPU Multi-instance juga dialokasikan memori 10 GB.

Untuk mengetahui informasi selengkapnya tentang penggunaan GPU Multi-Instance, lihat Panduan Pengguna Multi-Instance GPU NVIDIA.

Untuk membuat GPU Multi-Instance, selesaikan langkah-langkah berikut:

Buat instance VM yang dioptimalkan akselerator A2 (A100) atau A3 (H100).
Hubungkan ke instance VM. Untuk mengetahui informasi selengkapnya, lihat Menghubungkan ke VM Linux atau Menghubungkan ke VM Windows.
Aktifkan driver GPU NVIDIA.

Tips Pro: Anda dapat melewati langkah ini dengan membuat VM dengan Deep Learning VM Image. Setiap Deep Learning VM Image sudah dilengkapi dengan driver GPU NVIDIA.
Aktifkan GPU Multi-Instance.
```
sudo nvidia-smi -mig 1
```

Tinjau bentuk GPU Multi-Instance yang tersedia.

sudo nvidia-smi mig --list-gpu-instance-profiles

Outputnya mirip dengan berikut ini:

+-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

Buat Multi-Instance GPU (GI) dan instance komputasi (CI) terkait yang Anda inginkan. Anda dapat membuat instance ini dengan menentukan nama profil, ID profil, atau kombinasi keduanya, baik yang lengkap maupun disingkat. Untuk mengetahui informasi selengkapnya, lihat Membuat Instance GPU.

Contoh berikut membuat dua instance GPU MIG 3g.20gb menggunakan ID profil (9).

Flag -C juga ditentukan yang membuat instance komputasi terkait untuk profil yang diperlukan.
```
sudo nvidia-smi mig -cgi 9,9 -C
```
Pastikan dua GPU Multi-Instance telah dibuat:
```
sudo nvidia-smi mig -lgi
```

Pastikan GI dan CI yang sesuai telah dibuat.

sudo nvidia-smi

Outputnya mirip dengan berikut ini:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Apa langkah selanjutnya?

Pelajari platform GPU lebih lanjut.
Untuk VM A2, tambahkan SSD Lokal ke VM Anda. Perangkat SSD lokal berfungsi baik dengan GPU saat aplikasi Anda memerlukan penyimpanan berperforma tinggi. VM A3 memiliki SSD Lokal yang terpasang secara default.
Instal driver GPU.
Untuk menangani pemeliharaan host GPU, lihat Menangani peristiwa pemeliharaan host GPU.

Membuat instance A3 High atau A2 Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Sebelum memulai

Console

gcloud

REST

Peran yang diperlukan

Izin yang diperlukan

Buat VM yang telah memasang GPU

Konsol

gcloud

REST

Menginstal driver

Contoh

Buat VM Spot A3 menggunakan kelompok image OS Debian 13

Membuat VM A2 dengan instance notebook yang dikelola pengguna Vertex AI Workbench di VM

GPU Multi-Instance

Apa langkah selanjutnya?

Membuat instance A3 High atau A2