Membuat instance G2 atau G4

Dokumen ini menjelaskan cara membuat instance virtual machine (VM) yang menggunakan jenis mesin dari seri mesin G2 atau G4. Jenis mesin yang dioptimalkan akselerator seri G ini cocok untuk menjalankan aplikasi yang membutuhkan grafis intensif dan inferensi machine learning (ML) yang hemat biaya.

Anda dapat membuat VM ini sebagai VM on-demand. Untuk menurunkan biaya, Anda juga dapat membuat Spot VM G2 dan G4, atau membuat VM G2 dengan mulai fleksibel. Untuk mempelajari lebih lanjut cara membuat VM dengan GPU yang terpasang, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.

Untuk workload yang tidak memerlukan resource GPU penuh, guna mengoptimalkan biaya, Anda dapat membuat VM yang memiliki GPU fraksional (vGPU) yang terpasang (Pratinjau) agar beberapa workload dapat mengakses satu GPU fisik.

Untuk membuat beberapa VM G2 atau G4, Anda dapat menggunakan salah satu opsi berikut:

Sebelum memulai

  • Untuk meninjau batasan dan langkah-langkah prasyarat tambahan untuk membuat instance dengan GPU yang terpasang, seperti memilih image OS dan memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
  • Untuk membuat instance G4 yang memiliki kurang dari satu GPU yang terpasang (GPU fraksional) (Pratinjau), Anda harus menggunakan project Google Cloud yang telah ditambahkan ke daftar yang diizinkan untuk pratinjau. Setelah menerima konfirmasi bahwa project Google Cloud Anda telah ditambahkan ke daftar yang diizinkan untuk pratinjau, Anda dapat membuat instance G4 dengan GPU fraksional (vGPU).
  • Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Google Cloud dan API. Untuk menjalankan kode atau sampel dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

    Konsol

    Saat menggunakan konsol Google Cloud untuk mengakses layanan Google Cloud dan API, Anda tidak perlu menyiapkan autentikasi.

    gcloud

    1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  • Tetapkan region dan zona default.

    • REST

    Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

      Instal Google Cloud CLI.

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat VM, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat VM. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat VM:

  • compute.instances.create di project
  • Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
  • Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly pada snapshot
  • Untuk menggunakan template instance guna membuat VM: compute.instanceTemplates.useReadOnly pada template instance
  • Untuk menentukan subnet bagi VM Anda: compute.subnetworks.use di project atau di subnet yang dipilih
  • Untuk menentukan alamat IP statis untuk VM: compute.addresses.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp di project atau di subnet yang dipilih
  • Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp di project
  • Untuk menetapkan metadata instance VM bagi VM: compute.instances.setMetadata di project
  • Untuk menyetel tag untuk VM: compute.instances.setTags di VM
  • Untuk menetapkan label bagi VM: compute.instances.setLabels di VM
  • Untuk menetapkan akun layanan yang akan digunakan VM: compute.instances.setServiceAccount di VM
  • Untuk membuat disk baru untuk VM: compute.disks.create pada project
  • Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
  • Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Buat instance yang telah memasang GPU

Anda dapat membuat instance yang dioptimalkan untuk akselerator G2 atau G4 menggunakan Google Cloud konsol, Google Cloud CLI, atau REST.

Konsol

  1. Di konsol Google Cloud , buka halaman Create an instance.

    Buka halaman Buat instance

  2. Di kolom Name, masukkan nama unik untuk instance Anda. Lihat Konvensi penamaan resource.

  3. Pilih region dan zona tempat jenis mesin GPU ini tersedia. Lihat region dan zona GPU.

  4. Di bagian jenis mesin, pilih GPU.

    1. Dalam daftar GPU type, pilih jenis GPU.

      • Untuk instance G2, pilih NVIDIA L4
      • Untuk instance G4, pilih NVIDIA RTX PRO 6000

    2. Dalam daftar Number of GPU, pilih jumlah GPU.

      • Untuk instance G4, konsol akan otomatis memilih jenis mesin yang sesuai berdasarkan jumlah GPU yang dipilih.

      • Untuk instance G2, tinjau hal berikut:

        • Jika memilih satu GPU, Anda dapat memilih dari serangkaian jenis mesin dengan jumlah vCPU dan memori yang telah ditetapkan yang sesuai dengan beban kerja Anda.
        • Jika Anda memilih dua GPU atau lebih, konsol akan otomatis memilih jenis mesin yang sesuai berdasarkan jumlah GPU yang dipilih.

        Untuk instance G2, Anda juga dapat menentukan jenis mesin kustom. Untuk menentukan jumlah vCPU dan memori bagi instance, tarik penggeser atau masukkan nilai di kotak teks. Konsol menampilkan perkiraan biaya untuk instance saat Anda mengubah jumlah vCPU dan memori.

    3. Opsional: Seri mesin G2 dan G4 mendukung NVIDIA RTX Virtual Workstations (vWS) untuk beban kerja grafis. Jika Anda berencana menjalankan workload yang intensif grafis di instance Anda, pilih Aktifkan Workstation Virtual (NVIDIA GRID).

  5. Konfigurasi boot disk sebagai berikut:

    1. Di bagian OS and storage, klik Change. Tindakan ini akan membuka halaman Boot disk configuration.

    2. Di halaman Boot disk configuration, lakukan langkah berikut:

      1. Pada tab Public image, pilih image Compute Engine yang didukung atau Deep Learning VM Image.
      2. Tentukan ukuran boot disk minimal 40 GiB.
      3. Untuk mengonfirmasi opsi boot disk, klik Select.

  6. Opsional: Tambahkan SSD Lokal. SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk menambahkan SSD Lokal ke instance Anda, selesaikan langkah-langkah berikut:

    1. Di bagian OS and storage, klik Add local SSD.
    2. Untuk Interface, pilih NVMe.
    3. Di Kapasitas disk, pilih jumlah SSD Lokal yang ingin Anda pasang. Untuk mengetahui jumlah maksimum disk SSD Lokal per instance, lihat batas seri mesin untuk SSD Lokal.

  7. Opsional: Untuk mencapai bandwidth jaringan yang lebih tinggi untuk instance g4-standard-384, konfigurasikan beberapa antarmuka jaringan. Anda dapat mengonfigurasi hingga dua antarmuka jaringan. Konfigurasi ini membuat instance g4-standard-384 dengan antarmuka jaringan ganda (2x 200 Gbps). Di bagian Networking, selesaikan langkah-langkah berikut:

    1. Luaskan antarmuka jaringan default.
    2. Tentukan Network dan Subnetwork untuk antarmuka pertama Anda.
    3. Untuk Network interface card, pilih gVNIC.

    4. Klik Add network interface untuk menambahkan antarmuka kedua. Konfigurasi antarmuka jaringan kedua sebagai berikut:

      1. Pilih Jaringan dan Subnetwork VPC yang berbeda. Setiap antarmuka jaringan harus berada di jaringan VPC yang unik.
      2. Untuk Network interface card, pilih gVNIC.

  8. Opsional: Konfigurasi model penyediaan yang berbeda untuk menurunkan biaya Anda. Di bagian Advanced options, di bagian VM provisioning model, pilih salah satu opsi berikut:

    • (Khusus G2) Flex-start: untuk beban kerja berdurasi singkat yang dapat mentoleransi waktu mulai yang fleksibel. Untuk mengetahui informasi selengkapnya, lihat Tentang VM mulai fleksibel.

    • Spot: untuk workload fault-tolerant yang dapat di-preempt. Untuk mengetahui informasi selengkapnya, lihat Spot VM.

  9. Opsional: Dalam daftar Saat penghentian VM, pilih apa yang terjadi saat Compute Engine melakukan preempt terhadap Spot VM atau VM mulai fleksibel mencapai akhir durasi jalannya:

    • Untuk menghentikan VM selama preemption, pilih Hentikan (default).
    • Untuk menghapus VM selama preemption, pilih Hapus.

  10. Untuk membuat dan memulai VM, klik Create.

gcloud

Untuk membuat dan memulai instance, gunakan perintah gcloud compute instances create. Perintah berikut menyertakan flag yang diperlukan.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      --restart-on-failure

Ganti kode berikut:

  • VM_NAME: nama untuk instance baru.

  • MACHINE_TYPE : jenis mesin yang Anda pilih. Pilih salah satu opsi berikut:

    • Jenis mesin G4.
    • Jenis mesin G2. Jenis mesin G2 juga mendukung memori kustom. Memori harus kelipatan dari 1024 MB dan dalam rentang memori yang didukung. Misalnya, untuk membuat instance dengan 4 vCPU dan memori 19 GB, tentukan --machine-type=g2-custom-4-19456.
  • ZONE: zona untuk instance. Zona harus mendukung model GPU yang Anda pilih.
  • DISK_SIZE: ukuran boot disk dalam GiB. Tentukan ukuran boot disk minimal 40 GiB.
  • IMAGE: image sistem operasi yang mendukung GPU. Untuk menggunakan image terbaru dalam kelompok image, ganti tanda --image dengan tanda --image-family dan tetapkan nilainya ke kelompok image yang mendukung GPU. Misalnya: --image-family=rocky-linux-8-optimized-gcp.
    Anda juga dapat menentukan image kustom atau Deep Learning VM Image.
  • IMAGE_PROJECT: project image Compute Engine yang mencakup image OS tersebut. Jika menggunakan image kustom atau Deep Learning VM Image, tentukan project tempat image tersebut berada.

Flag opsional

Untuk mengonfigurasi lebih lanjut instance agar sesuai dengan kebutuhan workload atau sistem operasi Anda, sertakan satu atau beberapa flag berikut saat Anda menjalankan perintah gcloud compute instances create.

Fitur Deskripsi
Model penyediaan Menetapkan model penyediaan untuk instance. Anda dapat menentukan STANDARD, SPOT, atau FLEX_START. Jika Anda menentukan FLEX_START, Anda harus menentukan flag tambahan dalam perintah untuk membuat instance. Jika Anda tidak menentukan model penyediaan, maka Compute Engine akan menetapkan nilai ke STANDARD. Untuk mengetahui informasi selengkapnya, lihat Model penyediaan instance Compute Engine. 
--provisioning-model=PROVISIONING_MODEL
Workstation virtual Menentukan NVIDIA RTX Virtual Workstations (vWs) untuk beban kerja grafis. 
--accelerator=type=VWS_ACCELERATOR_TYPE,count=VWS_ACCELERATOR_COUNT

Ganti kode berikut:

  • Untuk VWS_ACCELERATOR_TYPE, pilih salah satu opsi berikut:
    • Untuk instance G4, tentukan nvidia-rtx-pro-6000-vws
    • Untuk instance G2, tentukan nvidia-l4-vws
  • Untuk VWS_ACCELERATOR_COUNT, tentukan jumlah GPU virtual yang Anda butuhkan.
SSD Lokal Memasang satu atau beberapa SSD Lokal ke instance Anda. SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. 
    --local-ssd=interface=nvme \
    --local-ssd=interface=nvme \
    --local-ssd=interface=nvme ...
 Untuk mengetahui jumlah maksimum disk SSD Lokal yang dapat Anda pasang per instance VM, lihat Batas SSD Lokal.
Antarmuka jaringan Melampirkan beberapa antarmuka jaringan ke instance Anda. Untuk instance g4-standard-384, Anda dapat melampirkan hingga dua antarmuka jaringan. Anda dapat menggunakan flag ini untuk membuat instance dengan antarmuka jaringan ganda (2x 200 Gbps). Setiap antarmuka jaringan harus berada di jaringan VPC yang unik. 
   --network-interface=network=VPC_NAME_1,subnet=SUBNET_NAME_1,nic-type=GVNIC \
   --network-interface=network=VPC_NAME_2,subnet=SUBNET_NAME_2,nic-type=GVNIC

Antarmuka jaringan ganda hanya didukung di jenis mesin g4-standard-384.

Ganti kode berikut:

  • VPC_NAME: nama jaringan VPC Anda.
  • SUBNET_NAME: nama subnet yang merupakan bagian dari jaringan VPC yang ditentukan.
Kebijakan penempatan Mengontrol penempatan instance Anda dalam suatu zona. Anda dapat menentukan kebijakan ringkas untuk meminimalkan latensi jaringan di seluruh instance G2, atau kebijakan penyebaran untuk meningkatkan ketahanan instance G4 atau G2 terhadap gangguan khusus zona. 
   --resource-policies=POLICY_NAME

Ganti POLICY_NAME dengan nama kebijakan penempatan Anda. Anda hanya dapat membuat instance di region yang sama dengan kebijakan.

REST

Kirim permintaan POST ke metode instances.insert. Karena instance dengan GPU tidak dapat melakukan migrasi langsung, tetapkan kolom onHostMaintenance ke TERMINATE. Metode berikut menyertakan kolom yang diperlukan untuk isi permintaan.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
   "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
   "disks":[
      {
         "type":"projects/PROJECT_ID/zones/ZONE/diskTypes/hyperdisk-balanced",
         "initializeParams":{
            "diskSizeGb":"DISK_SIZE",
            "sourceImage":"SOURCE_IMAGE_URI"
         },
         "boot":true
      }
   ],
   "name":"VM_NAME",
   "networkInterfaces":[
      {
         "network":"projects/PROJECT_ID/global/networks/default"
      }
   ],
   "scheduling":{
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": true
   }
}

Ganti kode berikut:

  • VM_NAME: nama untuk instance baru.
  • PROJECT_ID: ID project Anda.
  • ZONE: zona untuk instance. Zona ini harus mendukung model GPU yang Anda pilih.
  • MACHINE_TYPE : jenis mesin yang Anda pilih. Pilih salah satu opsi berikut:
    • Jenis mesin G4.
    • Jenis mesin G2. Jenis mesin G2 juga mendukung memori kustom. Memori harus kelipatan dari 1024 MB dan dalam rentang memori yang didukung. Misalnya, nama jenis mesin untuk instance dengan 4 vCPU dan memori 19 GB adalah g2-custom-4-19456.
  • SOURCE_IMAGE_URI: URI untuk kelompok image atau image tertentu yang ingin Anda gunakan. Contoh:
    • Gambar spesifik: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
    • Kelompok image: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
    Saat Anda menentukan kelompok image, Compute Engine akan membuat instance dari image OS terbaru yang masih digunakan dalam kelompok tersebut. Untuk mengetahui informasi selengkapnya tentang kapan harus menggunakan kelompok image, lihat Praktik terbaik kelompok image.
  • DISK_SIZE: ukuran boot disk dalam GiB. Tentukan ukuran boot disk minimal 40 GiB.

Kolom opsional

Untuk mengonfigurasi lebih lanjut instance agar sesuai dengan kebutuhan workload atau sistem operasi Anda, sertakan satu atau beberapa flag berikut saat Anda menjalankan metode instances.insert.

Fitur Deskripsi
Model penyediaan Untuk menurunkan biaya, Anda dapat menentukan model penyediaan yang berbeda dengan menambahkan kolom "provisioningModel": "PROVISIONING_MODEL" ke objek scheduling dalam permintaan Anda. Untuk mengetahui informasi selengkapnya, lihat Model penyediaan instance Compute Engine. 
    "scheduling":
     {
       "onHostMaintenance": "TERMINATE",
       "provisioningModel": "PROVISIONING_MODEL"
     }

Ganti PROVISIONING_MODEL dengan salah satu dari yang berikut ini:

  • STANDARD: Instance standar. Ini adalah nilai defaultnya.
  • SPOT: Spot VM. Jika Anda membuat Spot VM, kolom onHostMaintenance dan automaticRestart akan diganti. Spot VM didiskon besar-besaran, tetapi Compute Engine dapat mem-preemptnya kapan saja untuk memulihkan kapasitas.
  • FLEX_START: VM Flex-start. VM mulai fleksibel berjalan hingga tujuh hari dan dapat membantu Anda mendapatkan resource yang sangat diminati seperti GPU dengan harga diskon. Jika Anda membuat VM Mulai fleksibel, Anda harus menentukan kolom tambahan dalam permintaan Anda. Untuk mengetahui informasi selengkapnya, lihat Membuat VM dengan mulai fleksibel.
Workstation virtual Menentukan NVIDIA RTX Virtual Workstations (vWS) untuk beban kerja grafis. 
   "guestAccelerators":
     [
       {
         "acceleratorCount": VWS_ACCELERATOR_COUNT,
         "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/VWS_ACCELERATOR_TYPE"
       }
     ]

Ganti kode berikut:

  • Untuk VWS_ACCELERATOR_TYPE, pilih salah satu opsi berikut:
    • Untuk instance G4, tentukan nvidia-rtx-pro-6000-vws
    • Untuk instance G2, tentukan nvidia-l4-vws
  • Untuk VWS_ACCELERATOR_COUNT, tentukan jumlah GPU virtual yang Anda butuhkan.
SSD Lokal Memasang satu atau beberapa SSD Lokal ke instance Anda. SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. 
   {
     "type": "SCRATCH",
     "autoDelete": true,
     "initializeParams": {
       "diskType": "projects/PROJECT_ID/zones/ZONE/diskTypes/local-nvme-ssd"
     }
   }
Untuk mengetahui jumlah maksimum disk SSD Lokal yang dapat Anda pasang per instance VM, lihat Batas SSD Lokal.
Antarmuka jaringan Melampirkan beberapa antarmuka jaringan ke instance Anda. Untuk instance g4-standard-384, Anda dapat melampirkan hingga dua antarmuka jaringan. Perintah ini akan membuat instance dengan antarmuka jaringan ganda (2x 200 Gbps). Setiap antarmuka jaringan harus berada di jaringan VPC yang unik. 
   "networkInterfaces":
   [
     {
       "network": "projects/PROJECT_ID/global/networks/VPC_NAME_1",
       "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME_1",
       "nicType": "GVNIC"
     },
     {
       "network": "projects/PROJECT_ID/global/networks/VPC_NAME_2",
       "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME_2",
       "nicType": "GVNIC"
     }
   ]

Antarmuka jaringan ganda hanya didukung di jenis mesin g4-standard-384.

Ganti kode berikut:

  • VPC_NAME_1 dan VPC_NAME_2: nama jaringan VPC Anda.
  • SUBNET_NAME: nama subnet yang merupakan bagian dari jaringan VPC yang ditentukan.
Kebijakan penempatan Mengontrol penempatan instance Anda dalam suatu zona. Anda dapat menentukan kebijakan ringkas untuk meminimalkan latensi jaringan di seluruh instance G2, atau kebijakan penyebaran untuk meningkatkan ketahanan instance G4 atau G2 terhadap gangguan khusus zona. 
   "resourcePolicies": [
     "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
   ]

Ganti kode berikut:

  • REGION: region tempat kebijakan penempatan Anda berada. Anda hanya dapat membuat instance di region yang sama dengan kebijakan.
  • POLICY_NAME: nama kebijakan penempatan Anda.

Menginstal driver

Setelah membuat instance, Anda harus menginstal driver agar instance dapat menggunakan GPU. Driver yang perlu Anda instal bergantung pada apakah Anda mengaktifkan NVIDIA RTX Virtual Workstation (vWS) untuk workload grafis saat Anda membuat instance.

Menginstal driver vGPU untuk GPU fraksional

Untuk instance G4 yang memiliki kurang dari satu GPU terpasang, setelah membuat instance, Anda harus menginstal driver vGPU tertentu di instance tersebut, yang terhubung ke driver host mesin fisik. Untuk mengetahui petunjuknya, lihat menginstal driver vGPU (VM fraksional).

(Opsional) Mode Multi-Instance GPU (khusus G4)

Mode Multi-Instance GPU (MIG) adalah fitur yang dapat Anda aktifkan di GPU NVIDIA yang didukung.

Setelah membuat instance G4, Anda dapat mengaktifkan mode GPU Multi-Instance (MIG) pada satu GPU NVIDIA RTX PRO 6000 yang terpasang ke mesin Anda. Dengan mengaktifkan mode MIG, GPU tunggal dipartisi menjadi hingga tujuh instance GPU independen. Setiap instance berjalan secara bersamaan, masing-masing dengan memori, cache, dan multiprosesor streaming sendiri. Kemudian, Anda dapat menjalankan berbagai workload pada instance GPU ini secara paralel. Hal ini berbeda dengan penggunaan jenis mesin G4 yang memiliki GPU fraksional terpasang, di mana beberapa workload berbagi akses ke satu GPU fisik melalui partisi fraksional (vGPU).

Untuk mengetahui informasi selengkapnya tentang penggunaan GPU Multi-Instance, lihat Mulai Menggunakan MIG dalam dokumentasi NVIDIA.

Apa langkah selanjutnya?