Dokumen ini menjelaskan fitur dan batasan instance virtual machine (VM) GPU yang berjalan di Compute Engine.
Untuk mempercepat workload tertentu di Compute Engine, Anda dapat men-deploy instance yang dioptimalkan untuk akselerator dengan GPU terpasang, atau memasang GPU ke instance tujuan umum N1. Compute Engine menyediakan GPU untuk instance Anda dalam mode passthrough. Mode teruskan memberikan kontrol langsung atas GPU dan memorinya kepada instance Anda.
Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur yang dialokasikan secara padat dan dioptimalkan untuk performa yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm.
Jenis mesin yang didukung
Compute Engine menawarkan berbagai jenis mesin untuk mendukung berbagai workload Anda.
Beberapa jenis mesin mendukung NVIDIA RTX Virtual Workstations (vWS). Saat Anda membuat instance yang menggunakan NVIDIA RTX Virtual Workstation, Compute Engine akan otomatis menambahkan lisensi vWS. Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.
| Jenis mesin GPU | |||
|---|---|---|---|
| Workload AI dan ML | Grafik dan visualisasi | Workload GPU lainnya | |
|
Jenis mesin seri A yang dioptimalkan untuk akselerator dirancang untuk workload komputasi berperforma tinggi (HPC), kecerdasan buatan (AI), dan machine learning (ML).
Seri A generasi yang lebih baru ideal untuk pra-pelatihan dan penyesuaian model dasar yang melibatkan cluster akselerator besar, sementara seri A2 dapat digunakan untuk melatih model yang lebih kecil dan inferensi host tunggal. Untuk jenis mesin ini, model GPU otomatis terpasang ke instance. |
Jenis mesin seri G yang dioptimalkan akselerator dirancang untuk beban kerja seperti beban kerja simulasi NVIDIA Omniverse, aplikasi yang intensif grafis, transcoding video, dan desktop virtual. Jenis mesin ini mendukung
NVIDIA RTX Virtual Workstations (vWS).
Seri G juga dapat digunakan untuk melatih model yang lebih kecil dan untuk inferensi host tunggal. Untuk jenis mesin ini, model GPU otomatis terpasang ke instance. |
Untuk jenis mesin tujuan umum N1, kecuali inti bersama N1
( |
|
|
Model GPU berikut dapat dipasang ke jenis mesin tujuan umum N1:
|
||
GPU di Spot VM
Anda dapat menambahkan GPU ke Spot VM dengan harga spot yang lebih rendah untuk GPU tersebut. GPU yang terpasang ke Spot VM berfungsi seperti GPU normal, tetapi hanya bertahan selama masa pakai VM. Spot VM dengan GPU mengikuti proses preemption yang sama seperti semua VM Spot.
Sebaiknya minta kuota Preemptible GPU khusus untuk digunakan dengan GPU di Spot VM. Untuk mengetahui informasi lebih lanjut, baca Kuota untuk Spot VM.
Selama peristiwa pemeliharaan, Spot VM dengan GPU di-preempt secara default dan tidak dapat dimulai ulang secara otomatis. Jika Anda ingin membuat ulang VM setelah di-preempt, gunakan grup instance terkelola. Grup instance terkelola akan membuat ulang instance VM Anda jika resource vCPU, memori, dan GPU tersedia.
Jika Anda ingin diberi tahu sebelum VM di-preempt, atau ingin mengonfigurasi VM agar otomatis dimulai ulang setelah peristiwa pemeliharaan, gunakan VM standar dengan GPU. Untuk VM standar dengan GPU, Compute Engine memberikan pemberitahuan awal satu jam sebelum preemption.
Compute Engine tidak mengenakan biaya untuk GPU jika VM-nya di-preempt dalam menit pertama setelah mulai berjalan.
Untuk mempelajari cara membuat Spot VM dengan GPU terpasang, baca Membuat VM dengan GPU yang terpasang dan Membuat Spot VM. Misalnya, lihat Membuat instance A3 Ultra atau A4 menggunakan Spot VM.
GPU pada instance dengan waktu proses yang telah ditentukan sebelumnya
Instance yang menggunakan model penyediaan standar biasanya tidak dapat menggunakan kuota alokasi preemptible. Kuota yang dapat diakhiri ditujukan untuk workload sementara dan biasanya lebih tersedia. Jika project Anda tidak memiliki kuota preemptible, dan Anda tidak pernah memintanya, semua instance di project Anda akan menggunakan kuota alokasi standar.
Jika Anda meminta kuota alokasi preemptible, instance yang menggunakan model penyediaan standar harus memenuhi semua kriteria berikut untuk menggunakan kuota alokasi preemptible:
- Instance memiliki GPU yang terpasang.
- Instance dikonfigurasi untuk dihapus secara otomatis setelah waktu berjalan yang telah ditentukan sebelumnya
melalui kolom
maxRunDurationatauterminationTime. Untuk mengetahui informasi selengkapnya, lihat referensi berikut: - Instance tidak diizinkan untuk menggunakan reservasi. Untuk mengetahui informasi selengkapnya, lihat Mencegah instance komputasi menggunakan pemesanan.
Saat menggunakan alokasi yang dapat diakhiri untuk beban kerja GPU yang terikat waktu, Anda dapat memperoleh manfaat dari waktu berjalan tanpa gangguan dan ketersediaan kuota alokasi yang dapat diakhiri yang tinggi. Untuk mengetahui informasi selengkapnya, lihat Kuota preemptible.
GPU dan Confidential VM
Anda dapat menggunakan GPU dengan instance Confidential VM yang menggunakan Intel TDX pada seri mesin A3. Untuk mengetahui informasi selengkapnya, lihat konfigurasi yang didukung Confidential VM. Untuk mempelajari cara membuat instance Confidential VM dengan GPU, lihat Membuat instance Confidential VM dengan GPU.
GPU dan block storage
Saat membuat instance menggunakan jenis mesin GPU, Anda dapat menambahkan penyimpanan blok persisten atau sementara ke instance. Untuk menyimpan data non-transien, gunakan penyimpanan blok persisten seperti Hyperdisk atau Persistent Disk karena disk ini tidak bergantung pada siklus proses instance. Data di penyimpanan persisten dapat dipertahankan meskipun Anda menghapus instance.
Untuk penyimpanan atau cache scratch sementara, gunakan penyimpanan blok sementara dengan menambahkan disk SSD Lokal saat Anda membuat instance.
Penyimpanan blok persisten dengan volume Persistent Disk dan Hyperdisk
Anda dapat memasang Persistent Disk dan memilih volume Hyperdisk ke instance yang mendukung GPU.
Untuk beban kerja machine learning (ML) dan penayangan, gunakan volume Hyperdisk ML yang menawarkan throughput tinggi dan waktu pemuatan data yang lebih singkat. Hyperdisk ML adalah opsi yang lebih hemat biaya untuk beban kerja ML karena menawarkan waktu tunggu GPU yang lebih rendah.
Volume Hyperdisk ML menyediakan dukungan multi-lampiran hanya baca, sehingga Anda dapat melampirkan disk yang sama ke beberapa instance, yang memberikan akses ke data yang sama untuk setiap instance.
Untuk mengetahui informasi selengkapnya tentang jenis disk yang didukung untuk seri mesin yang mendukung GPU, lihat halaman seri mesin N1 dan yang dioptimalkan untuk akselerator.
Disk SSD lokal
Disk SSD lokal menyediakan penyimpanan sementara yang cepat untuk caching, pemrosesan data, atau data sementara lainnya. Disk SSD lokal menyediakan penyimpanan cepat karena terpasang secara fisik ke server yang menghosting instance Anda. Disk SSD lokal menyediakan penyimpanan sementara karena instance akan kehilangan data jika dimulai ulang.
Hindari menyimpan data dengan persyaratan persistensi yang kuat di disk SSD Lokal. Untuk menyimpan data non-transien, gunakan penyimpanan persisten.
Jika Anda menghentikan instance dengan GPU secara manual, Anda dapat mempertahankan data SSD Lokal, dengan batasan tertentu. Lihat Dokumentasi SSD lokal untuk mengetahui detail selengkapnya.
Untuk dukungan regional SSD Lokal dengan jenis GPU, lihat Ketersediaan SSD lokal menurut region dan zona GPU.
Pemeliharaan GPU dan host
Compute Engine selalu menghentikan instance dengan GPU terpasang saat melakukan peristiwa pemeliharaan di server host. Jika instance memiliki disk SSD Lokal yang terpasang, instance akan kehilangan data SSD Lokal setelah berhenti.
Untuk informasi tentang cara menangani peristiwa pemeliharaan, lihat Menangani peristiwa pemeliharaan host GPU.
Mencadangkan kapasitas GPU
Pemesanan memberikan jaminan kapasitas yang tinggi untuk resource spesifik per zona, termasuk GPU. Anda dapat menggunakan reservasi untuk memastikan bahwa Anda memiliki GPU yang tersedia saat Anda perlu menggunakannya untuk aplikasi yang membutuhkan performa tinggi. Untuk mengetahui berbagai metode dalam mencadangkan resource khusus zona di Compute Engine, lihat Memilih jenis reservasi.
Reservasi juga diperlukan jika Anda ingin menerima diskon penggunaan berkelanjutan (CUD) untuk GPU.
Penentuan harga GPU
Jika Anda meminta Compute Engine untuk menyediakan GPU menggunakan model penyediaan spot, flex-start, atau terikat reservasi, Anda akan mendapatkan GPU dengan harga diskon, bergantung pada jenis GPU. Anda juga dapat menerima diskon abonemen atau diskon untuk penggunaan berkelanjutan (hanya dengan VM N1) untuk penggunaan GPU Anda.
Untuk mengetahui harga per jam dan bulanan untuk GPU, lihat halaman harga GPU.
Diskon abonemen untuk GPU
Komitmen berbasis resource memberikan diskon besar untuk resource Compute Engine sebagai imbalan atas komitmen untuk menggunakan resource di region tertentu selama minimal satu tahun. Biasanya, Anda membeli komitmen untuk resource seperti vCPU, memori, GPU, dan disk SSD Lokal untuk digunakan dengan seri mesin tertentu. Saat menggunakan resource, Anda akan menerima penggunaan resource yang memenuhi syarat dengan harga diskon. Untuk mempelajari lebih lanjut diskon ini, lihat Diskon abonemen berbasis resource.
Untuk membeli komitmen dengan GPU, Anda juga harus memesan GPU dan melampirkan pemesanan ke komitmen Anda. Untuk mengetahui informasi selengkapnya tentang cara melampirkan reservasi ke komitmen, lihat Melampirkan reservasi ke komitmen berbasis resource.
Diskon untuk penggunaan berkelanjutan untuk GPU
Instance yang menggunakan jenis mesin N1 dengan GPU terpasang akan menerima diskon untuk penggunaan berkelanjutan (SUD), yang mirip dengan vCPU. Saat Anda memilih GPU untuk workstation virtual, Compute Engine akan otomatis menambahkan lisensi NVIDIA RTX Virtual Workstation ke instance Anda.
Pembatasan dan batasan GPU
Untuk instance dengan GPU yang terpasang, pembatasan dan batasan berikut berlaku:
Hanya jenis mesin N1 tujuan umum dan yang dioptimalkan akselerator (A4X, A4, A3, A2, G4, dan G2) yang mendukung GPU.
Untuk melindungi sistem dan pengguna Compute Engine, project baru memiliki kuota GPU global yang membatasi jumlah total GPU yang dapat Anda buat di zona mana pun yang didukung. Saat meminta kuota GPU, Anda harus meminta kuota untuk model GPU yang ingin dibuat di setiap region, dan kuota global tambahan untuk jumlah total semua jenis GPU di semua zona.
Instance dengan satu atau beberapa GPU memiliki jumlah vCPU maksimum untuk setiap GPU yang Anda tambahkan ke instance. Informasi tentang rentang vCPU dan memori yang tersedia untuk berbagai konfigurasi GPU tersedia di daftar GPU.
GPU memerlukan driver perangkat agar berfungsi dengan baik. GPU NVIDIA yang berjalan di Compute Engine harus menggunakan versi driver minimum. Untuk informasi selengkapnya tentang versi driver, lihat Versi driver NVIDIA yang diperlukan.
SLA Compute Engine mencakup instance dengan model GPU terpasang hanya jika model GPU terpasang tersebut tersedia secara umum.
Untuk region yang memiliki beberapa zona, SLA Compute Engine mencakup instance hanya jika model GPU tersedia di lebih dari satu zona dalam region tersebut. Untuk mengetahui model GPU menurut region, lihat Region dan zona GPU.
Compute Engine mendukung satu pengguna serentak per GPU.
Lihat juga batasan untuk setiap jenis mesin dengan GPU terpasang.
Apa langkah selanjutnya?
- Pelajari cara membuat instance dengan GPU terpasang.
- Pelajari cara menambahkan atau menghapus GPU.
- Pelajari cara membuat instance Confidential VM dengan GPU terpasang.