Ringkasan GPU umum

GPU umum dioptimalkan untuk workload kecerdasan buatan (AI) dan machine learning (ML) yang memprioritaskan fleksibilitas operasional, independensi resource, dan efektivitas biaya.

GPU umum memungkinkan tim men-deploy dan menskalakan akselerator NVIDIA dengan otonomi operasional penuh, sehingga mengabaikan kompleksitas arsitektur cluster superkomputer yang terkoordinasi. Layanan ini ideal untuk workload yang memprioritaskan ketersediaan tinggi, penyediaan layanan mandiri, dan penskalaan independen. Kasus penggunaan umum mencakup inferensi real-time, RAG, pembuatan prototipe, dan pelatihan model kecil hingga menengah.

Karakteristik utama GPU Umum

  • Fleksibilitas operasional: Anda dapat mengelola resource menggunakan antarmuka GKE (Autopilot dan Standard) dan Compute Engine standar untuk menyederhanakan deployment dan penskalaan.
  • Ketersediaan tinggi: Google Cloud mengupdate setiap instance secara independen untuk membantu memastikan update pada satu node tidak memengaruhi ketersediaan node lain, sehingga load balancer Anda dapat mengalihkan traffic tanpa menghentikan fleet penyaluran.
  • Kemudahan jaringan: workload Anda menggunakan layanan Virtual Private Cloud (VPC) standar dan TCP/IP standar melalui antarmuka Google Virtual NIC (gVNIC) untuk menghilangkan fabric tingkat hardware yang kompleks.
  • Pengoptimalan biaya: Anda dapat menggunakan Spot VM untuk riset fault-tolerant guna mencapai penghematan biaya hingga 90% dibandingkan dengan tarif on-demand standar.
  • Akuisisi layanan mandiri: Anda dapat memperoleh kapasitas secara langsung melalui pemesanan standar dan permintaan on-demand tanpa memerlukan alur kerja yang dikelola tim akun.

Kelompok GPU umum dan spesifikasi teknis

Tinjau workload dan spesifikasi hardware untuk seri mesin GPU Umum. Untuk inferensi dengan throughput tinggi, gunakan seri A3 Edge.

Seri A3 (High dengan 1, 2, atau 4 GPU dan Edge)

A3 High (1, 2, atau 4 GPU)

Jika Anda menjalankan workload inferensi atau pelatihan standar yang memerlukan performa tinggi, tetapi tidak memerlukan cluster tersinkronisasi 8 GPU penuh, gunakan seri mesin A3 High dengan 1, 2, atau 4 GPU terpasang.

Jenis mesin A3 High memiliki GPU NVIDIA H100 SXM dan sangat cocok untuk inferensi model besar dan penyesuaian model. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A3 High.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA H100 Memori GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1.500 1 50 2 160
a3-highgpu-4g 104 936 3.000 1 100 4 320
a3-highgpu-8g 208 1.872 6.000 5 1.000 8 640

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

A3 Edge

Jika Anda menjalankan workload inferensi terdistribusi dengan throughput tinggi di beberapa host tanpa fabric cluster yang terkoordinasi, gunakan seri A3 Edge untuk menyederhanakan deployment melalui virtual private network standar.

Jenis mesin A3 Edge memiliki GPU NVIDIA H100 SXM dan dirancang khusus untuk inferensi serta tersedia di beberapa region terbatas. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A3 Edge.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA H100 Memori GPU (GB HBM3)
a3-edgegpu-8g 208 1.872 6.000 5 600 (asia-south1 dan northamerica-northeast2) atau 400 (semua region A3 Edge lainnya) 8 640

Seri A2 (Standard dan Ultra)

Jika Anda perlu melakukan penyajian model node tunggal berperforma tinggi atau penyesuaian model skala kecil, gunakan seri mesin A2 untuk mengakses resource GPU NVIDIA A100 khusus.

A2 Ultra

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA A100 80 GB Memori GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1.500 50 4 320
a2-ultragpu-8g 96 1.360 3.000 100 8 640

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

A2 Standard

Jenis mesin Jumlah vCPU Memori instance (GB) SSD lokal didukung Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA A100 40 GB Memori GPU (GB HBM2)
a2-highgpu-1g 12 85 Ya 24 1 40
a2-highgpu-2g 24 170 Ya 32 2 80
a2-highgpu-4g 48 340 Ya 50 4 160
a2-highgpu-8g 96 680 Ya 100 8 320
a2-megagpu-16g 96 1.360 Ya 100 16 640

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Seri G4

Jika tim Anda memerlukan workload inferensi tingkat pemula atau rendering grafis standar yang hemat biaya, gunakan seri mesin G4 yang dilengkapi GPU NVIDIA RTX PRO 6000.

Jenis mesin G4 menggunakan GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) dan cocok untuk workload simulasi NVIDIA Omniverse, aplikasi yang intensif secara grafis, transcoding video, dan desktop virtual. Jenis mesin G4 juga memberikan solusi berbiaya rendah untuk melakukan inferensi host tunggal dan penyesuaian model dibandingkan dengan jenis mesin seri A.

Anda juga dapat menambahkan disk Titanium SSD saat membuat instance G4. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal. Untuk mengetahui informasi tentang batasan jenis mesin, lihat batasan G4.

Jenis mesin Jumlah vCPU Memori instance (GB) Titanium SSD maksimum yang didukung (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA RTX PRO 6000 Memori GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1.500 1 50 1 96
g4-standard-96 96 360 3.000 1 100 2 192
g4-standard-192 192 720 6.000 1 200 4 384
g4-standard-384 384 1.440 12.000 2 400 8 768

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang dipercepat, seperti workload machine learning dan workload yang membutuhkan banyak grafis.

Seri G2

Jika Anda men-deploy aplikasi inferensi real-time mainstream atau pipeline Retrieval-Augmented Generation (RAG), gunakan rangkaian mesin G2 untuk menyeimbangkan performa dan efisiensi biaya dengan GPU NVIDIA L4.

Jenis mesin Jumlah vCPU Memori instance default (GB) Rentang memori instance kustom (GB) SSD Lokal maksimum yang didukung (GiB) Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA L4 Memori GPU (GB GDDR6)
g2-standard-4 4 16 16 hingga 32 375 10 1 24
g2-standard-8 8 32 32 hingga 54 375 16 1 24
g2-standard-12 12 48 48 hingga 54 375 16 1 24
g2-standard-16 16 64 54 hingga 64 375 32 1 24
g2-standard-24 24 96 96 hingga 108 750 32 2 48
g2-standard-32 32 128 96 hingga 128 375 32 1 24
g2-standard-48 48 192 192 hingga 216 1.500 50 4 96
g2-standard-96 96 384 384 hingga 432 3.000 100 8 192

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Seri N1 (NVIDIA T4 atau V100)

Jika prioritas Anda adalah eksperimen yang sensitif terhadap biaya atau menjalankan inferensi tingkat pemula dengan konkurensi rendah, gunakan seri mesin N1 untuk memasang GPU NVIDIA T4 atau V100.

NVIDIA T4

Jenis akselerator Jumlah GPU NVIDIA T4 Memori GPU (GB GDDR6) Jumlah vCPU Memori instance (GB) SSD lokal didukung
nvidia-tesla-t4 atau nvidia-tesla-t4-vws 1 16 1 hingga 48 1 hingga 312 Ya
nvidia-tesla-t4 atau nvidia-tesla-t4-vws 2 32 1 hingga 48 1 hingga 312 Ya
nvidia-tesla-t4 atau nvidia-tesla-t4-vws 4 64 1 hingga 96 1 hingga 624 Ya

NVIDIA V100

Jenis akselerator Jumlah GPU NVIDIA V100 Memori GPU (GB HBM2) Jumlah vCPU Memori instance (GB) SSD lokal didukung
nvidia-tesla-v100 1 16 1 hingga 12 1 hingga 78 Ya (kecuali us-east1-c)
nvidia-tesla-v100 2 32 1 hingga 24 1 hingga 156 Ya (kecuali us-east1-c)
nvidia-tesla-v100 4 64 1 hingga 48 1 hingga 312 Ya (kecuali us-east1-c)
nvidia-tesla-v100 8 128 1 hingga 96 1 hingga 624 Ya (kecuali us-east1-c)

Akuisisi kapasitas

Akselerator GPU umum menggunakan penyediaan standar mandiri. Anda dapat memperoleh kapasitas melalui pemesanan standar, permintaan on-demand, atau Spot VM. Karena kapasitas on-demand dapat mengalami kehabisan stok, gunakan Spot VM atau Flex-start jika memungkinkan.

Langkah berikutnya