Dokumen ini menguraikan model GPU NVIDIA yang dapat Anda gunakan untuk mempercepat workload machine learning (ML), pemrosesan data, dan workload yang memerlukan banyak grafis di instance Compute Engine Anda. Dokumen ini juga menjelaskan GPU yang sudah terpasang ke seri mesin yang dioptimalkan akselerator seperti A4X Max, A4X, A4, A3, A2, G4, dan G2, serta GPU yang dapat Anda pasang ke instance N1 tujuan umum.
Gunakan dokumen ini untuk membandingkan performa, memori, dan fitur berbagai model GPU. Untuk ringkasan yang lebih mendetail tentang kelompok mesin yang dioptimalkan untuk akselerator, termasuk informasi tentang platform CPU, opsi penyimpanan, dan kemampuan jaringan, serta untuk menemukan jenis mesin tertentu yang sesuai dengan workload Anda, lihat Kelompok mesin yang dioptimalkan untuk akselerator.
Untuk mengetahui informasi selengkapnya tentang GPU di Compute Engine, lihat Tentang GPU.
Untuk melihat region dan zona yang tersedia untuk GPU di Compute Engine, lihat Ketersediaan zona dan region GPU.
Ringkasan
Compute Engine menawarkan berbagai jenis mesin untuk mendukung berbagai workload Anda.
Beberapa jenis mesin mendukung NVIDIA RTX Virtual Workstations (vWS). Saat Anda membuat instance yang menggunakan NVIDIA RTX Virtual Workstation, Compute Engine akan otomatis menambahkan lisensi vWS. Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.
| Jenis mesin GPU | |||
|---|---|---|---|
| Workload AI dan ML | Grafis dan visualisasi | Workload GPU lainnya | |
|
Jenis mesin seri A yang dioptimalkan untuk akselerator dirancang untuk workload komputasi berperforma tinggi (HPC), kecerdasan buatan (AI), dan machine learning (ML).
Seri A generasi terbaru ideal untuk prapelatihan dan penyesuaian model dasar yang melibatkan cluster akselerator besar, sedangkan seri A2 dapat digunakan untuk melatih model yang lebih kecil dan inferensi host tunggal. Untuk jenis mesin ini, model GPU otomatis dipasang ke instance. |
Jenis mesin seri G yang dioptimalkan akselerator dirancang untuk workload
seperti workload simulasi NVIDIA Omniverse, aplikasi yang intensif grafis,
transcoding video, dan desktop virtual. Jenis mesin ini mendukung
NVIDIA RTX Virtual Workstations (vWS).
Seri G juga dapat digunakan untuk melatih model yang lebih kecil dan untuk inferensi host tunggal. Untuk jenis mesin ini, model GPU otomatis dipasang ke instance. |
Untuk jenis mesin untuk tujuan umum N1, kecuali untuk N1 dengan inti bersama
( |
|
|
Model GPU berikut dapat dipasang ke jenis mesin untuk tujuan umum N1:
|
||
Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur dengan alokasi padat dan performa optimal, yang memiliki integrasi untuk scheduler Google Kubernetes Engine (GKE) dan Slurm.
Seri mesin A4X Max dan A4X
Seri mesin A4X Max dan A4X berjalan di platform exascale berdasarkan arsitektur skala rak NVIDIA dan dioptimalkan untuk pelatihan ML dan workload HPC yang intensif komputasi dan memori, serta terikat jaringan. A4X Max dan A4X berbeda terutama dalam komponen GPU dan jaringan. A4X Max hanya tersedia sebagai instance bare metal, yang memberikan akses langsung ke CPU dan memori server host, tanpa lapisan hypervisor Compute Engine.
Jenis mesin A4X Max (NVIDIA GB300)
Jenis mesin yang dioptimalkan akselerator A4X Max
menggunakan NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) dan
ideal untuk pelatihan dan inferensi model dasar. Jenis mesin A4X Max tersedia sebagai instance bare metal.
A4X Max adalah platform exascale yang didasarkan pada NVIDIA GB300 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B300 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4X Max dan A4X.
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA GB300 | Memori GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12.000 | 6 | 3.600 | 4 | 1.116 |
Catatan jenis mesin A4X Max
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Jenis mesin A4X (NVIDIA GB200)
Jenis mesin yang dioptimalkan akselerator A4X
menggunakan NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) dan
ideal untuk pelatihan dan inferensi model dasar.
A4X adalah platform exascale yang didasarkan pada NVIDIA GB200 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B200 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4X Max dan A4X.
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA GB200 | Memori GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2.000 | 4 | 744 |
Catatan jenis mesin A4X
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Seri mesin A4 (NVIDIA B200)
Jenis mesin yang dioptimalkan akselerator A4 memiliki GPU NVIDIA B200 Blackwell (nvidia-b200) yang terpasang dan ideal untuk pelatihan dan inferensi model dasar. Untuk mengetahui informasi tentang batasan jenis mesin, lihat
Batasan A4.
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA B200 Blackwell | Memori GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3.968 | 12.000 | 10 | 3.600 | 8 | 1.440 |
Catatan jenis mesin A4
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Seri mesin A3
Jenis mesin yang dioptimalkan akselerator A3 memiliki GPU NVIDIA H100 SXM atau NVIDIA H200 SXM yang terpasang.
Jenis mesin A3 Ultra (NVIDIA H200)
Jenis mesin A3 Ultra
memiliki GPU NVIDIA H200 SXM
(nvidia-h200-141gb) yang terpasang dan memberikan performa jaringan
tertinggi dalam seri A3. Jenis mesin A3 Ultra ideal untuk pelatihan dan inferensi model dasar. Untuk mengetahui informasi tentang batasan jenis mesin, lihat
Batasan A3 Ultra.
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA H200 | Memori GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2.952 | 12.000 | 10 | 3.600 | 8 | 1128 |
Catatan jenis mesin A3 Ultra
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Jenis mesin A3 Mega, High, dan Edge (NVIDIA H100)
Untuk menggunakan GPU NVIDIA H100 SXM, Anda memiliki opsi berikut:
- A3 Mega: jenis mesin ini memiliki GPU H100 SXM (
nvidia-h100-mega-80gb) dan ideal untuk workload pelatihan dan inferensi skala besar. - A3 High: jenis mesin ini memiliki GPU H100 SXM (
nvidia-h100-80gb) dan sangat cocok untuk tugas pelatihan dan inferensi. - A3 Edge: jenis mesin ini memiliki GPU H100 SXM (
nvidia-h100-80gb), dirancang khusus untuk inferensi, dan tersedia di beberapa region terbatas.
A3 Mega
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA H100 | Memori GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1.872 | 6.000 | 9 | 1.800 | 8 | 640 |
A3 High
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA H100 | Memori GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1.500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3.000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1.872 | 6.000 | 5 | 1.000 | 8 | 640 |
A3 Edge
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA H100 | Memori GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1.872 | 6.000 | 5 | 600 (asia-south1 dan northamerica-northeast2) atau 400 (semua region A3 Edge lainnya) |
8 | 640 |
Catatan jenis mesin A3 Mega, High, dan Edge
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Seri mesin A2 (NVIDIA A100)
Jenis mesin yang dioptimalkan akselerator A2 memiliki GPU NVIDIA A100 yang terpasang dan ideal untuk penyesuaian model, model besar, dan inferensi yang dioptimalkan biaya.
Seri mesin A2 menawarkan dua jenis:
- A2 Ultra: jenis mesin ini memiliki GPU A100 80 GB
(
nvidia-a100-80gb) dan disk SSD Lokal yang terpasang. - A2 Standard: jenis mesin ini memiliki GPU A100 40 GB
(
nvidia-tesla-a100) yang terpasang. Anda juga dapat menambahkan disk SSD Lokal saat membuat instance Standar A2. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal.
A2 Ultra
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD Lokal Terpasang (GiB) | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA A100 80 GB | Memori GPU (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1.500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1.360 | 3.000 | 100 | 8 | 640 |
A2 Standard
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA A100 40 GB | Memori GPU (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | Ya | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Ya | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Ya | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Ya | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1.360 | Ya | 100 | 16 | 640 |
Catatan jenis mesin A2
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Seri mesin G4 (NVIDIA RTX PRO 6000)
Jenis mesin yang dioptimalkan akselerator G4
menggunakan
GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000)
dan
cocok untuk workload simulasi NVIDIA Omniverse, aplikasi yang intensif secara grafis, transcoding
video, dan desktop virtual. Jenis mesin G4 juga memberikan solusi berbiaya rendah untuk
melakukan inferensi host tunggal dan penyesuaian model dibandingkan dengan jenis mesin seri A.
Anda juga dapat menambahkan disk Titanium SSD saat membuat instance G4. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal. Untuk mengetahui informasi tentang batasan jenis mesin, lihat batasan G4.
Fitur utama seri G4 adalah dukungan untuk komunikasi peer-to-peer (P2P) GPU langsung
pada jenis mesin multi-GPU (g4-standard-96, g4-standard-192,
g4-standard-384). Hal ini memungkinkan GPU dalam instance yang sama untuk
bertukar data secara langsung melalui bus PCIe, tanpa melibatkan host CPU. Untuk mengetahui informasi selengkapnya tentang
komunikasi peer-to-peer GPU G4, lihat
Komunikasi peer-to-peer GPU G4.
| Jenis mesin | Jumlah vCPU | Memori instance (GB) | Titanium SSD maksimum yang didukung (GiB) | Jumlah NIC fisik | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA RTX PRO 6000 | Memori GPU (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1.500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3.000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6.000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1.440 | 12.000 | 2 | 400 | 8 | 768 |
Catatan jenis mesin G4
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Seri mesin G2 (NVIDIA L4)
Jenis mesin yang dioptimalkan akselerator G2 memiliki GPU NVIDIA L4 yang terpasang dan ideal untuk workload inferensi yang dioptimalkan biaya, intensif grafis, dan komputasi berperforma tinggi.
Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke instance untuk setiap jenis mesin. Anda juga dapat menambahkan disk SSD Lokal saat membuat instance G2. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal.
Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan G2.
| Jenis mesin | Jumlah vCPU | Memori instance default (GB) | Rentang memori instance kustom (GB) | SSD Lokal maksimum yang didukung (GiB) | Bandwidth jaringan maksimum (Gbps) | Jumlah GPU NVIDIA L4 | Memori GPU (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 hingga 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 hingga 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 hingga 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 hingga 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 hingga 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 hingga 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 hingga 216 | 1.500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 hingga 432 | 3.000 | 100 | 8 | 192 |
Catatan jenis mesin G2
Catatan berikut berlaku untuk tabel sebelumnya:
- Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
- Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
- Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Seri mesin N1
Anda dapat memasang model GPU berikut ke jenis mesin N1, kecuali jenis mesin dengan inti bersama N1.
Tidak seperti jenis mesin dalam rangkaian mesin yang dioptimalkan akselerator, jenis mesin N1 tidak dilengkapi dengan jumlah GPU terpasang yang ditetapkan. Sebagai gantinya, Anda menentukan jumlah GPU yang akan dipasang saat membuat instance.
Instance N1 dengan GPU yang lebih sedikit membatasi jumlah maksimum vCPU. Secara umum, dengan jumlah GPU yang lebih tinggi, Anda dapat membuat instance dengan jumlah vCPU dan memori yang lebih tinggi.
GPU N1+T4
Anda dapat memasang GPU NVIDIA T4 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
| Jenis akselerator | Jumlah GPU NVIDIA T4 | Memori GPU (GB GDDR6) | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung |
|---|---|---|---|---|---|
nvidia-tesla-t4 atau nvidia-tesla-t4-vws |
1 | 16 | 1 hingga 48 | 1 hingga 312 | Ya |
nvidia-tesla-t4 atau nvidia-tesla-t4-vws |
2 | 32 | 1 hingga 48 | 1 hingga 312 | Ya |
nvidia-tesla-t4 atau nvidia-tesla-t4-vws |
4 | 64 | 1 hingga 96 | 1 hingga 624 | Ya |
Catatan jenis mesin N1+T4
Catatan berikut berlaku untuk tabel sebelumnya:
- Memori GPU: Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
GPU N1+P4
Anda dapat memasang GPU NVIDIA P4 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
Untuk instance dengan GPU NVIDIA P4 yang terpasang, disk SSD Lokal hanya didukung di zona us-central1-c dan northamerica-northeast1-b.
| Jenis akselerator | Jumlah GPU NVIDIA P4 | Memori GPU (GB GDDR5) | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung |
|---|---|---|---|---|---|
nvidia-tesla-p4 atau nvidia-tesla-p4-vws |
1 | 8 | 1 hingga 24 | 1 hingga 156 | Ya (khusus us-central1-c dan northamerica-northeast1-b) |
nvidia-tesla-p4 atau nvidia-tesla-p4-vws |
2 | 16 | 1 hingga 48 | 1 hingga 312 | Ya (khusus us-central1-c dan northamerica-northeast1-b) |
nvidia-tesla-p4 atau nvidia-tesla-p4-vws |
4 | 32 | 1 hingga 96 | 1 hingga 624 | Ya (khusus us-central1-c dan northamerica-northeast1-b) |
Catatan jenis mesin N1+P4
Catatan berikut berlaku untuk tabel sebelumnya:
- Memori GPU: Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
GPU N1+V100
Anda dapat memasang GPU NVIDIA V100 ke instance tujuan umum N1 dengan konfigurasi instance berikut.
Untuk instance dengan GPU NVIDIA V100 yang terpasang, disk SSD Lokal tidak didukung di zona us-east1-c.
| Jenis akselerator | Jumlah GPU NVIDIA V100 | Memori GPU (GB HBM2) | Jumlah vCPU | Memori instance (GB) | SSD lokal didukung |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 hingga 12 | 1 hingga 78 | Ya (kecuali us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | 1 hingga 24 | 1 hingga 156 | Ya (kecuali us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | 1 hingga 48 | 1 hingga 312 | Ya (kecuali us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | 1 hingga 96 | 1 hingga 624 | Ya (kecuali us-east1-c) |
Catatan jenis mesin N1+V100
Catatan berikut berlaku untuk tabel sebelumnya:
- Memori GPU: Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat Anda gunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.
Pengalaman pemeliharaan untuk instance N1 dengan GPU
Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.
Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin N1 dengan GPU terpasang:
| Jenis mesin | Jumlah GPU | Frekuensi peristiwa pemeliharaan terjadwal yang umum | Perilaku pemeliharaan | Pemberitahuan awal untuk pemeliharaan terjadwal | Pemeliharaan on-demand | Menyimulasikan pemeliharaan |
|---|---|---|---|---|---|---|
| N1+T4 | 1 atau 2 | Minimum 15 hari | Menghentikan dan memulai ulang | 7 hari | Tidak | Ya |
| N1+T4 | 4 | Minimum 30 hari | Menghentikan dan memulai ulang | 7 hari | Ya | Ya |
| N1+P4 | 1 atau 2 | Minimum 15 hari | Menghentikan dan memulai ulang | 7 hari | Tidak | Ya |
| N1+P4 | 4 | Minimum 30 hari | Menghentikan dan memulai ulang | 7 hari | Ya | Ya |
| N1+V100 | 1, 2, atau 4 | Minimum 15 hari | Menghentikan dan memulai ulang | 7 hari | Tidak | Ya |
| N1+V100 | 8 | Minimum 30 hari | Menghentikan dan memulai ulang | 7 hari | Ya | Ya |
Catatan berikut berlaku untuk tabel sebelumnya:
- Frekuensi peristiwa pemeliharaan terjadwal yang umum:
Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.
Diagram perbandingan umum
Tabel berikut menjelaskan ukuran memori GPU, ketersediaan fitur, dan jenis workload ideal dari berbagai model GPU di Compute Engine.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini.
| Jenis mesin (model GPU) | Memori dan bandwidth GPU | Interkoneksi | Dukungan NVIDIA RTX Virtual Workstation (vWS) | Paling baik digunakan untuk |
|---|---|---|---|---|
| A4X Max (GB300) | HBM3e 279 GB (8 TBps) | NVLink Mesh Penuh (1.800 GBps) | Tidak | Pelatihan dan inferensi terdistribusi berskala besar untuk LLM MoE, Pemberi Rekomendasi, HPC |
| A4X (GB200) | HBM3e 186 GB (8 TBps) | NVLink Mesh Penuh (1.800 GBps) | Tidak | Pelatihan dan inferensi terdistribusi berskala besar untuk LLM, Pemberi Rekomendasi, HPC |
| A4 (B200) | HBM3e 180 GB (8 TBps) | NVLink Mesh Penuh (1.800 GBps) | Tidak | Pelatihan dan inferensi terdistribusi berskala besar untuk LLM, Pemberi Rekomendasi, HPC |
| A3 Ultra (H200) | HBM3e 141 GB (4,8 TBps) | NVLink Mesh Penuh (900 GBps) | Tidak | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | HBM3 80 GB (3,35 TBps) | NVLink Mesh Penuh (900 GBps) | Tidak | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM |
| A2 Ultra (A100 80GB) | HBM2e 80 GB (1,9 TBps) | NVLink Full Mesh (600 GBps) | Tidak | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM |
| A2 Standard (A100 40GB) | HBM2 40 GB (1,6 TBps) | NVLink Full Mesh (600 GBps) | Tidak | Pelatihan ML, Inferensi, HPC |
| G4 (RTX PRO 6000) | 96 GB GDDR7 (1.597 TBps) | T/A | Ya | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video, HPC |
| G2 (L4) | 24 GB GDDR6 (300 GBps) | T/A | Ya | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video, HPC |
| N1 (T4) | 16 GB GDDR6 (320 GBps) | T/A | Ya | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video |
| N1 (P4) | 8 GB GDDR5 (192 GBps) | T/A | Ya | Workstation Visualisasi Jarak Jauh, Inferensi ML, dan Transcoding Video |
| N1 (V100) | 16 GB HBM2 (900 GBps) | NVLink Ring (300 GBps) | Tidak | Pelatihan ML, Inferensi, HPC |
Guna membandingkan harga GPU untuk berbagai model dan region GPU yang tersedia di Compute Engine, lihat harga GPU.
Performa Tensor Core dan CUDA core standar
Bagian berikut memberikan metrik performa untuk setiap arsitektur GPU, yang dipisahkan menjadi performa Tensor Core dan core CUDA standar atau vektor.
Tensor Core: Performa Tensor mengacu pada throughput yang dicapai Tensor Core khusus. Ini adalah unit hardware khusus (sering disebut unit matriks) yang dirancang khusus untuk mempercepat operasi akumulasi perkalian matriks besar yang menjadi tulang punggung deep learning, pelatihan, dan inferensi.
Jenis performa ini paling cocok untuk deep learning, model bahasa besar (LLM), dan workload apa pun yang dapat dinyatakan sebagai operasi matriks padat. Tensor Core memberikan throughput yang jauh lebih tinggi daripada CUDA core untuk jenis data yang sama.
Inti CUDA vektor atau standar: Performa vektor mengacu pada throughput yang dicapai inti CUDA standar. GPU adalah unit tujuan umum yang beroperasi menggunakan model single instruction, multiple threads (SIMT), yang biasanya melakukan operasi pada elemen atau vektor data individual.
Jenis performa ini paling cocok untuk komputasi umum, rendering grafis, dan workload yang tidak melibatkan matematika matriks padat.
Arsitektur Blackwell
Jenis mesin A4X Max, A4X, A4, dan G4 berjalan pada arsitektur Blackwell NVIDIA.
Tensor Core
Arsitektur Blackwell NVIDIA, yang digunakan oleh jenis mesin ini, memperkenalkan dukungan Tensor Core untuk presisi FP4 dan kemampuan INT4 yang diperluas untuk performa tinggi dalam inferensi model besar.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini. Catatan berikut juga berlaku:
- TF32, Mixed FP16/32, INT8, FP8, dan FP4: arsitektur Blackwell mendukung ketersebaran struktural untuk metrik presisi ini, yang dapat menggandakan throughput komputasi. Nilai performa dalam tabel ini mengasumsikan perkalian matriks padat. Jika Anda menggunakan ketersebaran struktural, performa akan digandakan.
- FP16/32 campuran: untuk pelatihan presisi campuran, GPU yang berjalan pada arsitektur Blackwell juga mendukung jenis data
bfloat16.
| Jenis mesin (model GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 Campuran (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1.250 | 2.500 | 5.000 | 5.000 | 15.000 |
| A4X (GB200) | 45 | 1.250 | 2.500 | 5.000 | 5.000 | 10.000 |
| A4 (B200) | 40 | 1.100 | 2.250 | 4.500 | 4.500 | 9.000 |
| G4 (RTX PRO 6000) | T/A | 233,9 | 467,8 | 935,6 | 935,6 | 1871,2 |
Core CUDA standar
Jenis mesin yang menggunakan arsitektur Blackwell menyediakan operasi FP64 dan FP32 berperforma tinggi untuk workload HPC dan AI yang berat.
Untuk A4X Max, A4X, dan A4, operasi FP16 dipercepat oleh Tensor Core. Untuk G4, performa FP16 pada core CUDA standar disertakan karena workload grafis, seperti rendering dan visualisasi, dapat memanfaatkan pengurangan penggunaan memori dan persyaratan bandwidth presisi FP16, bahkan saat tidak menggunakan Tensor Core.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini. Catatan berikut juga berlaku:
- A4X Max (GB300) FP64: Performa FP64 pada GB300 dikurangi untuk memprioritaskan performa FP4.
| Jenis mesin (model GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1,39 | 45 | T/A |
| A4X (GB200) | 45 | 45 | T/A |
| A4 (B200) | 40 | 80 | T/A |
| G4 (RTX PRO 6000) | 1,8 | 117 | 117 |
Arsitektur Hopper, Ada Lovelace, dan Ampere
Seri A3 menggunakan arsitektur Hopper, yang memperkenalkan mesin khusus untuk model transformer. Seri A2 menggunakan arsitektur Ampere, yang memberikan fondasi seimbang untuk pelatihan dan inferensi berperforma tinggi. Seri G2 menggunakan arsitektur Ada Lovelace, yang memberikan akselerasi serbaguna dan hemat energi untuk inferensi AI, transcoding video, dan workload grafis.
Tensor Core
Arsitektur Hopper, Ada Lovelace, dan Ampere dilengkapi Tensor Core canggih yang mempercepat jenis data TF32, FP16, FP8, dan INT8, sehingga memberikan throughput tinggi untuk pelatihan dan inferensi presisi campuran.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini. Catatan berikut juga berlaku:
- TF32, Mixed FP16/32, INT8, dan FP8: arsitektur Hopper, Ada Lovelace, dan Ampere mendukung sparse struktural untuk metrik presisi ini (dan INT4), yang dapat menggandakan throughput komputasi. Nilai performa dalam tabel ini mengasumsikan perkalian matriks padat. Jika Anda menggunakan ketersebaran struktural, performa akan digandakan.
- FP16/32 campuran: untuk pelatihan presisi campuran, GPU NVIDIA H200, H100, A100, dan L4 juga mendukung jenis data
bfloat16.
| Jenis mesin (model GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 Campuran (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494,5 | 989,5 | 1.979 | 1.979 |
| A3 Mega/High/Edge (H100) | 67 | 494,5 | 989,5 | 1.979 | 1.979 |
| A2 Ultra (A100 80GB) | 19,5 | 156 | 312 | 624 | T/A |
| A2 Standard (A100 40GB) | 19,5 | 156 | 312 | 624 | T/A |
| G2 (L4) | T/A | 60 | 121 | 242,5 | 121 |
Core CUDA standar
Jenis mesin yang menggunakan arsitektur Hopper, Ada Lovelace, dan Ampere menyediakan operasi FP64 dan FP32 berperforma tinggi untuk workload HPC dan AI yang berat.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini.
| Jenis mesin (model GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80GB) | 9,7 | T/A |
| A2 Standard (A100 40GB) | 9,7 | T/A |
| G2 (L4) | T/A | 30,3 |
Arsitektur Volta, Pascal, dan Turing
Jenis mesin N1 menggunakan arsitektur GPU berikut:
Tensor Core
Arsitektur Turing dan Volta NVIDIA, yang tersedia di instance N1, memberikan dukungan Tensor Core untuk operasi presisi campuran, INT8, dan INT4, sehingga menawarkan akselerasi dasar untuk inferensi deep learning.
GPU ini memperkenalkan generasi pertama Tensor Core, yang digunakan terutama untuk pelatihan FP16 serta kuantisasi INT8 dan INT4 dalam inferensi. Tabel ini tidak menyertakan jenis mesin N1 (P4) karena tidak memiliki Tensor core.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini.
| Jenis mesin (model GPU) | FP16/32 Campuran (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | T/A | T/A |
| N1 (T4) | 65 | 130 | 260 |
Core CUDA standar
Jenis mesin yang menggunakan arsitektur Volta, Pascal, dan Turing dilengkapi dengan core CUDA FP64 dan FP32 untuk mempercepat berbagai workload HPC dan AI.
Dalam tabel berikut, N/A menunjukkan bahwa metrik tidak berlaku atau tidak tersedia untuk model GPU ini.
| Jenis mesin (model GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7,8 | 15,6 |
| N1 (T4) | T/A | 8.1 |
| N1 (P4) | 0,2 | 5,5 |
Apa langkah selanjutnya?
- Pelajari lebih lanjut GPU Compute Engine.
- Periksa ketersediaan region dan zona GPU.
- Tinjau Bandwidth jaringan dan GPU.
- Lihat detail harga GPU.