Mesin GPU dalam kelompok mesin yang dioptimalkan akselerator

Dokumen ini menjelaskan instance Compute Engine yang memiliki GPU NVIDIA yang telah terpasang di kelompok mesin yang dioptimalkan akselerator. Instance ini dirancang khusus untuk kecerdasan buatan (AI), machine learning (ML), komputasi berperforma tinggi (HPC), dan aplikasi yang memerlukan banyak grafis.

Kelompok mesin yang dioptimalkan akselerator mencakup seri mesin berikut: A4X Max, A4X, A4, A3, A2, G4, dan G2. Setiap jenis mesin dalam suatu seri memiliki model dan jumlah GPU NVIDIA tertentu yang terpasang. Anda juga dapat memasang beberapa model GPU ke jenis mesin untuk tujuan umum N1.

Untuk mengetahui informasi tentang instance yang dioptimalkan untuk akselerator dengan TPU terpasang, lihat Mesin TPU dalam kelompok mesin yang dioptimalkan untuk akselerator.

Model GPU dan seri mesin

Tabel berikut merangkum spesifikasi hardware, pemetaan seri mesin, bandwidth jaringan, dan kemampuan penyimpanan model GPU yang tersedia di Compute Engine:

Model GPU Seri mesin Arsitektur Memori dan bandwidth GPU GPU per instance komputasi Bandwidth jaringan maksimum SSD Lokal Interkoneksi Dukungan NVIDIA RTX Virtual Workstation (vWS)
NVIDIA GB300 A4X Max Blackwell Ultra HBM3e 279 GB (8 TBps) 4 (NVL72) 3.600 Gbps 12.000 GiB NVLink Mesh Penuh (1.800 GBps) Tidak
NVIDIA GB200 A4X Blackwell HBM3e 186 GB (8 TBps) 4 (NVL72) 2.000 Gbps 12.000 GiB NVLink Mesh Penuh (1.800 GBps) Tidak
NVIDIA B200 A4 Blackwell HBM3e 180 GB (8 TBps) 8 3.600 Gbps 12.000 GiB NVLink Mesh Penuh (1.800 GBps) Tidak
NVIDIA H200 A3 Ultra Hopper HBM3e 141 GB (4,8 TBps) 8 3.600 Gbps 12.000 GiB NVLink Mesh Penuh (900 GBps) Tidak
NVIDIA H100 A3 Mega, High, Edge Hopper HBM3 80 GB (3,35 TBps) 1, 2, 4, 8 Hingga 1.000 Gbps Hingga 6.000 GiB NVLink Mesh Penuh (900 GBps) Tidak
NVIDIA A100 (80GB) A2 Ultra Ampere HBM2e 80 GB (1,9 TBps) 1, 2, 4, 8 100 Gbps Hingga 3.000 GiB NVLink Full Mesh (600 GBps) Tidak
NVIDIA A100 (40GB) A2 Standard Ampere HBM2 40 GB (1,6 TBps) 1, 2, 4, 8, 16 100 Gbps Hingga 3.000 GiB NVLink Full Mesh (600 GBps) Tidak
NVIDIA RTX PRO 6000 G4 Blackwell 96 GB GDDR7 (1.597 TBps) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbps Hingga 3.000 GiB PCIe Gen 5 Ya
NVIDIA L4 G2 Ada Lovelace 24 GB GDDR6 (300 GBps) 1, 2, 4, 8 100 Gbps Hingga 3.000 GiB PCIe Gen 4 Ya
NVIDIA V100 N1+V100 Volta 16 GB HBM2 (900 GBps) 1, 2, 4, 8 100 Gbps Didukung NVLink Ring (300 GBps) Tidak
NVIDIA T4 (mendekati akhir dukungan) N1+T4 Turing 16 GB GDDR6 (320 GBps) 1, 2, 4 100 Gbps Didukung PCIe Gen 3 Ya
NVIDIA P4 (mendekati akhir dukungan) N1+P4 Pascal 8 GB GDDR5 (192 GBps) 1, 2, 4 100 Gbps Didukung PCIe Gen 3 Ya

Bagian berikut menyajikan rangkaian mesin yang direkomendasikan berdasarkan workload GPU Anda. Untuk mengetahui informasi selengkapnya tentang cara memilih strategi komputasi untuk workload AI/ML dan HPC, lihat Memilih strategi komputasi dalam dokumentasi AI Hypercomputer.

Pelatihan AI/ML

Inferensi AI/ML

  • Inferensi model besar (lebih dari 70 miliar parameter): menyajikan model bahasa besar (LLM) mendapatkan manfaat dari kapasitas High Bandwidth Memory (HBM3e) yang tinggi (141–186 GB per GPU) agar sesuai dengan bobot model di lebih sedikit GPU, sehingga mengurangi overhead komunikasi antar-chip. Seri mesin yang direkomendasikan:

  • Throughput tinggi dan inferensi real-time: kueri interaktif latensi rendah, respons streaming, dan pembuatan gambar menggunakan format numerik terkuantisasi yang diakselerasi hardware, seperti floating-point 8-bit (FP8), bilangan bulat 8-bit (INT8), dan bilangan bulat 4-bit (INT4), untuk memaksimalkan throughput permintaan per dolar. Seri mesin yang direkomendasikan:

    Untuk mengetahui informasi selengkapnya, lihat Rekomendasi untuk inferensi penyajian dalam dokumentasi AI Hypercomputer.

Grafis dan visual

HPC dan simulasi

  • Simulasi dan pemodelan ilmiah: aplikasi dalam dinamika molekul (seperti GROMACS dan AMBER), dinamika fluida komputasi (CFD), kimia kuantum, astrofisika, dan prakiraan cuaca memerlukan performa floating point presisi ganda (FP64) 64-bit yang tinggi dan bandwidth memori yang tinggi. Seri mesin yang direkomendasikan:

    • A4X (NVIDIA GB200)
    • A4 (NVIDIA B200)
    • A3 (NVIDIA H100)
    • A2 (NVIDIA A100)

    Untuk mengetahui informasi selengkapnya, lihat Rekomendasi untuk HPC dalam dokumentasi AI Hypercomputer.

Seri mesin A4X Max dan A4X

Seri mesin A4X Max dan A4X berjalan di platform exascale berdasarkan arsitektur skala rak NVIDIA dan dioptimalkan untuk pelatihan ML dan workload HPC yang terikat jaringan, intensif komputasi, dan intensif memori. A4X Max dan A4X berbeda terutama dalam komponen GPU dan jaringan. A4X Max hanya tersedia sebagai instance bare metal, yang memberikan akses langsung ke CPU dan memori server host, tanpa hypervisor Compute Engine di tengahnya.

Semua jenis mesin dalam seri A4X Max dan A4X memiliki dua soket dengan CPU NVIDIA Grace™ dengan core Arm® Neoverse™ V2. CPU ini terhubung ke empat GPU dengan komunikasi chip-ke-chip NVLink-C2 yang cepat.

Seri mesin A4X Max dan A4X dibangun di atas arsitektur skala rak NVL72 NVIDIA, yang menggunakan domain NVLink untuk memungkinkan komputasi GPU berskala besar dan berperforma tinggi. Domain NVLink adalah sekelompok chip NVIDIA NVSwitch yang saling terhubung dan GPU yang terhubung ke chip tersebut, sehingga membentuk fabric jaringan berkecepatan tinggi yang memungkinkan komunikasi langsung dan cepat antar-GPU. Untuk jenis mesin A4X Max dan A4X, satu Domain NVL72 (NVLink) terdiri dari 18 instance dan 72 GPU.

Perbandingan A4X Max dan A4X

Tabel berikut membandingkan fitur yang berbeda antara jenis mesin A4X Max dan A4X:

Fitur A4X Max (NVIDIA GB300) A4X (NVIDIA GB200)
Akselerasi GPU Instance A4X Max memiliki Superchip NVIDIA GB300 Ultra yang terpasang secara otomatis. Superchip ini dilengkapi GPU NVIDIA B300, yang menawarkan total memori GPU hingga 20 TB per domain NVL72, yang menyediakan sekitar 279 GB per GPU. Instance A4X memiliki Superchip NVIDIA GB200 yang terpasang secara otomatis. Superchip ini dilengkapi GPU NVIDIA B200 dan menawarkan memori 186 GB per GPU.
Jaringan yang ditingkatkan dengan RoCE

Untuk instance A4X Max, RDMA over Converged Ethernet (RoCE) meningkatkan performa jaringan dengan menggabungkan SuperNIC NVIDIA ConnectX-8 (CX-8) dan jaringan di seluruh pusat data Google, yang menampilkan penyelarasan jalur delapan arah. Konfigurasi ini memberikan bandwidth hingga 3.200 Gbps, yang optimal untuk tugas pelatihan dan HPC berskala besar yang menuntut.

Untuk jaringan tujuan umum, setiap instance juga memiliki bandwidth hingga 400 Gbps.

Untuk instance A4X, RDMA over Converged Ethernet (RoCE) meningkatkan performa jaringan dengan menggabungkan NIC NVIDIA ConnectX-7 (CX-7) dan jaringan di seluruh pusat data Google, yang menampilkan penyelarasan jalur empat arah. Arsitektur ini menyediakan bandwidth hingga 1.600 Gbps, sehingga memungkinkan komunikasi dengan throughput tinggi dan latensi rendah untuk workload terdistribusi berskala besar.

Untuk jaringan tujuan umum, setiap instance juga memiliki bandwidth hingga 400 Gbps.
Performa NVIDIA GB300 Ultra Superchip memberikan performa FP4 padat sebesar 15 PetaFLOPS. Untuk inferensi FP4 berskala besar, GB300 Ultra Superchip diperkirakan akan memberikan performa 20–40% lebih tinggi dibandingkan GB200 Superchip. Superchip NVIDIA GB200 memberikan performa FP4 padat sebesar 10 PetaFLOPS.
Dukungan bare metal dan VM Hanya instance bare metal Hanya instance VM
Dukungan OS Instance A4X Max mendukung berbagai OS image Linux. Namun, karena instance bare metal menggunakan driver jaringan Infrastructure Data Path Function (IDPF), image OS Anda harus mendukung IDPF. Untuk menggunakan OS image yang tersedia di Compute Engine, lihat OS image yang mendukung IDPF. Instance A4X mendukung berbagai OS image Linux. Untuk mengetahui daftar lengkap sistem operasi yang didukung di Compute Engine, lihat Dukungan OS untuk GPU.

Jenis mesin A4X Max dan A4X memiliki fitur berikut:

  • Platform CPU: Jenis mesin A4X Max dan A4X menggunakan platform CPU NVIDIA Grace dengan core Arm® Neoverse™ V2. Untuk mengetahui detail selengkapnya tentang platform, lihat platform CPU.

  • Skalabilitas NVLink: NVLink multi-node dapat diskalakan hingga 72 GPU dalam satu domain dan menyediakan bandwidth NVLink GPU dua arah sebesar 1.800 GBps per GPU.

  • Dukungan disk: Instance A4X Max dan A4X mendukung SSD Lokal untuk scratch disk yang cepat, yang berguna untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. SSD Lokal sebesar 12.000 GiB otomatis ditambahkan ke instance A4X Max dan A4X.

    Untuk penyimpanan persisten, Anda dapat memasang penyimpanan Hyperdisk hingga 512 TiB. Untuk mengetahui informasi selengkapnya tentang jenis disk, lihat Memilih jenis disk.

  • Dukungan alokasi padat dan penjadwalan berbasis topologi: Jenis mesin A4X Max dan A4X mendukung permintaan blok kapasitas yang dialokasikan secara padat. Mesin host Anda dialokasikan secara fisik berdekatan satu sama lain, disediakan sebagai blok resource, dan saling terhubung dengan fabric jaringan ML dinamis untuk meminimalkan hop jaringan dan mengoptimalkan latensi rendah. Selain itu, untuk instance A4X Max dan A4X, Anda bisa mendapatkan informasi topologi di tingkat node dan cluster yang dapat digunakan untuk penempatan tugas.

Opsi harga dan pemakaian untuk instance A4X Max dan A4X

Instance A4X Max dan A4X mendukung opsi konsumsi dan diskon berikut:

Google Cloud menagih instance A4X Max dan A4X untuk GPU yang terpasang, vCPU yang telah ditetapkan, memori, dan disk SSD Lokal yang dipaketkan. Penggunaan Hyperdisk dan jaringan ditagih secara terpisah dari harga jenis mesin. Untuk mengetahui informasi selengkapnya, lihat Opsi harga dan konsumsi, Harga kelompok jenis mesin yang dioptimalkan akselerator, dan Harga GPU.

Jenis mesin A4X Max (NVIDIA GB300)

Jenis mesin yang dioptimalkan akselerator A4X Max menggunakan NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) dan ideal untuk pelatihan dan inferensi model dasar. Jenis mesin A4X Max tersedia sebagai instance bare metal.

A4X Max adalah platform exascale yang didasarkan pada NVIDIA GB300 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B300 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4X Max dan A4X.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA GB300 Memori GPU (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12.000 6 3.600 4 1.116

Catatan jenis mesin A4X Max

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Jenis mesin A4X (NVIDIA GB200)

Jenis mesin yang dioptimalkan akselerator A4X menggunakan NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) dan ideal untuk pelatihan dan inferensi model dasar.

A4X adalah platform exascale yang didasarkan pada NVIDIA GB200 NVL72. Setiap mesin memiliki dua soket dengan CPU NVIDIA Grace dengan core Arm Neoverse V2. CPU ini terhubung ke empat GPU NVIDIA B200 Blackwell dengan komunikasi chip-ke-chip (NVLink-C2C) yang cepat. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4X Max dan A4X.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA GB200 Memori GPU (GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2.000 4 744

Catatan jenis mesin A4X

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A4X Max dan A4X

Batasan berikut berlaku untuk instance A4X Max dan A4X:

Instance A4X Max

Instance A4X

Jenis disk yang didukung untuk instance A4X Max dan A4X

A4X Max

Instance A4X Max dapat menggunakan jenis block storage berikut:

  • Hyperdisk Balanced (hyperdisk-balanced): ini adalah satu-satunya jenis disk yang didukung untuk boot disk
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A4X Max

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk SSD Lokal Terpasang
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

Instance A4X dapat menggunakan jenis block storage berikut:

  • Hyperdisk Balanced (hyperdisk-balanced): ini adalah satu-satunya jenis disk yang didukung untuk boot disk
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A4X

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk SSD Lokal Terpasang
a4x-highgpu-4g 128 128 0 0 128 8 4

Catatan berikut berlaku untuk tabel sebelumnya:

Batas disk dan kapasitas

Anda dapat memasang campuran berbagai jenis Hyperdisk ke instance, tetapi total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi 512 TiB untuk semua Hyperdisk.

Untuk mengetahui detail tentang batas kapasitas, lihat Batas ukuran dan lampiran Hyperdisk.

Pengalaman pemeliharaan untuk instance A4X Max dan A4X

Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.

Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin A4X Max dan A4X:

Jenis mesin Jumlah GPU Frekuensi peristiwa pemeliharaan terjadwal yang umum Perilaku pemeliharaan Pemberitahuan awal untuk pemeliharaan terjadwal Pemeliharaan on-demand Menyimulasikan pemeliharaan
A4X Max dan A4X 4 Minimum 90 hari Berhenti dengan Persistensi data SSD Lokal 90 hari Ya Tidak

Catatan berikut berlaku untuk tabel sebelumnya:

  • Frekuensi peristiwa pemeliharaan terjadwal yang umum:

    Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.

Untuk mengetahui informasi selengkapnya tentang pemeliharaan host di AI Hypercomputer, lihat Memahami pemeliharaan host di dokumentasi AI Hypercomputer.

Seri mesin A4

Seri mesin A4 menawarkan jenis mesin dengan hingga 224 vCPU, dan memori 3.968 GB. Instance A4 memberikan performa hingga 3x lipat dibandingkan jenis instance GPU sebelumnya untuk sebagian besar workload yang dipercepat GPU. A4 direkomendasikan untuk workload pelatihan ML, terutama dalam skala besar—misalnya, ratusan atau ribuan GPU. Seri mesin A4 tersedia dalam satu jenis mesin.

Instance VM yang dibuat menggunakan jenis mesin A4 menyediakan fitur berikut:

  • Akselerasi GPU dengan GPU NVIDIA B200: GPU NVIDIA B200 otomatis dipasang ke instance A4, yang menawarkan memori GPU 180 GB per GPU.

  • Prosesor Intel Xeon Scalable Generasi ke-5 (Emerald Rapids): menawarkan frekuensi turbo maks single-core berkelanjutan hingga 4,0 GHz. Untuk mengetahui informasi selengkapnya tentang prosesor ini, lihat Platform CPU.

  • Skalabilitas NVLink: GPU NVIDIA B200 menyediakan bandwidth NVLink GPU sebesar 1.800 GBps, dua arah per GPU.

    Dengan topologi NVLink all-to-all antara 8 GPU dalam sebuah sistem, Bandwidth NVLink agregat mencapai hingga 14,4 TBps.

  • Jaringan yang ditingkatkan dengan RoCE: RDMA over Converged Ethernet (RoCE) meningkatkan performa jaringan dengan menggabungkan kartu antarmuka jaringan (NIC) NVIDIA ConnectX-7 dengan jaringan empat arah yang sesuai jalur di seluruh pusat data Google. Dengan memanfaatkan RDMA over Converged Ethernet (RoCE), instance A4 mencapai throughput yang jauh lebih tinggi antar-instance dalam cluster dibandingkan dengan sebagian besar instance A3, kecuali yang berjalan pada jenis mesin A3 Ultra.

  • Peningkatan kecepatan jaringan: Menawarkan kecepatan jaringan hingga 4x lipat jika dibandingkan dengan instance A2 generasi sebelumnya.

    Untuk mengetahui informasi selengkapnya tentang jaringan, lihat Bandwidth jaringan dan GPU.

  • Pengoptimalan virtualisasi untuk transfer dan pemulihan data: topologi Peripheral Component Interconnect Express (PCIe) dari instance A4 memberikan informasi lokalitas yang lebih akurat yang dapat digunakan workload untuk mengoptimalkan transfer data.

    GPU juga mengekspos Function Level Reset (FLR) untuk pemulihan yang lancar dari kegagalan dan dukungan operasi atomik untuk peningkatan konkurensi dalam skenario tertentu.

  • Dukungan disk: Instance A4 mendukung SSD Lokal untuk scratch disk yang cepat, yang berguna untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk penyimpanan persisten, Anda dapat memasang volume Hyperdisk.

    SSD Lokal sebesar 12.000 GiB otomatis ditambahkan ke instance A4. Untuk workload yang memerlukan block storage yang tahan lama, Anda juga dapat memasang Hyperdisk hingga 512 TiB ke instance A4. Untuk mengetahui informasi selengkapnya tentang jenis disk, lihat Memilih jenis disk.

  • Dukungan alokasi padat dan Topology Aware Scheduling: Saat menyediakan instance A4, Anda dapat meminta blok kapasitas yang dialokasikan secara padat. Mesin host Anda dialokasikan secara fisik berdekatan satu sama lain, disediakan sebagai blok resource, dan saling terhubung dengan fabric jaringan ML dinamis untuk meminimalkan hop jaringan dan mengoptimalkan latensi terendah. Selain itu, Anda dapat memperoleh informasi topologi di tingkat node dan cluster yang dapat digunakan untuk penempatan tugas.

Opsi harga dan konsumsi untuk instance A4

Instance A4 mendukung opsi konsumsi dan diskon berikut:

Google Cloud menagih instance A4 untuk GPU yang terpasang, vCPU yang telah ditetapkan, memori, dan disk SSD Lokal yang dipaketkan. Penggunaan Hyperdisk dan jaringan ditagih terpisah dari harga jenis mesin. Untuk mengetahui informasi selengkapnya, lihat Opsi harga dan konsumsi, Harga kelompok jenis mesin yang dioptimalkan akselerator, dan Harga GPU.

Jenis mesin A4 (NVIDIA B200)

Jenis mesin yang dioptimalkan akselerator A4 memiliki GPU NVIDIA B200 Blackwell (nvidia-b200) yang terpasang dan ideal untuk pelatihan dan inferensi model dasar. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A4.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA B200 Blackwell Memori GPU (GB HBM3e)
a4-highgpu-8g 224 3.968 12.000 10 3.600 8 1.440

Catatan jenis mesin A4

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A4

  • Anda hanya dapat meminta kapasitas menggunakan opsi pemakaian yang didukung untuk jenis mesin A4.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin A4.
  • Anda hanya dapat menggunakan jenis mesin A4 di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk (regional atau zonal). Anda hanya dapat menggunakan Google Cloud Hyperdisk.
  • Jenis mesin A4 hanya tersedia di platform CPU Emerald Rapids.
  • Anda tidak dapat mengubah jenis mesin instance menjadi atau dari jenis mesin A4. Anda harus membuat instance baru dengan jenis mesin ini.
  • Jenis mesin A4 tidak mendukung tenancy tunggal.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A4.
  • Untuk instance A4, saat Anda menggunakan ethtool -S untuk memantau jaringan GPU, penghitung port fisik yang diakhiri dengan _phy tidak akan diupdate. Ini adalah perilaku yang diharapkan untuk instance yang menggunakan arsitektur Fungsi Virtual (VF) MRDMA. Untuk mengetahui informasi selengkapnya, lihat Fungsi MRDMA dan alat pemantauan jaringan.
  • Anda tidak dapat memasang disk Hyperdisk ML yang dibuat sebelum 4 Februari 2026 ke jenis mesin A4.

Jenis disk yang didukung untuk instance A4

Instance A4 dapat menggunakan jenis block storage berikut:

  • Hyperdisk Balanced (hyperdisk-balanced): ini adalah satu-satunya jenis disk yang didukung untuk boot disk
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A4

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk SSD Lokal Terpasang
a4-highgpu-8g 128 128 T/A 128 8 32

Catatan berikut berlaku untuk tabel sebelumnya:

Batas disk dan kapasitas

Anda dapat memasang campuran berbagai jenis Hyperdisk ke instance, tetapi total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi 512 TiB untuk semua Hyperdisk.

Untuk mengetahui detail tentang batas kapasitas, lihat Batas ukuran dan lampiran Hyperdisk.

Pengalaman pemeliharaan untuk instance A4

Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.

Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin A4:

Jenis mesin Jumlah GPU Frekuensi peristiwa pemeliharaan terjadwal yang umum Perilaku pemeliharaan Pemberitahuan awal untuk pemeliharaan terjadwal Pemeliharaan on-demand Menyimulasikan pemeliharaan
A4 8 Minimum 90 hari Berhenti dengan Persistensi data SSD Lokal 90 hari Ya Tidak

Catatan berikut berlaku untuk tabel sebelumnya:

  • Frekuensi peristiwa pemeliharaan terjadwal yang umum:

    Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.

Untuk mengetahui informasi selengkapnya tentang pemeliharaan host di AI Hypercomputer, lihat Memahami pemeliharaan host di dokumentasi AI Hypercomputer.

Seri mesin A3

Seri mesin A3 memiliki hingga 224 vCPU, dan memori 2.944 GB. Rangkaian mesin ini dioptimalkan untuk pelatihan ML yang terikat jaringan dan intensif komputasi serta memori, dan workload HPC. Seri mesin A3 tersedia dalam jenis mesin A3 Ultra, A3 Mega, A3 High, dan A3 Edge.

Tabel berikut membandingkan fitur yang berbeda antara jenis mesin A3:

Fitur A3 Ultra (NVIDIA H200) A3 Mega, High, dan Edge (NVIDIA H100)
Akselerasi GPU

GPU NVIDIA H200 SXM terpasang, menawarkan memori GPU sebesar 141 GB per GPU dan menyediakan memori yang lebih besar dan lebih cepat untuk mendukung model bahasa besar dan workload HPC.

GPU NVIDIA H100 SXM terpasang, menawarkan memori GPU sebesar 80 GB per GPU, yang ideal untuk model bahasa berbasis transformer besar, database, dan HPC.
Prosesor Intel Xeon Scalable

Prosesor Intel Xeon Scalable Generasi ke-5 (Emerald Rapids), yang menawarkan frekuensi turbo maks single-core berkelanjutan hingga 4,0 GHz. Untuk mengetahui informasi selengkapnya tentang prosesor ini, lihat platform CPU.

Prosesor Intel Xeon Scalable Generasi ke-4 (Sapphire Rapids), yang menawarkan frekuensi turbo maks single-core berkelanjutan hingga 3,3 GHz. Untuk mengetahui informasi selengkapnya tentang prosesor ini, lihat platform CPU.
Jaringan yang ditingkatkan

Untuk jenis mesin ini, RDMA over Converged Ethernet (RoCE) meningkatkan performa jaringan dengan menggabungkan kartu antarmuka jaringan (NIC) NVIDIA ConnectX-7 dengan jaringan empat arah yang sesuai jalur di seluruh pusat data Google. Dengan menggunakan RDMA over Converged Ethernet (RoCE), jenis mesin a3-ultragpu-8g mencapai throughput yang jauh lebih tinggi antara instance dalam cluster jika dibandingkan dengan jenis mesin A3 lainnya.
  • Untuk jenis mesin A3 Mega, GPUDirect-TCPXO lebih meningkatkan GPUDirect-TCPX dengan meng-offload protokol TCP. Dengan menggunakan GPUDirect-TCPXO, jenis mesin a3-megagpu-8g menggandakan bandwidth jaringan jika dibandingkan dengan jenis mesin A3 High dan A3 Edge.
  • Untuk jenis mesin A3 Edge (a3-edgegpu-8g) dan A3 High (a3-highgpu-8g), GPUDirect-TCPX meningkatkan performa jaringan dengan memungkinkan payload paket data ditransfer langsung dari memori GPU ke antarmuka jaringan. Dengan menggunakan GPUDirect-TCPX, jenis mesin ini mencapai throughput yang jauh lebih tinggi di antara instance dalam cluster jika dibandingkan dengan jenis mesin yang dioptimalkan untuk akselerator A2 atau G2.
Kecepatan jaringan yang lebih baik

Menawarkan kecepatan jaringan hingga 4x lipat jika dibandingkan dengan seri mesin A2 generasi sebelumnya.

Untuk mengetahui informasi selengkapnya tentang jaringan, lihat Bandwidth jaringan dan GPU.

Menawarkan kecepatan jaringan hingga 2,5x lipat jika dibandingkan dengan seri mesin A2 generasi sebelumnya.

Untuk mengetahui informasi selengkapnya tentang jaringan, lihat Bandwidth jaringan dan GPU.

Semua jenis mesin A3 memiliki fitur berikut:

  • Skalabilitas NVLink: GPU NVIDIA H200 dan H100 memberikan bandwidth NVLink GPU puncak sebesar 450 GBps, secara searah. Dengan menggunakan topologi NVLink all-to-all, sistem 8 GPU mencapai bandwidth gabungan hingga 7,2 TBps.

  • Pengoptimalan virtualisasi: Topologi Peripheral Component Interconnect Express (PCIe) instance A3 memberikan informasi lokalitas yang lebih akurat yang dapat digunakan workload untuk mengoptimalkan transfer data. GPU juga mengekspos Function Level Reset (FLR) untuk pemulihan yang lancar dari kegagalan dan dukungan operasi atomik untuk peningkatan konkurensi dalam skenario tertentu.

  • Dukungan disk: Instance A3 mendukung SSD Lokal untuk scratch disk yang cepat, yang berguna untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk penyimpanan persisten, Anda dapat memasang volume Persistent Disk dan Hyperdisk.

    SSD lokal dipasang sebagai berikut:

    • SSD Lokal sebesar 12.000 GiB otomatis ditambahkan ke instance A3 Ultra.
    • SSD Lokal sebesar 6.000 GiB otomatis ditambahkan ke instance A3 Mega, High, dan Edge.

    Untuk workload yang memerlukan block storage yang tahan lama, Anda juga dapat memasang hingga 512 TiB Persistent Disk dan Hyperdisk ke jenis mesin dalam seri ini. Untuk jenis mesin tertentu, Persistent Disk hingga 257 TiB juga didukung. Untuk mengetahui informasi selengkapnya tentang jenis disk, lihat Memilih jenis disk.

  • Dukungan kebijakan penempatan rapat: Memberi Anda kontrol lebih besar atas penempatan fisik instance dalam pusat data. Penempatan ini memungkinkan latensi yang lebih rendah dan bandwidth yang lebih tinggi untuk instance yang berada dalam satu zona ketersediaan. Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan penempatan rapat.

Opsi harga dan konsumsi untuk instance A3

Instance A3 mendukung opsi konsumsi dan diskon berikut:

Google Cloud menagih instance A3 untuk GPU yang terpasang, vCPU yang telah ditetapkan, memori, dan disk SSD Lokal yang dipaketkan. Penggunaan Persistent Disk, Hyperdisk, dan jaringan ditagih secara terpisah dari harga jenis mesin. Untuk mengetahui informasi selengkapnya, lihat Opsi harga dan konsumsi, Harga kelompok jenis mesin yang dioptimalkan akselerator, dan Harga GPU.

Jenis mesin A3 Ultra (NVIDIA H200)

Jenis mesin A3 Ultra memiliki GPU NVIDIA H200 SXM (nvidia-h200-141gb) yang terpasang dan memberikan performa jaringan tertinggi dalam seri A3. Jenis mesin A3 Ultra ideal untuk pelatihan dan inferensi model dasar. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A3 Ultra.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA H200 Memori GPU (GB HBM3e)
a3-ultragpu-8g 224 2.952 12.000 10 3.600 8 1128

Catatan jenis mesin A3 Ultra

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A3 Ultra

  • Anda hanya dapat meminta kapasitas menggunakan opsi pemakaian yang didukung untuk jenis mesin A3 Ultra.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin A3 Ultra.
  • Anda hanya dapat menggunakan jenis mesin A3 Ultra di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk (regional atau zonal). Anda hanya dapat menggunakan Google Cloud Hyperdisk.
  • Jenis mesin A3 Ultra hanya tersedia di platform CPU Emerald Rapids.
  • Perubahan jenis mesin tidak didukung untuk jenis mesin A3 Ultra. Untuk beralih ke atau dari jenis mesin ini, Anda harus membuat instance baru.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 Ultra.
  • Jenis mesin A3 Ultra tidak mendukung tenancy tunggal.
  • Untuk instance A3 Ultra, saat Anda menggunakan ethtool -S untuk memantau jaringan GPU, penghitung port fisik yang diakhiri dengan _phy tidak akan diupdate. Hal ini adalah perilaku normal untuk instance yang menggunakan arsitektur Fungsi Virtual (VF) MRDMA. Untuk mengetahui informasi selengkapnya, lihat Fungsi MRDMA dan alat pemantauan jaringan.

Jenis mesin A3 Mega (NVIDIA H100)

Jenis mesin A3 Mega memiliki GPU NVIDIA H100 SXM dan ideal untuk pelatihan model besar dan inferensi multi-host. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A3 Mega.
Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA H100 Memori GPU (GB HBM3)
a3-megagpu-8g 208 1.872 6.000 9 1.800 8 640

Catatan jenis mesin A3 Mega

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A3 Mega (NVIDIA H100)

Jenis mesin A3 High (NVIDIA H100)

Jenis mesin A3 High memiliki GPU NVIDIA H100 SXM dan sangat cocok untuk inferensi model besar dan penyesuaian model. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A3 High.
Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA H100 Memori GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1.500 1 50 2 160
a3-highgpu-4g 104 936 3.000 1 100 4 320
a3-highgpu-8g 208 1.872 6.000 5 1.000 8 640

Catatan jenis mesin A3 High

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A3 High

Jenis mesin A3 Edge (NVIDIA H100)

Jenis mesin A3 Edge memiliki GPU NVIDIA H100 SXM dan dirancang khusus untuk inferensi serta tersedia di beberapa region terbatas. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A3 Edge.
Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA H100 Memori GPU (GB HBM3)
a3-edgegpu-8g 208 1.872 6.000 5 600 (asia-south1 dan northamerica-northeast2) atau 400 (semua region A3 Edge lainnya) 8 640

Catatan jenis mesin A3 Edge

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A3 Edge

Jenis disk yang didukung untuk instance A3

A3 Ultra

Instance A3 Ultra dapat menggunakan jenis block storage berikut:

  • Hyperdisk Balanced (hyperdisk-balanced): ini adalah satu-satunya jenis disk yang didukung untuk boot disk
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A3

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk Disk SSD Lokal yang terpasang
a3-ultragpu-8g 128 128 128 T/A 128 8 32

Catatan berikut berlaku untuk tabel sebelumnya:

A3 Mega

Instance A3 Mega dapat menggunakan jenis block storage berikut:

  • Persistent Disk Seimbang (pd-balanced)
  • Persistent Disk SSD (performa) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A3

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk Disk SSD Lokal yang terpasang
a3-megagpu-8g 128 32 32 64 64 8 16

Catatan berikut berlaku untuk tabel sebelumnya:

A3 High

Instance A3 High dapat menggunakan jenis block storage berikut:

  • Persistent Disk Seimbang (pd-balanced)
  • Persistent Disk SSD (performa) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A3

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk Disk SSD Lokal yang terpasang
a3-highgpu-1g 128 32 32 64 64 T/A 2
a3-highgpu-2g 128 32 32 64 64 T/A 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

Catatan berikut berlaku untuk tabel sebelumnya:

A3 Edge

Instance A3 Edge dapat menggunakan jenis block storage berikut:

  • Persistent Disk Seimbang (pd-balanced)
  • Persistent Disk SSD (performa) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD lokal: yang otomatis ditambahkan ke instance yang dibuat menggunakan salah satu jenis mesin A3

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Ekstrem Hyperdisk SSD Lokal Terpasang
a3-edgegpu-8g 128 32 32 64 64 8 16

Catatan berikut berlaku untuk tabel sebelumnya:

Batas disk dan kapasitas

Jika didukung oleh jenis mesin, Anda dapat memasang campuran volume Hyperdisk dan Persistent Disk ke instance, tetapi batasan berikut berlaku:

  • Jumlah gabungan volume Hyperdisk dan Persistent Disk tidak boleh melebihi 128 per instance.

  • Total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi:

    • Untuk jenis mesin dengan kurang dari 32 vCPU:

      • 257 TiB untuk semua Hyperdisk atau semua Persistent Disk
      • 257 TiB untuk campuran Hyperdisk dan Persistent Disk

    • Untuk jenis mesin dengan 32 vCPU atau lebih:

      • 512 TiB untuk semua Hyperdisk
      • 512 TiB untuk campuran Hyperdisk dan Persistent Disk
      • 257 TiB untuk semua Persistent Disk

Untuk mengetahui detail tentang batas kapasitas, lihat Batas ukuran dan lampiran Hyperdisk dan Kapasitas maksimum Persistent Disk.

Pengalaman pemeliharaan untuk instance A3

Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.

Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin A3:

Jenis mesin Jumlah GPU Frekuensi peristiwa pemeliharaan terjadwal yang umum Perilaku pemeliharaan Pemberitahuan awal untuk pemeliharaan terjadwal Pemeliharaan on-demand Menyimulasikan pemeliharaan
A3 Ultra 8 Minimum 90 hari Berhenti dengan Persistensi data SSD Lokal 90 hari Ya Tidak
A3 Mega dan A3 High 8 Minimum 30 hari Menghentikan dan memulai ulang 7 hari Ya Ya
A3 High 1, 2, 4 Minimum 30 hari Menghentikan dan memulai ulang 7 hari Tidak Ya
A3 Edge 8 Minimum 30 hari Menghentikan dan memulai ulang 7 hari Ya Ya

Catatan berikut berlaku untuk tabel sebelumnya:

  • Frekuensi peristiwa pemeliharaan terjadwal yang umum:

    Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.

  • A3 Mega dan A3 High: frekuensi pemeliharaan terjadwal dan periode notifikasi tidak mencakup instance yang tercakup dalam perjanjian pemeliharaan pelanggan tertentu.

Untuk mengetahui informasi selengkapnya tentang pemeliharaan host di AI Hypercomputer, lihat Memahami pemeliharaan host di dokumentasi AI Hypercomputer.

Seri mesin A2

Seri mesin A2 tersedia dalam jenis mesin A2 Standard dan A2 Ultra. Jenis mesin ini memiliki 12 hingga 96 vCPU, dan memori hingga 1.360 GB.

Instance VM yang dibuat menggunakan jenis mesin A2 menyediakan fitur berikut:

  • Akselerasi GPU: setiap instance A2 memiliki GPU NVIDIA A100. GPU ini tersedia dalam opsi A100 40GB dan A100 80GB.

  • Skalabilitas NVLink: GPU NVIDIA A100 menyediakan bandwidth NVLink GPU ke GPU puncak sebesar 600 GBps. Misalnya, sistem dengan 16 GPU memiliki bandwidth NVLink agregat hingga 9,6 TBps. Keseluruhan 16 GPU ini dapat digunakan sebagai satu akselerator berperforma tinggi dengan ruang memori terpadu untuk memberikan daya komputasi hingga 10 petaFLOPS dan daya komputasi inferensi hingga 20 petaFLOPS yang dapat digunakan untuk kecerdasan buatan, deep learning, dan workload machine learning.

  • Peningkatan kecepatan komputasi: GPU NVIDIA A100 yang terpasang menawarkan peningkatan kecepatan komputasi hingga 10x lipat jika dibandingkan dengan GPU NVIDIA V100 generasi sebelumnya.

    Dengan seri mesin A2, Anda bisa mendapatkan bandwidth jaringan hingga 100 Gbps.

  • Dukungan disk: Instance A2 mendukung SSD Lokal untuk scratch disk yang cepat, yang berguna untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk penyimpanan persisten, Anda dapat memasang volume Persistent Disk dan Hyperdisk.

    SSD lokal didukung sebagai berikut:

    • Untuk jenis mesin Standar A2, Anda dapat menambahkan hingga 3.000 GiB SSD Lokal saat membuat instance.
    • Untuk jenis mesin A2 Ultra, SSD Lokal otomatis terpasang saat Anda membuat instance.

    Untuk workload yang memerlukan block storage yang tahan lama, Anda dapat memasang hingga 257 TiB Persistent Disk dan 512 TiB volume Hyperdisk ke instance A2. Untuk mengetahui informasi selengkapnya tentang jenis disk, lihat Memilih jenis disk.

  • Dukungan kebijakan penempatan rapat: memberi Anda kontrol lebih besar atas penempatan fisik instance dalam pusat data. Hal ini memungkinkan latensi yang lebih rendah dan bandwidth yang lebih tinggi untuk instance yang berada dalam satu zona ketersediaan. Untuk mengetahui informasi selengkapnya, lihat Mengurangi latensi dengan menggunakan kebijakan penempatan rapat.

Opsi harga dan konsumsi untuk instance A2

Instance A2 mendukung opsi konsumsi dan diskon berikut:

Google Cloud menagih instance A2 untuk GPU yang terpasang, vCPU yang telah ditetapkan, memori, dan disk SSD Lokal yang dipaketkan (untuk A2 Ultra). Persistent Disk, Hyperdisk, disk SSD Lokal tambahan (untuk A2 Standard), dan penggunaan jaringan ditagih secara terpisah dari harga jenis mesin. Untuk mengetahui informasi selengkapnya, lihat Opsi harga dan konsumsi, Harga kelompok jenis mesin yang dioptimalkan akselerator, dan Harga GPU.

Jenis mesin berikut tersedia untuk seri mesin A2.

Jenis mesin A2 Ultra (NVIDIA A100 80 GB)

Jenis mesin ini memiliki jumlah tetap GPU A100 80 GB. SSD lokal secara otomatis dipasang ke instance yang dibuat menggunakan jenis mesin A2 Ultra. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan A2 Ultra.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD Lokal Terpasang (GiB) Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA A100 80 GB Memori GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1.500 50 4 320
a2-ultragpu-8g 96 1.360 3.000 100 8 640

Catatan jenis mesin A2 Ultra

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A2 Ultra

  • Anda hanya dapat meminta kapasitas menggunakan opsi pemakaian yang didukung untuk jenis mesin A2 Ultra.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin A2 Ultra.
  • Anda hanya dapat menggunakan jenis mesin A2 Ultra di region dan zona tertentu.
  • Jenis mesin A2 Ultra hanya tersedia di platform Cascade Lake.
  • Jika instance Anda menggunakan jenis mesin A2 Ultra, Anda tidak dapat mengubah jenis mesin. Jika perlu menggunakan jenis mesin A2 Ultra yang berbeda, atau jenis mesin lainnya, Anda harus membuat instance baru.
  • Anda tidak dapat mengubah jenis mesin lainnya menjadi jenis mesin A2 Ultra. Jika memerlukan instance yang menggunakan jenis mesin A2 Ultra, Anda harus membuat instance baru.
  • Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di instance Windows yang menggunakan jenis mesin A2 Ultra. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.

Jenis mesin standar A2 (NVIDIA A100 40 GB)

Jenis mesin ini memiliki jumlah tetap GPU A100 40 GB. Anda juga dapat menambahkan disk SSD Lokal saat membuat instance Standar A2. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal. Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan Standar A2.

Jenis mesin Jumlah vCPU Memori instance (GB) SSD lokal didukung Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA A100 40 GB Memori GPU (GB HBM2)
a2-highgpu-1g 12 85 Ya 24 1 40
a2-highgpu-2g 24 170 Ya 32 2 80
a2-highgpu-4g 48 340 Ya 50 4 160
a2-highgpu-8g 96 680 Ya 100 8 320
a2-megagpu-16g 96 1.360 Ya 100 16 640

Catatan jenis mesin Standar A2

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan A2 Standard

  • Anda hanya dapat meminta kapasitas menggunakan opsi pemakaian yang didukung untuk jenis mesin Standar A2.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin Standar A2.
  • Anda hanya dapat menggunakan jenis mesin Standar A2 di region dan zona tertentu.
  • Jenis mesin Standar A2 hanya tersedia di platform Cascade Lake.
  • Jika instance Anda menggunakan jenis mesin Standar A2, Anda hanya dapat beralih dari satu jenis mesin Standar A2 ke jenis mesin Standar A2 lainnya. Anda tidak dapat mengubah ke jenis mesin lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengubah instance yang dioptimalkan untuk akselerator.
  • Anda tidak dapat menggunakan sistem operasi Windows dengan jenis mesin a2-megagpu-16g. Saat menggunakan sistem operasi Windows, pilih jenis mesin Standar A2 yang berbeda.
  • Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di instance Windows yang menggunakan jenis mesin Standar A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.

Jenis disk yang didukung untuk instance A2

Instance A2 dapat menggunakan jenis block storage berikut:

  • Hyperdisk ML (hyperdisk-ml)
  • Persistent Disk Seimbang (pd-balanced)
  • Persistent Disk SSD (performa) (pd-ssd)
  • Persistent Disk Standar (pd-standard)
  • SSD lokal: yang otomatis dipasang ke instance yang dibuat menggunakan jenis mesin A2 Ultra.

A2 Ultra

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua disk Hyperdisk ML SSD Lokal Terpasang
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

Catatan berikut berlaku untuk tabel sebelumnya:

  • Semua disk: batas ini berlaku untuk Persistent Disk dan Hyperdisk, serta tidak mencakup disk SSD Lokal.
  • Harga disk: Penggunaan Hyperdisk dan Persistent Disk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat Harga Persistent Disk dan Hyperdisk.

A2 Standard

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua disk Hyperdisk ML SSD Lokal
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

Catatan berikut berlaku untuk tabel sebelumnya:

  • Semua disk: batas ini berlaku untuk Persistent Disk dan Hyperdisk, serta tidak mencakup disk SSD Lokal.
  • Harga disk: Penggunaan Hyperdisk dan Persistent Disk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat Harga Persistent Disk dan Hyperdisk.

Jika didukung oleh jenis mesin, Anda dapat memasang campuran volume Hyperdisk dan Persistent Disk ke instance, tetapi batasan berikut berlaku:

  • Jumlah gabungan volume Hyperdisk dan Persistent Disk tidak boleh melebihi 128 per instance.

  • Total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi:

    • Untuk jenis mesin dengan kurang dari 32 vCPU:

      • 257 TiB untuk semua Hyperdisk atau semua Persistent Disk
      • 257 TiB untuk campuran Hyperdisk dan Persistent Disk

    • Untuk jenis mesin dengan 32 vCPU atau lebih:

      • 512 TiB untuk semua Hyperdisk
      • 512 TiB untuk campuran Hyperdisk dan Persistent Disk
      • 257 TiB untuk semua Persistent Disk

Untuk mengetahui detail tentang batas kapasitas, lihat Batas ukuran dan lampiran Hyperdisk dan Kapasitas maksimum Persistent Disk.

Pengalaman pemeliharaan untuk instance A2

Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.

Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin A2:

Jenis mesin Jumlah GPU Frekuensi peristiwa pemeliharaan terjadwal yang umum Perilaku pemeliharaan Pemberitahuan awal untuk pemeliharaan terjadwal Pemeliharaan on-demand Menyimulasikan pemeliharaan
A2 Ultra 1, 2, 4, 8 Minimum 30 hari Menghentikan dan memulai ulang 7 hari Ya (khusus 8 GPU) Ya
A2 Standard 1, 2, 4, 8, atau 16 Minimum 30 hari Menghentikan dan memulai ulang 7 hari Ya (khusus 8 dan 16 GPU) Ya

Catatan berikut berlaku untuk tabel sebelumnya:

  • Frekuensi peristiwa pemeliharaan terjadwal yang umum:

    Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.

Seri mesin G4

Seri mesin G4 menggunakan platform CPU AMD EPYC Turin dan dilengkapi GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Seri mesin ini menawarkan peningkatan yang signifikan dibandingkan seri mesin G2 generasi sebelumnya, dengan memori GPU yang jauh lebih besar, peningkatan bandwidth memori GPU, dan bandwidth jaringan yang lebih tinggi.

Instance G4 memiliki hingga 384 vCPU, memori 1.440 GB, dan disk Titanium SSD 12 TiB yang terpasang. Instance G4 juga menyediakan performa jaringan standar hingga 400 Gbps.

Seri mesin ini ditujukan khusus untuk workload seperti workload simulasi NVIDIA Omniverse, aplikasi yang membutuhkan banyak grafis, transcoding video, dan desktop virtual. Seri mesin G4 juga menyediakan solusi berbiaya rendah untuk melakukan inferensi host tunggal dan penyesuaian model dibandingkan dengan jenis mesin seri A.

Instance yang menggunakan jenis mesin G4 menyediakan fitur berikut:

  • Akselerasi GPU dengan GPU NVIDIA RTX PRO 6000 Blackwell Server Edition: Instance G4 otomatis memasang GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, yang menawarkan memori GPU sebesar 96 GB per GPU.

  • Platform CPU AMD EPYC Turin Generasi ke-5: platform ini menawarkan frekuensi peningkatan maksimum berkelanjutan hingga 4,1 GHz. Untuk mengetahui informasi selengkapnya tentang prosesor ini, lihat Platform CPU.

  • Performa grafis generasi berikutnya: GPU NVIDIA RTX PRO 6000 memberikan peningkatan performa dan fitur yang signifikan dibandingkan GPU NVIDIA L4 yang terpasang pada seri mesin G2. Upgrade ini adalah sebagai berikut:

    • Tensor Core Generasi ke-5: core ini memperkenalkan dukungan untuk presisi FP4 dan DLSS 4 Multi Frame Generation. Dengan menggunakan Tensor Core Generasi ke-5 ini, GPU NVIDIA RTX PRO 6000 menawarkan peningkatan performa untuk mempercepat tugas seperti pengembangan LLM lokal dan pembuatan konten, dibandingkan dengan GPU NVIDIA L4.
    • RT Core Generasi ke-4: core ini memberikan performa ray-tracing hingga dua kali lipat dibandingkan GPU NVIDIA L4 generasi sebelumnya, sehingga mempercepat rendering untuk workload desain dan manufaktur.
    • Jumlah core: GPU NVIDIA RTX PRO 6000 mencakup 24.064 CUDA core, 752 Tensor core generasi ke-5, dan 188 RT core generasi ke-4. Update ini menunjukkan peningkatan yang signifikan dibandingkan generasi sebelumnya seperti GPU L4, yang memiliki 7.680 core CUDA dan 240 core Tensor.

  • Berbagi GPU: ada sejumlah opsi yang dapat Anda gunakan untuk mengizinkan beberapa workload mengakses satu GPU fisik. Berbagi GPU berguna untuk workload yang tidak memerlukan resource GPU penuh, sehingga membantu Anda mengoptimalkan biaya. Opsi berbagi GPU berikut tersedia untuk instance G4:

    • Dukungan GPU pecahan (vGPU): fitur ini memungkinkan satu GPU fisik digunakan bersama oleh beberapa instance virtual machine (VM). vGPU memberikan isolasi keamanan multi-tenant karena setiap vGPU adalah instance VM yang terpisah. Untuk menggunakan vGPU, Compute Engine menyediakan bentuk instance VM berikut: g4-standard-6 (1/8 GPU), g4-standard-12 (1/4 GPU), dan g4-standard-24 (1/2 GPU).
    • Multi-Instance GPU (MIG): fitur ini memungkinkan satu GPU dipartisi menjadi hingga empat instance yang sepenuhnya terisolasi pada satu virtual machine. Opsi ini tidak menawarkan isolasi keamanan multi-tenant karena semua partisi termasuk dalam satu VM.

  • Dukungan Peripheral Component Interconnect Express (PCIe) Gen 5: Instance G4 mendukung PCI Express Gen 5, yang meningkatkan kecepatan transfer data dari memori CPU ke GPU dibandingkan dengan PCIe Gen 3 yang digunakan oleh instance G2.

  • Dukungan disk: Instance G4 mendukung Titanium SSD untuk scratch disk cepat, yang berguna untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk penyimpanan persisten, Anda dapat memasang volume Hyperdisk.

    Instance G4 mendukung pemasangan Titanium SSD hingga 12.000 GiB. Untuk workload yang memerlukan block storage yang tahan lama, instance G4 juga mendukung pemasangan Hyperdisk hingga 512 TiB. Untuk mengetahui informasi selengkapnya tentang jenis disk, lihat Memilih jenis disk.

  • Komunikasi Peer-to-Peer (P2P) GPU: Instance G4 mendukung komunikasi P2P GPU, sehingga memungkinkan transfer data langsung antar-GPU dalam instance yang sama. Hal ini dapat meningkatkan performa secara signifikan untuk workload multi-GPU dengan mengurangi latensi transfer data dan mengosongkan resource CPU. Untuk mengetahui informasi selengkapnya, lihat Komunikasi peer-to-peer (P2P) GPU G4.

  • Dukungan kebijakan penempatan rapat: fitur ini memberi Anda kontrol atas lokasi fisik instance dalam pusat data. Kebijakan penempatan rapat membantu Anda menempatkan instance berdekatan untuk mengurangi latensi jaringan, yang berguna untuk workload yang sensitif terhadap latensi seperti komputasi berperforma tinggi (HPC) atau machine learning (ML). Untuk mengetahui informasi selengkapnya, lihat Mengurangi latensi dengan menggunakan kebijakan penempatan rapat.

Opsi harga dan konsumsi untuk instance G4

Instance G4 mendukung opsi konsumsi dan diskon berikut:

Google Cloud menagih instance G4 untuk GPU yang terpasang, vCPU yang telah ditetapkan, dan memori. Hyperdisk, disk Titanium SSD, dan penggunaan jaringan ditagih terpisah dari harga jenis mesin. Untuk mengetahui informasi selengkapnya, lihat Opsi harga dan konsumsi, Harga kelompok jenis mesin yang dioptimalkan akselerator, dan Harga GPU.

Jenis mesin G4 (NVIDIA RTX PRO 6000)

Jenis mesin yang dioptimalkan akselerator G4 menggunakan GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) dan cocok untuk workload simulasi NVIDIA Omniverse, aplikasi yang intensif secara grafis, transcoding video, dan desktop virtual. Jenis mesin G4 juga memberikan solusi berbiaya rendah untuk melakukan inferensi host tunggal dan penyesuaian model dibandingkan dengan jenis mesin seri A.

Anda juga dapat menambahkan disk Titanium SSD saat membuat instance G4. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal. Untuk mengetahui informasi tentang batasan jenis mesin, lihat batasan G4.

Jenis mesin Jumlah vCPU Memori instance (GB) Titanium SSD maksimum yang didukung (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA RTX PRO 6000 Memori GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1.500 1 50 1 96
g4-standard-96 96 360 3.000 1 100 2 192
g4-standard-192 192 720 6.000 1 200 4 384
g4-standard-384 384 1.440 12.000 2 400 8 768

Catatan jenis mesin G4

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan G4

Jenis disk yang didukung untuk instance G4

Instance G4 dapat menggunakan jenis block storage berikut:

  • Hyperdisk Balanced (hyperdisk-balanced): ini adalah satu-satunya jenis disk yang didukung untuk boot disk
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme): jenis disk ini hanya didukung pada instance G4 yang memiliki dua GPU atau lebih yang terpasang
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Titanium SSD: Anda dapat menambahkan Titanium SSD ke instance yang dibuat menggunakan jenis mesin G4.

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Ekstrem Hyperdisk Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

Catatan berikut berlaku untuk tabel sebelumnya:

Anda dapat memasang campuran berbagai jenis Hyperdisk ke instance, tetapi total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi 512 TiB untuk semua Hyperdisk.

Untuk mengetahui detail tentang batas kapasitas, lihat Batas ukuran dan lampiran Hyperdisk.

Komunikasi peer-to-peer (P2P) GPU

Instance G4 meningkatkan performa workload multi-GPU dengan menggunakan komunikasi peer-to-peer (P2P) GPU langsung, yang hanya didukung pada jenis mesin dengan dua GPU atau lebih. Pendekatan ini memungkinkan GPU yang terpasang ke instance G4 yang sama untuk bertukar data secara langsung melalui bus PCIe, sehingga tidak perlu mentransfer data melalui memori utama CPU. Jalur langsung ini mengurangi latensi, menurunkan penggunaan CPU, dan meningkatkan bandwidth efektif antar-GPU. Komunikasi P2P secara signifikan mempercepat aplikasi multi-GPU seperti pelatihan machine learning (ML) dan komputasi berperforma tinggi (HPC).

Karena instance G4 menggunakan komunikasi P2P GPU secara default, Anda akan menerima manfaat berikut tanpa mengubah kode aplikasi. Namun, untuk aplikasi yang menggunakan NVIDIA Collective Communication Library (NCCL), agar dapat menerima peningkatan performa penuh dari komunikasi P2P, Anda harus mengonfigurasi NCCL untuk menggunakan P2P.

Manfaat dan performa utama

  • Mempercepat workload multi-GPU pada instance G4 dengan dua GPU atau lebih: menyediakan runtime yang lebih cepat untuk aplikasi yang berjalan pada jenis mesin g4-standard-96, g4-standard-192, dan g4-standard-384.
  • Menyediakan komunikasi bandwidth tinggi: memungkinkan kecepatan transfer data yang tinggi antar-GPU.

  • Meningkatkan performa NCCL: memberikan peningkatan performa yang signifikan untuk aplikasi yang menggunakan NVIDIA Collective Communication Library (NCCL) jika dibandingkan dengan komunikasi yang tidak menggunakan P2P. Hypervisor Google mengisolasi komunikasi P2P ini dengan aman dalam instance Anda.

    • Pada instance empat GPU (g4-standard-192), semua GPU berada di satu node NUMA, sehingga memungkinkan komunikasi P2P yang paling efisien. Hal ini dapat meningkatkan performa hingga 2,04x untuk kolektif seperti Allgather, Allreduce, dan ReduceScatter.
    • Pada delapan instance GPU (g4-standard-384), GPU didistribusikan di dua node NUMA. Komunikasi P2P dipercepat untuk traffic di dalam dan di antara node ini, dengan peningkatan performa hingga 2,19x untuk kolektif yang sama.

Mengonfigurasi NCCL untuk menggunakan P2P

Untuk mengonfigurasi NCCL agar menggunakan P2P, sebelum menjalankan workload, tetapkan variabel lingkungan NCCL_P2P_LEVEL pada instance G4 berdasarkan jenis mesin:

  • Untuk instance G4 dengan 2 atau 4 GPU (g4-standard-96, g4-standard-192): tetapkan NCCL_P2P_LEVEL=PHB
  • Untuk instance G4 dengan 8 GPU (g4-standard-384): tetapkan NCCL_P2P_LEVEL=SYS

Tetapkan variabel lingkungan menggunakan salah satu opsi berikut:

  • Di command line, jalankan perintah ekspor yang sesuai, seperti export NCCL_P2P_LEVEL=SYS, dalam sesi shell tempat Anda berencana menjalankan aplikasi. Agar setelan ini tetap ada, tambahkan perintah ini ke skrip startup shell Anda, seperti ~/.bashrc.
  • Tambahkan setelan yang sesuai, seperti NCCL_P2P_LEVEL=SYS, ke file konfigurasi NCCL yang terletak di /etc/nccl.conf.

Pengalaman pemeliharaan untuk instance G4

Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.

Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin G4:

Jenis mesin Jumlah GPU Frekuensi peristiwa pemeliharaan terjadwal yang umum Perilaku pemeliharaan Pemberitahuan awal untuk pemeliharaan terjadwal Pemeliharaan on-demand Menyimulasikan pemeliharaan
G4 1, 2, atau 4 Minimum 30 hari Hentikan dan mulai ulang. Jika disk SSD Lokal terpasang, instance akan dihentikan dengan persistensi data SSD Lokal. 7 hari Tidak Ya
G4 8 Minimum 90 hari Hentikan dan mulai ulang. Jika disk SSD Lokal terpasang, instance akan dihentikan dengan persistensi data SSD Lokal. 30 hari Ya Ya

Catatan berikut berlaku untuk tabel sebelumnya:

  • Frekuensi peristiwa pemeliharaan terjadwal yang umum:

    Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.

Seri mesin G2

Seri mesin G2 tersedia dalam jenis mesin standar yang memiliki 4 hingga 96 vCPU, dan memori hingga 432 GB. Seri mesin ini dioptimalkan untuk workload inferensi dan grafis. Seri mesin G2 tersedia dalam satu jenis mesin standar dengan beberapa konfigurasi.

Instance yang dibuat menggunakan jenis mesin G2 menyediakan fitur berikut:

  • Akselerasi GPU: setiap jenis mesin G2 memiliki GPU NVIDIA L4.

  • Rasio inferensi yang lebih baik: jenis mesin G2 menyediakan dukungan untuk FP8 (floating point 8 bit) yang mempercepat kecepatan inferensi ML dan mengurangi persyaratan memori.

  • Performa grafis generasi berikutnya: GPU NVIDIA L4 memberikan peningkatan performa grafis hingga 3X lipat menggunakan core RT generasi ketiga dan Teknologi NVIDIA DLSS 3 (Deep Learning Super Sampling).

  • Bandwidth jaringan berperforma tinggi: dengan jenis mesin G2, Anda bisa mendapatkan bandwidth jaringan hingga 100 Gbps.

  • Dukungan disk: Instance G2 mendukung SSD Lokal untuk scratch disk yang cepat, yang berguna untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk penyimpanan persisten, Anda dapat memasang volume Persistent Disk dan Hyperdisk.

    Anda dapat menambahkan hingga 3.000 GiB SSD Lokal ke instance G2. Untuk workload yang memerlukan block storage yang tahan lama, Anda dapat memasang volume Hyperdisk dan Persistent Disk ke instance G2. Kapasitas penyimpanan maksimum bergantung pada jumlah vCPU yang dimiliki instance. Untuk mengetahui informasi selengkapnya tentang jenis disk, lihat Memilih jenis disk.

  • Dukungan kebijakan penempatan rapat: memberi Anda kontrol lebih besar atas penempatan fisik instance dalam pusat data. Hal ini memungkinkan latensi yang lebih rendah dan bandwidth yang lebih tinggi untuk instance yang berada dalam satu zona ketersediaan. Untuk mengetahui informasi selengkapnya, lihat Mengurangi latensi dengan menggunakan kebijakan penempatan rapat.

Opsi harga dan konsumsi untuk instance G2

Instance G2 mendukung opsi konsumsi dan diskon berikut:

Google Cloud menagih instance G2 untuk GPU yang terpasang, vCPU yang telah ditetapkan, dan memori. Penggunaan Persistent Disk, Hyperdisk, disk SSD Lokal, dan jaringan ditagih secara terpisah dari harga jenis mesin. Untuk mengetahui informasi selengkapnya, lihat Opsi harga dan konsumsi, Harga kelompok jenis mesin yang dioptimalkan akselerator, dan Harga GPU.

Jenis mesin G2 (NVIDIA L4)

Jenis mesin yang dioptimalkan akselerator G2 memiliki GPU NVIDIA L4 yang terpasang dan ideal untuk workload inferensi yang dioptimalkan biaya, intensif grafis, dan komputasi berperforma tinggi.

Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke instance untuk setiap jenis mesin. Anda juga dapat menambahkan disk SSD Lokal saat membuat instance G2. Untuk mengetahui jumlah disk yang dapat Anda pasang, lihat Jenis mesin yang mengharuskan Anda memilih jumlah disk SSD Lokal.

Untuk mengetahui informasi tentang batasan jenis mesin, lihat Batasan G2.

Jenis mesin Jumlah vCPU Memori instance default (GB) Rentang memori instance kustom (GB) SSD Lokal maksimum yang didukung (GiB) Bandwidth jaringan maksimum (Gbps) Jumlah GPU NVIDIA L4 Memori GPU (GB GDDR6)
g2-standard-4 4 16 16 hingga 32 375 10 1 24
g2-standard-8 8 32 32 hingga 54 375 16 1 24
g2-standard-12 12 48 48 hingga 54 375 16 1 24
g2-standard-16 16 64 54 hingga 64 375 32 1 24
g2-standard-24 24 96 96 hingga 108 750 32 2 48
g2-standard-32 32 128 96 hingga 128 375 32 1 24
g2-standard-48 48 192 192 hingga 216 1.500 50 4 96
g2-standard-96 96 384 384 hingga 432 3.000 100 8 192

Catatan jenis mesin G2

Catatan berikut berlaku untuk tabel sebelumnya:

  • Jumlah vCPU: vCPU diimplementasikan sebagai hardware hyper-thread tunggal di salah satu platform CPU yang tersedia.
  • Bandwidth jaringan maksimum: bandwidth egress maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth egress yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Untuk mengetahui informasi selengkapnya tentang bandwidth jaringan, lihat Bandwidth jaringan.
  • Memori GPU: Memori GPU adalah memori pada perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori instance dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload yang membutuhkan grafis intensif.

Batasan G2

  • Anda hanya dapat meminta kapasitas menggunakan opsi pemakaian yang didukung untuk jenis mesin G2.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin G2.
  • Anda hanya dapat menggunakan jenis mesin G2 di region dan zona tertentu.
  • Jenis mesin G2 hanya tersedia di platform Cascade Lake.
  • Persistent Disk Standar (pd-standard) tidak didukung pada instance yang menggunakan jenis mesin G2. Untuk mengetahui jenis disk yang didukung, lihat Jenis disk yang didukung untuk G2.
  • Anda tidak dapat membuat GPU Multi-Instance pada instance yang menggunakan jenis mesin G2.
  • Jika Anda perlu mengubah jenis mesin instance G2, tinjau Mengubah instance yang dioptimalkan akselerator.
  • Anda tidak dapat menggunakan Deep Learning VM Image sebagai boot disk untuk instance yang menggunakan jenis mesin G2.
  • Driver default saat ini untuk Container-Optimized OS tidak mendukung GPU L4 yang berjalan pada jenis mesin G2. Selain itu, Container-Optimized OS hanya mendukung serangkaian driver tertentu. Jika Anda ingin menggunakan Container-Optimized OS pada jenis mesin G2, tinjau catatan berikut:
    • Gunakan versi Container-Optimized OS yang mendukung versi driver NVIDIA minimum yang direkomendasikan 525.60.13 atau yang lebih baru. Untuk informasi selengkapnya, tinjau catatan rilis Container-Optimized OS.
    • Saat Anda menginstal driver, tentukan versi terbaru yang tersedia yang berfungsi untuk GPU L4. Contoh, sudo cos-extensions install gpu -- -version=525.60.13.
  • Anda harus menggunakan Google Cloud CLI atau REST untuk membuat instance G2 untuk skenario berikut:
    • Anda ingin menetapkan nilai memori kustom.
    • Anda ingin menyesuaikan jumlah inti CPU yang terlihat.

Jenis disk yang didukung untuk instance G2

Instance G2 dapat menggunakan jenis block storage berikut:

  • Persistent Disk Seimbang (pd-balanced)
  • Persistent Disk SSD (performa) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD Lokal: Anda dapat menambahkan SSD Lokal ke instance yang dibuat menggunakan jenis mesin G2.

Tabel berikut mencantumkan jumlah maksimum disk yang didukung per instance:

Jenis mesin Semua disk Hyperdisk ML Hyperdisk Throughput SSD Lokal
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

Catatan berikut berlaku untuk tabel sebelumnya:

  • Semua disk: batas ini berlaku untuk Persistent Disk dan Hyperdisk, serta tidak mencakup disk SSD Lokal.
  • Harga disk: Penggunaan Hyperdisk dan Persistent Disk dikenai biaya secara terpisah dari harga jenis mesin. Untuk mengetahui harga disk, lihat Harga Persistent Disk dan Hyperdisk.

Jika didukung oleh jenis mesin, Anda dapat memasang campuran volume Hyperdisk dan Persistent Disk ke instance, tetapi batasan berikut berlaku:

  • Jumlah gabungan volume Hyperdisk dan Persistent Disk tidak boleh melebihi 128 per instance.

  • Total kapasitas disk maksimum (dalam TiB) di semua jenis disk tidak boleh melebihi:

    • Untuk jenis mesin dengan kurang dari 32 vCPU:

      • 257 TiB untuk semua Hyperdisk atau semua Persistent Disk
      • 257 TiB untuk campuran Hyperdisk dan Persistent Disk

    • Untuk jenis mesin dengan 32 vCPU atau lebih:

      • 512 TiB untuk semua Hyperdisk
      • 512 TiB untuk campuran Hyperdisk dan Persistent Disk
      • 257 TiB untuk semua Persistent Disk

Untuk mengetahui detail tentang batas kapasitas, lihat Batas ukuran dan lampiran Hyperdisk dan Kapasitas maksimum Persistent Disk.

Pengalaman pemeliharaan untuk instance G2

Selama siklus proses instance Compute Engine, mesin host tempat instance Anda berjalan akan mengalami beberapa peristiwa host. Peristiwa host dapat mencakup pemeliharaan rutin infrastruktur Compute Engine, atau dalam kasus yang jarang terjadi, error host. Compute Engine juga menerapkan beberapa upgrade ringan yang tidak mengganggu untuk hypervisor dan jaringan di latar belakang.

Tabel berikut menjelaskan fitur pemeliharaan host untuk jenis mesin G2:

Jenis mesin Jumlah GPU Frekuensi peristiwa pemeliharaan terjadwal yang umum Perilaku pemeliharaan Pemberitahuan awal untuk pemeliharaan terjadwal Pemeliharaan on-demand Menyimulasikan pemeliharaan
G2 1, 2, 4, atau 8 Minimum 30 hari Menghentikan dan memulai ulang 7 hari Ya (khusus 8 GPU) Ya

Catatan berikut berlaku untuk tabel sebelumnya:

  • Frekuensi peristiwa pemeliharaan terjadwal yang umum:

    Frekuensi pemeliharaan yang ditampilkan dalam tabel sebelumnya adalah perkiraan, bukan jaminan. Compute Engine terkadang dapat melakukan pemeliharaan lebih sering.

Opsi harga dan pemakaian

Opsi pemakaian mengacu pada cara mendapatkan dan menggunakan resource komputasi. Google Cloud menagih jenis mesin yang dioptimalkan akselerator untuk GPU yang terpasang, vCPU yang telah ditetapkan, memori, dan SSD Lokal yang dipaketkan (jika ada). Diskon untuk instance yang dioptimalkan akselerator dapat bervariasi bergantung pada jenis resource dan opsi konsumsi yang Anda gunakan. Setiap waktu, resource hanya memenuhi syarat untuk satu jenis diskon.

Bergantung pada jenis resource dan opsi pemakaian yang Anda pilih, diskon berlaku untuk jenis mesin yang dioptimalkan akselerator sebagai berikut:

  • On-demand: Dengan opsi konsumsi ini, Anda dapat menerima diskon abonemen (DA) fleksibel Compute hanya untuk pengeluaran yang memenuhi syarat pada penggunaan instance N1, G2, dan G4, sebagai berikut:

    • Untuk jenis mesin N1 yang memiliki GPU terpasang, Anda hanya dapat menerima DA fleksibel komputasi untuk vCPU, memori, dan disk SSD Lokal.
    • Untuk jenis mesin G2 dan G4, Anda dapat menerima DA fleksibel komputasi untuk vCPU, memori, GPU, dan disk SSD Lokal.

    Untuk menerima DA berbasis resource untuk seri mesin lain yang dioptimalkan untuk akselerator, termasuk G2 dan G4, gunakan salah satu opsi pemesanan.

  • Spot: Spot VM otomatis menerima diskon melalui harga Spot VM.

  • Flex-start: Instance yang disediakan menggunakan opsi konsumsi Flex-start otomatis menerima diskon melalui harga Dynamic Workload Scheduler.

  • Pemesanan: Anda dapat menerima DA berbasis resource untuk resource jenis mesin yang dioptimalkan akselerator dengan membeli komitmen berbasis resource. Komitmen berbasis resource untuk semua GPU dan sebagian besar disk SSD Lokal memerlukan pemesanan yang dilampirkan untuk resource tersebut.

Untuk mengetahui informasi selengkapnya mengenai harga instance yang dioptimalkan akselerator, lihat bagian Kelompok jenis mesin yang dioptimalkan akselerator di halaman harga instance VM.

Ketersediaan opsi pemakaian berdasarkan jenis mesin

Tabel berikut merangkum ketersediaan setiap opsi pemakaian berdasarkan jenis mesin. Untuk mengetahui informasi selengkapnya tentang cara memilih opsi pemakaian, lihat Memilih model pemakaian di dokumentasi AI Hypercomputer.

Jenis mesin (model GPU) Sesuai permintaan Spot Flex-start Pemesanan on-demand Pemesanan untuk masa mendatang Pemesanan untuk masa mendatang dalam mode kalender Pemesanan untuk masa mendatang di AI Hypercomputer
A4X Max (GB300) dan A4X (GB200) Tidak Tidak Tidak Tidak Tidak Tidak Ya
A4 (B200) Tidak Ya Ya Tidak Tidak Ya Ya
A3 Ultra (H200) Tidak Ya Ya Tidak Tidak Ya Ya
A3 Mega (H100) Ya Ya Ya Ya Ya Ya Ya
A3 High dengan 8 GPU (H100) Ya Ya Ya Ya Ya Ya Ya
A3 High dengan kurang dari 8 GPU (H100) Tidak Ya Ya Tidak Tidak Tidak Tidak
A3 Edge (H100) Ya Ya Ya Ya Ya Ya Ya
A2 (A100) Ya Ya Ya Ya Ya Tidak Tidak
G4 (RTX PRO 6000) Ya Ya Ya Ya Ya Tidak Tidak
G2 (L4) Ya Ya Ya Ya Ya Tidak Tidak
N1 dengan GPU (T4/P4/V100) Ya Ya Ya Ya Ya Tidak Tidak

Langkah berikutnya