Ringkasan kebijakan penempatan rapat dan kebijakan beban kerja

Dokumen ini memberikan ringkasan dan perbandingan kebijakan penempatan rapat dan kebijakan workload. Kedua kebijakan ini memungkinkan Anda mengonfigurasi penempatan instance Compute Engine untuk meminimalkan latensi jaringan.

Secara default, Anda mengelola lokasi instance komputasi dengan hanya menentukan zonanya. Untuk membuat instance komputasi yang lebih berdekatan, Anda dapat menggunakan opsi berikut. Untuk mengetahui informasi selengkapnya, lihat juga Kolokasi resource infrastruktur AI.

  • Resource berikut sudah ditempatkan secara padat satu sama lain:

    • Resource yang menggunakan pemesanan untuk masa mendatang yang sama untuk blok kapasitas.
    • Resource yang menggunakan pemesanan untuk masa mendatang yang sama dalam mode kalender.
    • Resource yang Anda buat bersama melalui permintaan pengubahan ukuran grup instance terkelola (MIG).
  • Resource yang Anda buat bersama saat menentukan opsi penggunaan Flex-start mungkin ditempatkan secara padat berdasarkan ketersediaan upaya terbaik. Jika Anda memerlukan resource yang ditempatkan secara padat, terapkan kebijakan penempatan rapat yang menentukan jarak maksimum atau kebijakan workload yang menentukan jarak maksimum.

  • Jika tidak, untuk menempatkan resource berdekatan, terapkan kebijakan penempatan rapat atau kebijakan workload.

    • Jika Anda memerlukan resource yang ditempatkan secara padat, tentukan jarak maksimum dalam kebijakan.
    • Jika Anda menginginkan resource yang ditempatkan secara padat berdasarkan ketersediaan upaya terbaik, jangan tentukan jarak maksimum dalam kebijakan.

Untuk mengetahui informasi selengkapnya tentang kapan harus menggunakan kebijakan penempatan rapat versus a kebijakan workload, lihat Perbandingan kebijakan penempatan rapat dan kebijakan workload dalam dokumen ini.

Perbandingan kebijakan penempatan rapat dan kebijakan workload

Tabel berikut merangkum perbedaan antara kebijakan penempatan rapat dan kebijakan workload:

Kebijakan penempatan rapat Kebijakan workload
Penggunaan kebijakan
  • Instance mandiri
  • Instance yang di-deploy menggunakan Bulk API
  • MIG dengan GPU umum
MIG dengan GPU bercluster
Jenis mesin yang didukung A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, G4, dan G2
  • Untuk Flex-start: A4 dan A3 Ultra
  • Untuk Spot atau pemesanan: A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU)
Semantik pengelompokan

Compute Engine menempatkan instance yang menggunakan kebijakan penempatan rapat yang sama lebih berdekatan.

Sebaiknya gunakan kebijakan penempatan yang berbeda untuk setiap workload. Menggunakan kembali kebijakan penempatan di seluruh instance yang menjalankan workload yang berbeda akan menyebabkan semua instance tersebut ditempatkan bersama. Kolokasi ini dapat mempersulit pembuatan instance yang berdekatan saat Anda melakukan penskalaan horizontal workload tertentu.

Compute Engine menempatkan instance di MIG yang menggunakan kebijakan workload lebih berdekatan.

Menggunakan kembali kebijakan workload di beberapa MIG yang menjalankan workload yang berbeda akan menempatkan instance di MIG individual secara bersamaan. Penggunaan kembali is ideal untuk model pelatihan besar yang setiap grup of instance harus diisolasi satu sama lain.

Konfigurasi kolokasi instance komputasi

Untuk kolokasi instance komputasi upaya terbaik, tetapkan groupPlacementPolicy.collocation kolom ke COLLOCATED.

Untuk kolokasi instance komputasi upaya terbaik, tetapkan kolom workloadPolicy.type ke HIGH_THROUGHPUT.

Konfigurasi tambahan
  • Untuk penempatan instance komputasi yang ketat, tentukan maxDistance kolom.
  • Untuk seri mesin yang mendukung partisi, seperti A4X Max dan A4X, tentukan kolom gpuTopology.
  • Untuk penempatan instance komputasi yang ketat, tentukan kolom maxTopologyDistance
  • Untuk seri mesin yang mendukung partisi, seperti A4X Max dan A4X, tentukan kolom acceleratorTopology.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi berikut:

Kebijakan penempatan rapat

Saat Anda menerapkan kebijakan penempatan rapat ke instance komputasi mandiri, atau instance komputasi yang dibuat secara massal, Compute Engine akan melakukan upaya terbaik untuk membuat instance komputasi sedekat mungkin satu sama lain. Jika aplikasi Anda memerlukan latensi jaringan minimal, tentukan maxDistance kolom (Pratinjau) saat Anda membuat kebijakan penempatan rapat.

Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan penempatan rapat dalam dokumentasi Compute Engine.

Perbandingan nilai jarak maksimum untuk kebijakan penempatan rapat

Nilai jarak maksimum yang lebih rendah memastikan penempatan instance komputasi yang lebih dekat, tetapi juga meningkatkan kemungkinan beberapa instance komputasi tidak akan dibuat.

Tabel berikut menunjukkan seri mesin dan jumlah instance komputasi yang didukung oleh setiap nilai jarak maksimum:

maxDistance dalam kebijakan penempatan rapat maxTopologyDistance dalam kebijakan workload Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
Tidak ditentukan (Tidak direkomendasikan) Tidak ditentukan (Tidak direkomendasikan) Compute Engine melakukan upaya terbaik untuk menempatkan instance komputasi sedekat mungkin satu sama lain, tetapi tanpa jarak maksimum di antara instance komputasi. A4X Max, A4X, A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4, dan G2 1500
3 CLUSTER Compute Engine membuat instance komputasi di blok yang berdekatan. A4, A3 Mega1, A3 High1, A3 Edge1, A2, G4, dan G2 1.500
2 BLOCK Compute Engine membuat instance komputasi di blok yang sama. A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4, dan G2
  • Untuk A3 Ultra, A3 Mega1, A3 High1, dan A3 Edge1: 256
  • Untuk semua seri mesin lain yang didukung: 150
1 SUBBLOCK Compute Engine membuat instance komputasi di sub-blok yang sama. A3 Edge1, A2, G4, dan G2 22

1 Jika Anda ingin menerapkan kebijakan penempatan rapat ke instance A3 Mega, A3 High, atau A3 Edge yang dibuat sebelum 1 Oktober 2025, hubungi tim akun atau tim penjualan Anda.

Kebijakan workload

Kebijakan workload memungkinkan Anda menentukan penempatan dan infrastruktur yang mendasarinya untuk instance komputasi di MIG. Menggunakan kebijakan workload dengan A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU) membantu Anda meminimalkan latensi jaringan di antara instance komputasi dan mengoptimalkan performa.

Berdasarkan jenis mesin yang digunakan instance komputasi di MIG Anda, kebijakan workload diperlukan atau opsional dalam situasi berikut:

  • Untuk men-deploy sub-blok instance A4X Max atau A4X, kebijakan workload diperlukan.

  • Untuk menggunakan instance A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU), kebijakan workload bersifat opsional.

  • Kebijakan workload tidak didukung untuk seri mesin A3 Edge, A2, G4, G2, dan N1. Untuk MIG yang menggunakan seri mesin ini, Anda dapat menggunakan kebijakan penempatan rapat untuk kolokasi VM.

Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan workload di MIG dalam dokumentasi Compute Engine.

Langkah berikutnya