Ringkasan kebijakan penempatan rapat dan kebijakan beban kerja

Dokumen ini memberikan ringkasan dan perbandingan kebijakan penempatan rapat dan kebijakan workload. Kedua kebijakan ini memungkinkan Anda mengonfigurasi penempatan instance Compute Engine untuk meminimalkan latensi jaringan.

Secara default, Anda mengelola lokasi instance komputasi dengan hanya menentukan zonanya. Saat Anda menggunakan permintaan pemesanan untuk masa mendatang atau permintaan pengubahan ukuran grup instance terkelola (MIG) untuk mendapatkan mesin A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), instance komputasi yang Anda terima akan ditempatkan secara padat. Namun, Anda mungkin ingin menempatkan instance komputasi tertentu lebih berdekatan untuk mengoptimalkan performa antar-instance. Untuk menempatkan instance komputasi lebih berdekatan, Anda dapat menerapkan kebijakan penempatan rapat ke instance komputasi atau kebijakan workload ke MIG.

Kebijakan penempatan rapat untuk instance komputasi

Saat Anda menerapkan kebijakan penempatan rapat ke instance komputasi mandiri, atau instance komputasi yang dibuat secara massal, Compute Engine akan berupaya sebaik mungkin untuk membuat instance komputasi sedekat mungkin satu sama lain. Jika aplikasi Anda memerlukan latensi jaringan minimal, tentukan maxDistance kolom (Pratinjau) saat Anda membuat kebijakan penempatan rapat.

Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan penempatan rapat dalam dokumentasi Compute Engine.

Kebijakan workload untuk MIG

Saat Anda menerapkan kebijakan workload ke MIG, Anda dapat menentukan penempatan dan infrastruktur yang mendasarinya untuk instance komputasi di MIG Anda. Dengan menggunakan kebijakan workload dengan A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), Anda dapat meminimalkan latensi jaringan di antara instance komputasi dan mengoptimalkan performa.

Berdasarkan jenis mesin yang digunakan instance komputasi di MIG Anda, kebijakan workload diperlukan atau bersifat opsional dalam situasi berikut:

  • Untuk men-deploy sub-blok instance A4X Max atau A4X, kebijakan workload diperlukan.

  • Untuk menggunakan instance A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU), kebijakan workload bersifat opsional.

Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan workload di MIG dalam dokumentasi Compute Engine.

Perbandingan kebijakan penempatan rapat dan kebijakan workload

Tabel berikut merangkum perbedaan antara kebijakan penempatan rapat dan kebijakan workload:

Kebijakan penempatan rapat Kebijakan workload
Penggunaan kebijakan
  • Instance mandiri
  • Instance yang di-deploy menggunakan Bulk API
 Grup instance terkelola (MIG)
Jenis mesin yang didukung A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, dan G2
  • Untuk Flex-start: A4 dan A3 Ultra
  • Untuk Spot atau pemesanan: A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU)
Semantik pengelompokan

Compute Engine menempatkan instance yang menggunakan kebijakan penempatan rapat yang sama lebih berdekatan.

Sebaiknya gunakan kebijakan penempatan yang berbeda untuk setiap workload. Menggunakan kembali kebijakan penempatan di seluruh instance yang menjalankan workload yang berbeda akan menyebabkan semua instance tersebut ditempatkan bersama. Penempatan bersama ini dapat mempersulit pembuatan instance yang berdekatan saat Anda melakukan penskalaan horizontal untuk workload tertentu.

Compute Engine menempatkan instance di MIG yang menggunakan kebijakan workload lebih berdekatan.

Menggunakan kembali kebijakan workload di beberapa MIG yang menjalankan workload yang berbeda akan menempatkan instance di MIG individual secara bersamaan. Penggunaan kembali is ideal untuk model pelatihan besar yang setiap grup of instance harus diisolasi satu sama lain.
Konfigurasi penempatan bersama instance komputasi

Untuk penempatan bersama instance komputasi upaya terbaik, tetapkan kolom groupPlacementPolicy.collocation ke COLLOCATED.

Untuk penempatan bersama instance komputasi upaya terbaik, tetapkan kolom workloadPolicy.type ke HIGH_THROUGHPUT.
Konfigurasi tambahan
  • Untuk penempatan instance komputasi yang ketat, tentukan maxDistance kolom.
  • Untuk kelompok GPU yang mendukung partisi, seperti A4X, tentukan gpuTopology kolom.
  • Untuk penempatan instance komputasi yang ketat, tentukan kolom maxTopologyDistance
  • Untuk kelompok GPU yang mendukung partisi, seperti A4X, tentukan acceleratorTopology kolom.

Perbandingan nilai jarak maksimum

Nilai jarak maksimum yang lebih rendah memastikan penempatan instance komputasi yang lebih berdekatan, tetapi juga meningkatkan kemungkinan beberapa instance komputasi tidak akan dibuat.

Tabel berikut menunjukkan seri mesin dan jumlah instance komputasi yang didukung oleh setiap nilai jarak maksimum:

maxDistance dalam kebijakan penempatan rapat maxTopologyDistance dalam kebijakan workload Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
Tidak ditentukan (Tidak direkomendasikan) Tidak ditentukan (Tidak direkomendasikan) Compute Engine berupaya sebaik mungkin untuk menempatkan instance komputasi sedekat mungkin satu sama lain, tetapi tanpa jarak maksimum di antara instance komputasi. A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) 1500
3 CLUSTER Compute Engine membuat instance komputasi di blok yang berdekatan. A4 1.500
2 BLOCK Compute Engine membuat instance komputasi di blok yang sama. A4 dan A3 Ultra
  • Untuk instance A4: 150
  • Untuk instance A3 Ultra, A3 Mega, dan A3 High (8 GPU): 256
1 SUBBLOCK Compute Engine membuat instance komputasi di sub-blok yang sama. A4 dan A3 Ultra 22

Langkah berikutnya