Ringkasan kebijakan penempatan rapat dan kebijakan beban kerja

Dokumen ini memberikan ringkasan dan perbandingan kebijakan penempatan rapat dan kebijakan workload. Kedua kebijakan memungkinkan Anda mengonfigurasi penempatan instance Compute Engine untuk meminimalkan latensi jaringan.

Secara default, Anda mengelola lokasi instance komputasi dengan hanya menentukan zonanya. Saat Anda menggunakan permintaan pengubahan ukuran grup instance terkelola (MIG) atau pemesanan untuk masa mendatang guna mendapatkan mesin A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), instance komputasi yang Anda terima akan ditempatkan secara padat. Namun, Anda mungkin ingin menempatkan instance komputasi tertentu lebih berdekatan untuk mengoptimalkan performa antar-instance. Untuk menempatkan instance komputasi lebih berdekatan, Anda dapat menerapkan kebijakan penempatan ringkas ke instance komputasi atau kebijakan workload ke MIG.

Kebijakan penempatan rapat untuk instance komputasi

Saat Anda menerapkan kebijakan penempatan rapat ke instance komputasi mandiri, atau instance komputasi yang dibuat secara massal, Compute Engine akan berupaya sebaik mungkin untuk membuat instance komputasi sedekat mungkin satu sama lain. Jika aplikasi Anda memerlukan latensi jaringan minimal, tentukan kolom maxDistance (Pratinjau) saat Anda membuat kebijakan penempatan yang ringkas.

Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan penempatan ringkas dalam dokumentasi Compute Engine.

Kebijakan workload untuk MIG

Saat menerapkan kebijakan workload ke MIG, Anda dapat menentukan penempatan dan infrastruktur yang mendasarinya untuk instance komputasi di MIG. Dengan menggunakan kebijakan workload dengan A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), Anda dapat meminimalkan latensi jaringan di antara instance komputasi dan mengoptimalkan performa.

Berdasarkan jenis mesin yang digunakan instance komputasi di MIG Anda, kebijakan workload diperlukan atau bersifat opsional dalam situasi berikut:

  • Untuk men-deploy sub-blok instance A4X Max atau A4X, kebijakan workload diperlukan.

  • Untuk menggunakan instance A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU), kebijakan workload bersifat opsional.

Untuk mengetahui informasi selengkapnya, lihat Tentang kebijakan beban kerja di MIG dalam dokumentasi Compute Engine.

Perbandingan kebijakan penempatan rapat dan kebijakan beban kerja

Tabel berikut merangkum perbedaan antara kebijakan penempatan ringkas dan kebijakan beban kerja:

Kebijakan penempatan rapat Kebijakan workload
Penggunaan kebijakan
  • Instance mandiri
  • Instance yang di-deploy menggunakan Bulk API
 Grup instance terkelola (MIG)
Jenis mesin yang didukung A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, dan G2
  • Untuk Flex-start: A4 dan A3 Ultra
  • Untuk Spot atau reservasi: A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU)
Semantik pengelompokan

Compute Engine menempatkan instance yang menggunakan kebijakan penempatan rapat yang sama lebih berdekatan.

Sebaiknya gunakan kebijakan penempatan yang berbeda untuk setiap workload. Penggunaan ulang kebijakan penempatan di seluruh instance yang menjalankan workload yang berbeda menyebabkan semua instance tersebut ditempatkan bersama. Kolokasi ini dapat mempersulit pembuatan instance yang berdekatan saat Anda menskalakan beban kerja tertentu.

Compute Engine menempatkan instance dalam MIG yang menggunakan kebijakan workload lebih berdekatan.

Menggunakan kembali kebijakan workload di beberapa MIG yang menjalankan workload berbeda akan menempatkan instance di setiap MIG secara bersamaan. Penggunaan ulang ideal untuk model pelatihan besar yang setiap grup instancenya harus diisolasi satu sama lain.
Konfigurasi kolokasi instance komputasi

Untuk kolokasi instance komputasi terbaik, tetapkan kolom groupPlacementPolicy.collocation ke COLLOCATED.

Untuk kolokasi instance komputasi terbaik, tetapkan kolom workloadPolicy.type ke HIGH_THROUGHPUT.
Konfigurasi tambahan
  • Untuk penempatan instance komputasi yang ketat, tentukan kolom maxDistance.
  • Untuk kelompok GPU yang mendukung partisi, seperti A4X, tentukan kolom gpuTopology.
  • Untuk penempatan instance komputasi yang ketat, tentukan kolom maxTopologyDistance.
  • Untuk kelompok GPU yang mendukung partisi, seperti A4X, tentukan kolom acceleratorTopology.

Perbandingan nilai jarak maksimum

Nilai jarak maksimum yang lebih rendah memastikan penempatan instance komputasi yang lebih berdekatan, tetapi juga meningkatkan kemungkinan beberapa instance komputasi tidak akan dibuat.

Tabel berikut menunjukkan seri mesin dan jumlah instance komputasi yang didukung oleh setiap nilai jarak maksimum:

maxDistance dalam kebijakan penempatan rapat maxTopologyDistance dalam kebijakan workload Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
Tidak ditentukan (Tidak direkomendasikan) Tidak ditentukan (Tidak direkomendasikan) Compute Engine melakukan upaya terbaik untuk menempatkan instance komputasi sedekat mungkin satu sama lain, tetapi tanpa jarak maksimum antar-instance komputasi. A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) 1500
3 CLUSTER Compute Engine membuat instance komputasi dalam blok yang berdekatan. A4 1.500
2 BLOCK Compute Engine membuat instance komputasi dalam blok yang sama. A4 dan A3 Ultra
  • Untuk instance A4: 150
  • Untuk instance A3 Ultra, A3 Mega, dan A3 High (8 GPU): 256
1 SUBBLOCK Compute Engine membuat instance komputasi di sub-blok yang sama. A4 dan A3 Ultra 22

Langkah berikutnya