Tentang kebijakan workload di MIG

Dokumen ini menjelaskan persyaratan dan batasan yang Anda terapkan saat menggunakan kebijakan workload dengan grup instance terkelola (MIG). Secara default, Anda mengelola lokasi instance Compute Engine hanya dengan menentukan zonanya. Kebijakan workload memungkinkan Anda menentukan penempatan fisik dan topologi instance komputasi dalam suatu zona. Pendekatan ini membantu Anda, misalnya, meminimalkan latensi jaringan di seluruh instance komputasi dengan menempatkannya lebih dekat satu sama lain.

Anda hanya dapat menerapkan kebijakan workload ke MIG yang menggunakan instance A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), H4D, atau TPU (TPU7x, v6e, atau v5p). Jika Anda menggunakan instance A4X Max atau A4X, atau membuat MIG dengan slice TPU multi-host, maka kebijakan workload diperlukan kecuali jika Anda membuat satu instance komputasi untuk tujuan pengujian. Untuk seri mesin lain yang didukung, kebijakan workload bersifat opsional.

Untuk mengontrol penempatan instance komputasi yang menggunakan seri mesin lain, gunakan kebijakan penempatan.

Memahami kebijakan workload

Bagian berikut menjelaskan kasus penggunaan kebijakan workload dan properti yang Anda tentukan saat membuat kebijakan workload.

Mengelola penempatan dan topologi instance komputasi

Setelah Anda membuat kebijakan workload dan menerapkannya ke MIG, kebijakan workload akan membantu Anda mencapai hal berikut:

  • Membuat instance komputasi yang berdekatan: jika kapasitas tersedia, maka Compute Engine akan membuat instance komputasi yang berdekatan. Jika tidak, Compute Engine hanya akan membuat beberapa atau tidak ada instance komputasi yang Anda minta.

  • Mendapatkan visibilitas ke topologi instance komputasi Anda: setelah Anda menerapkan kebijakan beban kerja dengan jenis throughput tinggi (HIGH_THROUGHPUT) ke MIG, dan MIG membuat instance komputasi, Anda dapat melihat posisi instance komputasi dalam hubungannya satu sama lain. Informasi ini membantu Anda meminimalkan latensi jaringan dan memecahkan masalah error. Untuk mengetahui informasi selengkapnya, lihat Melihat lokasi fisik instance Compute Engine.

Anda dapat menerapkan kebijakan workload yang sama ke beberapa MIG. Jika Anda melakukannya, Compute Engine akan menerapkan aturan penempatan ke setiap MIG secara independen.

Bagian berikut menjelaskan properti yang harus Anda tentukan saat membuat kebijakan workload.

Mengonfigurasi properti kebijakan workload

Saat membuat kebijakan workload, Anda harus menentukan properti berikut:

  • Jenis workload (type): kolom ini menentukan tujuan tingkat tinggi cluster Anda. Anda hanya dapat menentukan HIGH_THROUGHPUT, yang menginstruksikan Compute Engine untuk menempatkan instance komputasi sedekat mungkin untuk mempercepat komunikasi.

  • Berdasarkan seri mesin yang digunakan instance komputasi di MIG, Anda dapat secara opsional menentukan salah satu properti berikut:

    • Topologi akselerator (acceleratorTopology): properti ini membantu Anda mencapai performa tinggi untuk beban kerja terdistribusi yang berjalan di beberapa instance A4X Max atau A4X, atau slice TPU multi-host, yang menggunakan konfigurasi jaringan antar-akselerator khusus. Untuk mengetahui informasi selengkapnya, lihat Properti topologi akselerator.

    • Jarak topologi maksimum (maxTopologyDistance): properti ini menentukan batas fisik paling ketat untuk membuat instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D, seperti blok atau sub-blok yang sama. Jika Compute Engine tidak dapat memenuhi batas ketat ini karena error ketersediaan resource, maka Compute Engine hanya akan membuat sebagian, atau tidak sama sekali, instance komputasi yang Anda minta. Untuk mengetahui informasi selengkapnya, lihat Properti jarak topologi maksimum.

Properti topologi akselerator

Untuk mencapai performa jaringan non-blocking berskala besar, Compute Engine mengatur instance A4X Max dan A4X ke dalam hierarki fisik blok dan sub-blok.

Untuk membuat MIG dengan instance A4X Max atau A4X, atau slice TPU multi-host, Anda harus menerapkan kebijakan workload ke MIG yang menentukan properti topologi akselerator (acceleratorTopology). Properti ini menentukan konfigurasi jaringan fisik untuk slice instance komputasi. Slice berfungsi sebagai akselerator tunggal yang sangat besar yang memberikan throughput maksimum untuk workload AI atau ML terdistribusi Anda.

Tabel berikut menunjukkan nilai topologi akselerator untuk A4X Max dan A4X. Untuk mengetahui informasi selengkapnya tentang nilai topologi untuk slice TPU multi-host, lihat Topologi TPU.

Nilai topologi akselerator Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
1x72 Compute Engine mengatur instance komputasi ke dalam sub-blok yang dialokasikan secara padat yang terdiri dari 18 instance komputasi, dengan total 72 GPU. Karena setiap sub-blok memerlukan MIG-nya sendiri, Anda dapat membuat maksimal 18 instance komputasi per MIG. Blok penuh terdiri dari 25 MIG, dengan total 450 instance komputasi. A4X Max dan A4X 18

Untuk mengetahui informasi selengkapnya tentang instance A4X Max dan A4X, lihat Seri mesin A4X Max dan A4X.

Properti jarak topologi maksimum

Saat Anda membuat dan menerapkan kebijakan workload ke MIG, Compute Engine berupaya sebaik mungkin untuk membuat instance komputasi Anda berdekatan. Jika Anda memerlukan kerapatan maksimum di zona, sebaiknya tentukan properti jarak topologi maksimum (maxTopologyDistance). Nilai jarak topologi maksimum menentukan untuk membuat instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D di cluster, blok, atau sub-blok yang sama.

Tabel berikut menunjukkan nilai jarak topologi maksimum dan seri mesin yang didukungnya:

Nilai jarak topologi maksimum Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
Tidak ditentukan (Tidak direkomendasikan) Compute Engine melakukan upaya terbaik untuk menempatkan instance compute sedekat mungkin satu sama lain, tetapi tanpa jaminan jarak maksimum antar-instance compute dalam zona. A4, A3 Ultra, A3 Mega, A3 High (8 GPU), dan H4D 1.500
CLUSTER Compute Engine membuat instance komputasi dalam blok yang berdekatan dalam cluster. A4 dan H4D 1.500
BLOCK Compute Engine membuat instance komputasi di blok yang sama. A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D
  • Untuk A4 atau H4D: 150
  • Untuk A3 Ultra, A3 Mega, atau A3 High (8 GPU): 256
SUBBLOCK Compute Engine membuat instance komputasi di sub-blok yang sama, sehingga meminimalkan latensi jaringan serendah mungkin. A4, A3 Ultra, dan H4D 22

Harga

Tidak ada biaya tambahan untuk pembuatan, penghapusan, atau penerapan kebijakan beban kerja ke MIG.

Seri mesin yang didukung

Anda hanya dapat menerapkan kebijakan workload ke MIG dengan instance komputasi yang menggunakan kombinasi seri mesin dan model penyediaan berikut:

Seri mesin Flex-start Spot Terikat dengan reservasi Standar
A4X Max Tidak Tidak Ya Tidak
A4X Tidak Tidak Ya Tidak
A4 Ya Ya Ya Tidak
A3 Ultra Ya Ya Ya Tidak
A3 Mega Tidak Ya Ya Tidak
A3 Tinggi (8 GPU) Tidak Ya Ya Tidak
H4D Ya Ya Ya Tidak
TPU7x Ya Ya Ya Ya
TPU v6e Ya Ya Ya Ya
TPU v5p Ya Ya Ya Ya

Batasan

Untuk kebijakan workload di MIG, batasan berikut berlaku:

  • Anda hanya dapat menerapkan kebijakan workload ke MIG yang ada, atau mengubah kebijakan workloadnya, jika tidak ada instance komputasi di MIG.

  • Anda dapat menerapkan kebijakan workload ke MIG regional hanya jika MIG tersebut menggunakan bentuk target distribusi berikut:

    • Untuk MIG dengan ukuran target: ANY atau ANY_SINGLE_ZONE

    • Untuk permintaan pengubahan ukuran MIG: ANY_SINGLE_ZONE

  • Anda tidak dapat memperbarui kebijakan workload setelah membuatnya.

  • Anda tidak dapat mengonfigurasi template instance kedua jika MIG Anda menggunakan kebijakan workload.

  • Anda tidak dapat menggunakan kebijakan workload bersama dengan kebijakan penempatan.

Langkah berikutnya