Tentang kebijakan workload di MIG

Dokumen ini menjelaskan persyaratan dan batasan yang Anda terapkan saat menggunakan kebijakan workload dengan grup instance terkelola (MIG). Secara default, Anda mengelola lokasi instance Compute Engine hanya dengan menentukan zonanya. Kebijakan workload memungkinkan Anda menentukan penempatan fisik dan topologi instance komputasi dalam suatu zona. Pendekatan ini membantu Anda, misalnya, meminimalkan latensi jaringan di seluruh instance komputasi dengan menempatkannya lebih dekat satu sama lain.

Anda hanya dapat menerapkan kebijakan workload ke MIG yang menggunakan instance A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D. Jika Anda menggunakan instance A4X Max atau A4X, kebijakan workload diperlukan kecuali jika Anda membuat satu instance komputasi untuk tujuan pengujian. Untuk seri mesin yang didukung lainnya, kebijakan beban kerja bersifat opsional.

Untuk mengontrol penempatan instance komputasi yang menggunakan seri mesin lain, gunakan kebijakan penempatan.

Memahami kebijakan workload

Bagian berikut menjelaskan kasus penggunaan kebijakan workload dan properti yang Anda tentukan saat membuat kebijakan workload.

Mengelola penempatan dan topologi instance komputasi

Setelah Anda membuat kebijakan workload dan menerapkannya ke MIG, kebijakan workload akan membantu Anda mencapai hal berikut:

• Membuat instance komputasi yang berdekatan: jika kapasitas tersedia, maka Compute Engine akan membuat instance komputasi yang berdekatan. Jika tidak, Compute Engine hanya akan membuat beberapa atau tidak ada instance komputasi yang Anda minta.

• Mendapatkan visibilitas ke topologi instance komputasi Anda: setelah Anda menerapkan kebijakan beban kerja dengan jenis throughput tinggi (HIGH_THROUGHPUT) ke MIG, dan MIG membuat instance komputasi, Anda dapat melihat posisi instance komputasi dalam hubungannya satu sama lain. Informasi ini membantu Anda meminimalkan latensi jaringan dan memecahkan masalah error. Untuk mengetahui informasi selengkapnya, lihat Melihat topologi instance Compute Engine.

Anda dapat menerapkan kebijakan workload yang sama ke beberapa MIG. Jika Anda melakukannya, Compute Engine akan menerapkan aturan penempatan ke setiap MIG secara independen.

Bagian berikut menjelaskan properti yang harus Anda tentukan saat membuat kebijakan workload.

Mengonfigurasi properti kebijakan workload

Saat membuat kebijakan beban kerja, Anda harus menentukan properti berikut:

• Jenis workload (type): kolom ini menentukan tujuan tingkat tinggi cluster Anda. Anda hanya dapat menentukan HIGH_THROUGHPUT, yang menginstruksikan Compute Engine untuk menempatkan instance komputasi sedekat mungkin untuk mempercepat komunikasi.

• Berdasarkan seri mesin yang digunakan instance komputasi di MIG, Anda dapat secara opsional menentukan salah satu properti berikut:

  • Topologi akselerator (acceleratorTopology): properti ini membantu Anda mencapai performa tinggi untuk beban kerja terdistribusi yang berjalan di beberapa instance A4X Max atau A4X yang menggunakan konfigurasi jaringan antar-akselerator khusus. Untuk mengetahui informasi selengkapnya, lihat Properti topologi akselerator.

  • Jarak topologi maksimum (maxTopologyDistance): properti ini menentukan batas fisik paling ketat untuk membuat instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D, seperti blok atau sub-blok yang sama. Jika Compute Engine tidak dapat memenuhi batas ketat ini karena error ketersediaan resource, maka Compute Engine hanya akan membuat sebagian, atau tidak sama sekali, instance komputasi yang Anda minta. Untuk mengetahui informasi selengkapnya, lihat Properti jarak topologi maksimum.

Properti topologi akselerator

Untuk mencapai performa jaringan non-blocking berskala besar, Compute Engine mengatur instance A4X Max dan A4X ke dalam hierarki fisik blok dan sub-blok.

Untuk membuat MIG dengan instance A4X Max atau A4X, Anda harus menerapkan kebijakan workload ke MIG yang menentukan properti topologi akselerator (acceleratorTopology). Properti ini menentukan konfigurasi jaringan fisik untuk slice instance komputasi. Slice berfungsi sebagai akselerator tunggal yang sangat besar yang memberikan throughput maksimum untuk workload AI atau ML terdistribusi Anda.

Tabel berikut menunjukkan nilai topologi akselerator yang didukung untuk kebijakan beban kerja dan seri mesin yang didukungnya:

Nilai topologi akselerator	Deskripsi	Seri mesin yang didukung	Jumlah maksimum instance komputasi
1x72	Compute Engine mengatur instance komputasi ke dalam sub-blok yang dialokasikan secara padat yang terdiri dari 18 instance komputasi, dengan total 72 GPU. Karena setiap sub-blok memerlukan MIG-nya sendiri, Anda dapat membuat maksimal 18 instance komputasi per MIG. Blok penuh terdiri dari 25 MIG, dengan total 450 instance komputasi.	A4X Max dan A4X	18

Untuk mengetahui informasi selengkapnya tentang instance A4X Max dan A4X, lihat Seri mesin A4X Max dan A4X.

Properti jarak topologi maksimum

Saat Anda membuat dan menerapkan kebijakan beban kerja ke MIG, Compute Engine akan berupaya sebaik mungkin untuk membuat instance komputasi Anda berdekatan. Jika Anda memerlukan kerapatan maksimum di zona, sebaiknya tentukan properti jarak topologi maksimum (maxTopologyDistance). Nilai jarak topologi maksimum menentukan untuk membuat instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D di cluster, blok, atau sub-blok yang sama.

Penting: Jika Anda memiliki persyaratan ketat untuk menempatkan instance komputasi di workload, Anda mungkin mengalami error karena ketersediaan resource. Jika Anda mengalami error tersebut, gunakan kebijakan workload dengan persyaratan penempatan yang tidak terlalu ketat.

Tabel berikut menunjukkan nilai jarak topologi maksimum dan seri mesin yang didukungnya:

Nilai jarak topologi maksimum	Deskripsi	Seri mesin yang didukung	Jumlah maksimum instance komputasi
Tidak ditentukan (Tidak direkomendasikan)	Compute Engine melakukan upaya terbaik untuk menempatkan instance compute sedekat mungkin satu sama lain, tetapi tanpa jaminan jarak maksimum antar-instance compute dalam zona.	A4, A3 Ultra, A3 Mega, A3 High (8 GPU), dan H4D	1.500
CLUSTER	Compute Engine membuat instance komputasi dalam blok yang berdekatan dalam cluster.	A4 dan H4D	1.500
BLOCK	Compute Engine membuat instance komputasi di blok yang sama.	A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D	Untuk A4 atau H4D: 150 Untuk A3 Ultra, A3 Mega, atau A3 High (8 GPU): 256
SUBBLOCK	Compute Engine membuat instance komputasi di sub-blok yang sama, sehingga meminimalkan latensi jaringan serendah mungkin.	A4, A3 Ultra, dan H4D	22

Harga

Tidak ada biaya tambahan untuk pembuatan, penghapusan, atau penerapan kebijakan beban kerja ke MIG.

Batasan

Untuk kebijakan workload di MIG, batasan berikut berlaku:

• Anda hanya dapat menerapkan kebijakan workload ke MIG yang ada, atau mengubah kebijakan workloadnya, jika tidak ada instance komputasi di MIG.

• Anda hanya dapat menerapkan kebijakan workload ke MIG dengan instance komputasi yang menggunakan kombinasi jenis mesin dan model penyediaan berikut:

  	Seri mesin	Model penyediaan
  	A4, A3 Ultra, dan H4D	Flex-start
  	A4, A3 Ultra, A3 Mega, A3 High (8 GPU), dan H4D	Spot
  	A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), dan H4D	Terikat dengan reservasi

• Anda dapat menerapkan kebijakan workload ke MIG regional hanya jika MIG tersebut menggunakan bentuk target distribusi berikut:

  • Untuk MIG dengan ukuran target: ANY atau ANY_SINGLE_ZONE

  • Untuk permintaan pengubahan ukuran MIG: ANY_SINGLE_ZONE

• Anda tidak dapat memperbarui kebijakan workload setelah membuatnya.

• Anda tidak dapat mengonfigurasi template instance kedua jika MIG Anda menggunakan kebijakan workload.

• Anda tidak dapat menggunakan kebijakan workload bersama dengan kebijakan penempatan.

Langkah berikutnya

• Pelajari cara membuat kebijakan workload untuk MIG.

• Pelajari cara melihat kebijakan workload.