Tentang kebijakan workload di MIG

Dokumen ini menjelaskan persyaratan dan batasan yang Anda terapkan saat menggunakan kebijakan workload dengan grup instance terkelola (MIG). Secara default, Anda hanya mengelola lokasi instance Compute Engine dengan menentukan zonanya. Kebijakan workload memungkinkan Anda menentukan penempatan fisik dan topologi instance komputasi dalam zona. Pendekatan ini membantu Anda, misalnya, meminimalkan latensi jaringan di seluruh instance komputasi dengan menempatkannya lebih dekat satu sama lain.

Anda hanya dapat menerapkan kebijakan workload ke MIG yang menggunakan instance A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 Tinggi (8 GPU), H4D, atau TPU (TPU7x, v6e, atau v5p). Jika Anda menggunakan instance A4X Max atau A4X, atau membuat MIG dengan slice TPU multi-host, kebijakan workload diperlukan kecuali jika Anda membuat satu instance komputasi untuk tujuan pengujian. Untuk seri mesin lain yang didukung, kebijakan workload bersifat opsional.

Untuk mengontrol penempatan instance komputasi yang menggunakan seri mesin lain, gunakan kebijakan penempatan.

Memahami kebijakan workload

Bagian berikut menjelaskan kasus penggunaan kebijakan workload dan properti yang Anda tentukan saat membuat kebijakan workload.

Mengelola penempatan dan topologi instance komputasi

Setelah Anda membuat kebijakan workload dan menerapkannya ke MIG, kebijakan workload akan membantu Anda mencapai hal berikut:

  • Membuat instance komputasi yang berdekatan: jika kapasitas tersedia, Compute Engine akan membuat instance komputasi yang berdekatan. Jika tidak, Compute Engine hanya akan membuat beberapa atau tidak ada instance komputasi yang Anda minta.

  • Mendapatkan visibilitas ke topologi instance komputasi Anda: setelah Anda menerapkan kebijakan workload dengan jenis throughput tinggi (HIGH_THROUGHPUT) ke MIG, dan MIG membuat instance komputasi, Anda dapat melihat posisi instance komputasi dalam hubungannya satu sama lain. Informasi ini membantu Anda meminimalkan latensi jaringan dan memecahkan masalah error. Untuk mengetahui informasi selengkapnya, lihat Melihat topologi instance Compute Engine.

Anda dapat menerapkan kebijakan workload yang sama ke beberapa MIG. Jika Anda melakukannya, Compute Engine akan menerapkan aturan penempatan ke setiap MIG secara independen.

Bagian berikut menjelaskan properti yang harus Anda tentukan saat membuat kebijakan workload.

Mengonfigurasi properti kebijakan workload

Saat membuat kebijakan workload, Anda harus menentukan properti berikut:

  • Jenis workload (type): kolom ini menentukan sasaran tingkat tinggi cluster Anda. Anda hanya dapat menentukan HIGH_THROUGHPUT, yang menginstruksikan Compute Engine untuk menempatkan instance komputasi sedekat mungkin untuk mempercepat komunikasi.

  • Berdasarkan seri mesin yang digunakan instance komputasi di MIG Anda, Anda dapat secara opsional menentukan salah satu properti berikut:

    • Topologi akselerator (acceleratorTopology): properti ini membantu Anda mencapai performa tinggi untuk workload terdistribusi yang berjalan di beberapa instance A4X Max atau A4X, atau slice TPU multi-host, yang menggunakan konfigurasi jaringan antar-akselerator khusus. Untuk mengetahui informasi selengkapnya, lihat Properti topologi akselerator.

    • Jarak topologi maksimum (maxTopologyDistance): properti ini menentukan batas fisik yang paling ketat untuk membuat instance A4, A3 Ultra, A3 Mega, A3 Tinggi (8 GPU), atau H4D, seperti blok atau sub-blok yang sama. Jika Compute Engine tidak dapat memenuhi batas ketat ini karena error ketersediaan resource, Compute Engine hanya akan membuat sebagian, atau tidak ada, instance komputasi yang Anda minta. Untuk mengetahui informasi selengkapnya, lihat Properti jarak topologi maksimum.

Properti topologi akselerator

Untuk mencapai performa jaringan skala besar yang tidak memblokir, Compute Engine mengatur instance A4X Max dan A4X ke dalam hierarki fisik blok dan sub-blok.

Untuk membuat MIG dengan instance A4X Max atau A4X, atau slice TPU multi-host, Anda harus menerapkan kebijakan workload ke MIG yang menentukan properti topologi akselerator (acceleratorTopology). Properti ini menentukan konfigurasi jaringan fisik untuk slice instance komputasi. Slice bertindak sebagai akselerator tunggal yang besar dan memberikan throughput maksimum untuk workload AI atau ML terdistribusi.

Tabel berikut menunjukkan nilai topologi akselerator untuk A4X Max dan A4X. Untuk mengetahui informasi selengkapnya tentang nilai topologi untuk slice TPU multi-host, lihat Topologi TPU.

Nilai topologi akselerator Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
1x72 Compute Engine mengatur instance komputasi ke dalam sub-blok yang dialokasikan padat yang terdiri dari 18 instance komputasi, dengan total 72 GPU. Karena setiap sub-blok memerlukan MIG-nya sendiri, Anda dapat membuat maksimum 18 instance komputasi per MIG. Blok penuh terdiri dari 25 MIG, dengan total 450 instance komputasi. A4X Max dan A4X 18

Untuk mengetahui informasi selengkapnya tentang instance A4X Max dan A4X, lihat Seri mesin A4X Max dan A4X.

Properti jarak topologi maksimum

Saat Anda membuat dan menerapkan kebijakan workload ke MIG, Compute Engine akan melakukan upaya terbaik untuk membuat instance komputasi Anda berdekatan. Jika Anda memerlukan kekompakan maksimum dalam zona, sebaiknya tentukan properti jarak topologi maksimum (maxTopologyDistance). Nilai jarak topologi maksimum menentukan untuk membuat instance A4, A3 Ultra, A3 Mega, A3 Tinggi (8 GPU), atau H4D di cluster, blok, atau sub-blok yang sama.

Tabel berikut menunjukkan nilai jarak topologi maksimum dan seri mesin yang didukung:

Nilai jarak topologi maksimum Deskripsi Seri mesin yang didukung Jumlah maksimum instance komputasi
Tidak ditentukan (Tidak direkomendasikan) Compute Engine melakukan upaya terbaik untuk menempatkan instance komputasi sedekat mungkin satu sama lain, tetapi tanpa jaminan jarak maksimum di antara instance komputasi dalam zona. A4, A3 Ultra, A3 Mega, A3 Tinggi (8 GPU), dan H4D 1.500
CLUSTER Compute Engine membuat instance komputasi di blok yang berdekatan dalam cluster. A4 dan H4D 1.500
BLOCK Compute Engine membuat instance komputasi di blok yang sama. A4, A3 Ultra, A3 Mega, A3 Tinggi (8 GPU), atau H4D
  • Untuk A4 atau H4D: 150
  • Untuk A3 Ultra, A3 Mega, atau A3 Tinggi (8 GPU): 256
SUBBLOCK Compute Engine membuat instance komputasi di sub-blok yang sama sehingga meminimalkan latensi jaringan sebanyak mungkin. A4, A3 Ultra, dan H4D 22

Harga

Tidak ada biaya tambahan untuk pembuatan, penghapusan, atau penerapan kebijakan workload ke MIG.

Seri mesin yang didukung

Anda hanya dapat menerapkan kebijakan workload ke MIG dengan instance komputasi yang menggunakan kombinasi seri mesin dan model penyediaan berikut:

Seri mesin Flex-start Spot Terikat pemesanan Standar
A4X Max Tidak Tidak Ya Tidak
A4X Tidak Tidak Ya Tidak
A4 Ya Ya Ya Tidak
A3 Ultra Ya Ya Ya Tidak
A3 Mega Tidak Ya Ya Tidak
A3 Tinggi (8 GPU) Tidak Ya Ya Tidak
H4D Ya Ya Ya Tidak
TPU7x Ya Ya Ya Ya
TPU v6e Ya Ya Ya Ya
TPU v5p Ya Ya Ya Ya

Batasan

Untuk kebijakan workload di MIG, batasan berikut berlaku:

  • Anda hanya dapat menerapkan kebijakan workload ke MIG yang ada, atau mengubah kebijakan workload-nya, jika tidak ada instance komputasi di MIG.

  • Anda hanya dapat menerapkan kebijakan workload ke MIG regional jika MIG menggunakan berikut bentuk target distribusi:

    • Untuk MIG dengan ukuran target: ANY atau ANY_SINGLE_ZONE

    • Untuk permintaan pengubahan ukuran MIG: ANY_SINGLE_ZONE

  • Anda tidak dapat memperbarui kebijakan workload setelah membuatnya.

  • Anda tidak dapat mengonfigurasi template instance kedua jika MIG Anda menggunakan kebijakan workload.

  • Anda tidak dapat menggunakan kebijakan workload bersama dengan kebijakan penempatan.

Langkah berikutnya