Membuat kebijakan workload untuk MIG

Dokumen ini menjelaskan cara membuat kebijakan untuk grup instance terkelola (MIG) yang memiliki instance Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D. Untuk mempelajari lebih lanjut persyaratan dan batasan yang Anda terapkan saat membuat kebijakan workload, lihat Tentang kebijakan workload.

Kebijakan workload memungkinkan Anda menentukan penempatan atau topologi untuk instance Compute Engine di MIG. Misalnya, Anda dapat menggunakan kebijakan workload untuk menempatkan instance komputasi lebih berdekatan, sehingga meminimalkan latensi jaringan untuk workload kecerdasan buatan (AI), machine learning (ML), atau komputasi berperforma tinggi (HPC).

Sebelum memulai

  • Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses Google Cloud layanan dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

    gcloud

    1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu .

  • Tetapkan region dan zona default.

    • REST

    Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

      Instal Google Cloud CLI.

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu .

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi. Google Cloud

Peran yang diperlukan

Agar mendapatkan izin yang Anda perlukan untuk membuat dan menerapkan kebijakan workload ke MIG, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) pada project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan menerapkan kebijakan workload ke MIG. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan menerapkan kebijakan workload ke MIG:

  • Untuk membuat kebijakan workload: compute.resourcePolicies.create pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat kebijakan workload

Untuk membuat kebijakan workload, gunakan salah satu metode berikut berdasarkan seri mesin yang digunakan instance komputasi di MIG Anda:

Membuat kebijakan workload untuk instance A4X Max atau A4X

Jika Anda menerapkan kebijakan workload ke instance A4X Max atau A4X di MIG, Anda harus menentukan nilai topologi akselerator saat membuat kebijakan. Tindakan ini membantu workload Anda mencapai performa jaringan non-blocking skala besar.

Untuk membuat kebijakan workload untuk instance A4X Max atau A4X, pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan workload untuk instance A4X Max atau A4X, gunakan perintah gcloud compute resource-policies create workload-policy dengan tanda --accelerator-topology=1x72 flag:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Ganti kode berikut:

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin A4X Max atau A4X tersedia, lihat Region dan zona yang tersedia.

REST

Untuk membuat kebijakan workload untuk instance A4X Max atau A4X, buat POST permintaan ke resourcePolicies.insert metode. Di isi permintaan, sertakan kolom acceleratorTopology yang ditetapkan ke 1x72:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Ganti kode berikut:

  • PROJECT_ID: ID project tempat membuat kebijakan workload Anda.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin A4X Max atau A4X tersedia, lihat Region dan zona yang tersedia.

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

Membuat kebijakan workload untuk instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D

Jika Anda ingin menerapkan kebijakan workload ke instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D di MIG, sebaiknya tentukan nilai jarak topologi maksimum saat membuat kebijakan. Tindakan ini membantu memastikan penempatan yang lebih dekat di antara instance komputasi Anda. Namun, semakin ringkas penempatan yang Anda tentukan, semakin sedikit resource yang mungkin tersedia di zona tempat Anda ingin membuat instance komputasi.

Untuk membuat kebijakan workload untuk instance A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU), pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan workload, gunakan perintah gcloud compute resource-policies create workload-policy. Berdasarkan seberapa dekat Anda ingin menempatkan instance komputasi di MIG, sertakan tanda berikut dalam perintah:

  • Untuk menempatkan instance komputasi Anda berdekatan satu sama lain dengan upaya terbaik, sertakan tanda --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Untuk mengontrol lebih lanjut penempatan instance komputasi Anda, sertakan tanda --max-topology-distance dan --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Ganti kode berikut:

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin GPU tersedia, lihat Region dan zona yang tersedia.

  • TOPOLOGY_DISTANCE: jarak topologi maksimum. Jarak maksimum yang lebih pendek dapat mengurangi probabilitas ketersediaan VM. Tentukan salah satu nilai berikut:

    • Untuk menempatkan instance A4 atau H4D di cluster yang sama: CLUSTER

    • Untuk menempatkan instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D di blok yang sama: BLOCK

    • Untuk menempatkan instance A4, A3 Ultra, atau H4D di sub-blok yang sama: SUBBLOCK

REST

Untuk membuat kebijakan workload, buat permintaan POST ke resourcePolicies.insert metode. Berdasarkan seberapa dekat Anda ingin menempatkan instance komputasi di MIG, sertakan kolom berikut di isi permintaan:

  • Untuk menempatkan instance komputasi Anda berdekatan satu sama lain dengan upaya terbaik, sertakan kolom type di isi permintaan:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Untuk mengontrol lebih lanjut penempatan instance komputasi Anda, sertakan kolom maxTopologyDistance dan type di isi permintaan:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Ganti kode berikut:

  • PROJECT_ID: ID project tempat membuat kebijakan workload Anda.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin GPU tersedia, lihat Region dan zona yang tersedia.

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

  • TOPOLOGY_DISTANCE: jarak topologi maksimum. Jarak maksimum yang lebih pendek dapat mengurangi probabilitas ketersediaan VM. Tentukan salah satu nilai berikut:

    • Untuk menempatkan instance A4 atau H4D di cluster yang sama: CLUSTER

    • Untuk menempatkan instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D di blok yang sama: BLOCK

    • Untuk menempatkan instance A4, A3 Ultra, atau H4D di sub-blok yang sama: SUBBLOCK

Langkah berikutnya