Membuat kebijakan workload untuk MIG

Dokumen ini menjelaskan cara membuat kebijakan untuk grup instance terkelola (MIG) yang memiliki instance Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D. Untuk mempelajari lebih lanjut persyaratan dan batasan yang Anda terapkan saat membuat kebijakan workload, lihat artikel Tentang kebijakan workload.

Kebijakan workload memungkinkan Anda menentukan penempatan atau topologi untuk instance Compute Engine di MIG. Misalnya, Anda dapat menggunakan kebijakan workload untuk menempatkan instance komputasi lebih berdekatan satu sama lain, sehingga meminimalkan latensi jaringan untuk workload kecerdasan buatan (AI), machine learning (ML), atau komputasi berperforma tinggi (HPC).

Sebelum memulai

  • Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Google Cloud dan API. Untuk menjalankan kode atau sampel dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

    gcloud

    1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  • Tetapkan region dan zona default.

    • REST

    Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

      Instal Google Cloud CLI.

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan menerapkan kebijakan workload ke MIG, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan menerapkan kebijakan workload ke MIG. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan menerapkan kebijakan workload ke MIG:

  • Untuk membuat kebijakan beban kerja: compute.resourcePolicies.create pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat kebijakan beban kerja

Untuk membuat kebijakan workload, gunakan salah satu metode berikut berdasarkan seri mesin yang digunakan instance komputasi di MIG Anda:

Membuat kebijakan workload untuk instance A4X Max atau A4X

Jika Anda menerapkan kebijakan beban kerja ke instance A4X Max atau A4X di MIG, Anda harus menentukan nilai topologi akselerator saat membuat kebijakan. Tindakan ini membantu workload Anda mencapai performa jaringan non-blocking berskala besar.

Untuk membuat kebijakan workload untuk instance A4X Max atau A4X, pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan beban kerja untuk instance A4X Max atau A4X, gunakan perintah gcloud compute resource-policies create workload-policy dengan flag --accelerator-topology=1x72:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Ganti kode berikut:

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin A4X Max atau A4X tersedia, lihat Region dan zona yang tersedia.

REST

Untuk membuat kebijakan beban kerja untuk instance A4X Max atau A4X, buat permintaan POST ke metode resourcePolicies.insert. Dalam isi permintaan, sertakan kolom acceleratorTopology yang ditetapkan ke 1x72:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Ganti kode berikut:

  • PROJECT_ID: ID project tempat Anda ingin membuat kebijakan workload.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin A4X Max atau A4X tersedia, lihat Region dan zona yang tersedia.

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

Membuat kebijakan workload untuk instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D

Jika Anda ingin menerapkan kebijakan workload ke instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D di MIG, sebaiknya tentukan nilai jarak topologi maksimum saat membuat kebijakan. Tindakan ini membantu memastikan penempatan yang lebih dekat di antara instance komputasi Anda. Namun, semakin ringkas penempatan yang Anda tentukan, semakin sedikit resource yang mungkin tersedia di zona tempat Anda ingin membuat instance komputasi.

Untuk membuat kebijakan workload untuk instance A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU), pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan beban kerja, gunakan perintah gcloud compute resource-policies create workload-policy. Berdasarkan seberapa dekat Anda ingin menempatkan instance komputasi di MIG, sertakan tanda berikut dalam perintah:

  • Untuk menempatkan instance komputasi Anda berdekatan satu sama lain berdasarkan upaya terbaik, sertakan tanda --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Untuk mengontrol lebih lanjut penempatan instance komputasi, sertakan flag --max-topology-distance dan --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Ganti kode berikut:

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin GPU tersedia, lihat Region dan zona yang tersedia.

  • TOPOLOGY_DISTANCE: jarak topologi maksimum. Jarak maksimum yang lebih pendek dapat mengurangi probabilitas ketersediaan VM. Tentukan salah satu nilai berikut:

    • Untuk menempatkan instance A4 atau H4D dalam cluster yang sama: CLUSTER

    • Untuk menempatkan instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D dalam blok yang sama: BLOCK

    • Untuk menempatkan instance A4, A3 Ultra, atau H4D di sub-blok yang sama: SUBBLOCK

REST

Untuk membuat kebijakan beban kerja, buat permintaan POST ke metode resourcePolicies.insert. Berdasarkan seberapa dekat Anda ingin menempatkan instance komputasi dalam MIG, sertakan kolom berikut dalam isi permintaan:

  • Untuk menempatkan instance komputasi berdekatan satu sama lain atas dasar upaya terbaik, sertakan kolom type di isi permintaan:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Untuk mengontrol lebih lanjut penempatan instance komputasi, sertakan kolom maxTopologyDistance dan type dalam isi permintaan:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Ganti kode berikut:

  • PROJECT_ID: ID project tempat Anda ingin membuat kebijakan workload.

  • REGION: region tempat membuat kebijakan workload Anda. Tentukan region tempat Anda ingin membuat MIG, dan tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk meninjau region tempat jenis mesin GPU tersedia, lihat Region dan zona yang tersedia.

  • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.

  • TOPOLOGY_DISTANCE: jarak topologi maksimum. Jarak maksimum yang lebih pendek dapat mengurangi probabilitas ketersediaan VM. Tentukan salah satu nilai berikut:

    • Untuk menempatkan instance A4 atau H4D dalam cluster yang sama: CLUSTER

    • Untuk menempatkan instance A4, A3 Ultra, A3 Mega, A3 High (8 GPU), atau H4D dalam blok yang sama: BLOCK

    • Untuk menempatkan instance A4, A3 Ultra, atau H4D di sub-blok yang sama: SUBBLOCK

Langkah berikutnya