Membuat MIG yang dioptimalkan AI dengan A4X Max

Dokumen ini menjelaskan cara membuat grup instance terkelola (MIG) yang menggunakan jenis mesin yang dioptimalkan untuk akselerator A4X Max. Untuk mempelajari opsi pembuatan cluster dan instance komputasi, lihat halaman Ringkasan opsi deployment.

Jenis instance A4X Max

Instance Compute Engine, atau instance komputasi, adalah resource komputasi yang dihosting di infrastruktur Google yang dapat berupa virtual machine (VM) atau instance bare metal. Instance A4X Max tersedia sebagai instance bare metal, yang berbeda dari instance VM karena memberikan akses langsung yang tidak divirtualisasi ke hardware fisik yang mendasarinya. Untuk mempelajari lebih lanjut jenis mesin A4X Max, lihat seri A4X Max di dokumentasi Compute Engine.

Buat MIG jika Anda ingin mengelola beberapa instance A4X Max sebagai satu entitas. Untuk mempelajari MIG lebih lanjut, lihat Grup instance terkelola dalam dokumentasi Compute Engine.

Batasan

Saat Anda menggunakan jenis mesin A4X Max untuk membuat MIG, batasan berikut berlaku:

Jika Anda membuat MIG regional yang menggunakan jaringan RDMA, MIG hanya dapat membuat instance A4X Max di zona tempat Anda mengonfigurasi profil jaringan untuk RDMA.
Anda tidak dapat mengonfigurasi fleksibilitas instance di MIG.
Jika Anda menerapkan kebijakan workload ke MIG, Anda tidak dapat mengubah kebijakan di MIG saat grup memiliki instance A4X Max. Untuk mengubah kebijakan, Anda harus mengubah ukuran MIG menjadi nol terlebih dahulu.
Anda tidak dapat menggunakan template instance yang menentukan kebijakan penempatan untuk membuat MIG yang menggunakan kebijakan beban kerja.

Anda harus menggunakan model penyediaan terikat reservasi. Model penyediaan lainnya tidak didukung.
Anda tidak dapat menggunakan permintaan pengubahan ukuran untuk menambahkan instance A4X Max ke MIG. Anda harus menetapkan ukuran target MIG untuk menambahkan instance.

Sebelum memulai

Sebelum membuat MIG, jika Anda belum melakukannya, selesaikan langkah-langkah berikut:

Pilih opsi pemakaian: pilihan opsi pemakaian menentukan cara Anda mendapatkan dan menggunakan resource GPU.
Untuk mempelajari lebih lanjut, lihat Memilih opsi pemakaian.
Mendapatkan kapasitas: proses untuk mendapatkan kapasitas berbeda untuk setiap opsi konsumsi.
Untuk mempelajari proses mendapatkan kapasitas untuk opsi pemakaian yang Anda pilih, lihat Ringkasan kapasitas.

Catatan: Saat Anda meminta kapasitas A4X Max atau A4X, Anda akan mendapatkannya dalam mode semua kapasitas. Mode ini adalah satu-satunya mode operasional reservasi yang didukung untuk jenis mesin A4X Max atau A4X. Untuk mengetahui informasi selengkapnya tentang semua mode kapasitas, lihat Mode operasional reservasi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat MIG, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat MIG. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat MIG:

Untuk membuat MIG: compute.instanceGroupManagers.create pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Dasar-dasar A4X Max

Cluster A4X Max disusun dalam hierarki blok dan sub-blok untuk memfasilitasi performa jaringan non-blocking skala besar. Memahami topologi ini sangat penting saat mencadangkan kapasitas dan men-deploy workload.

Instance A4X Max: Instance A4X Max adalah jenis mesin A4X Max tunggal yang memiliki 4 GPU yang terpasang.
Sub-block: Sub-blok adalah unit dasar kapasitas A4X Max. Untuk A4X Max, sub-blok terdiri dari 18 instance A4X Max (72 GPU); instance ini membentuk domain NVLink dan terhubung menggunakan sistem NVLink multi-node. Anda membuat sub-blok A4X Max dengan menerapkan kebijakan workload yang menentukan topologi 1x72.
Blokir: Blok A4X Max terdiri dari 25 sub-blok (domain NVLink), dengan total hingga 450 instance A4X Max (1.800 GPU). Sub-blok disejajarkan dengan rel untuk penskalaan yang efisien. Setiap sub-blok memerlukan MIG. Oleh karena itu, untuk satu blok A4X Max, Anda dapat membuat 25 MIG.

Tabel berikut menunjukkan opsi topologi yang didukung untuk instance A4X Max:

Topologi (`acceleratorTopology`)	Jumlah GPU	Jumlah instance
`1x72`	72	18

Ringkasan

Membuat MIG dengan jenis mesin A4X Max mencakup langkah-langkah berikut:

Membuat jaringan VPC
Membuat kebijakan workload
Buat template instance.
Buat MIG.

Membuat jaringan VPC

Tips: Jika menyiapkan pengujian cepat, Anda dapat melewati langkah ini dan menentukan satu NIC --network-interface=nic-type=IDPF.

Untuk menyiapkan jaringan bagi jenis mesin A4X Max, buat dua jaringan VPC untuk antarmuka jaringan berikut:

1 jaringan VPC reguler dengan dua subnet untuk antarmuka jaringan (NIC) IDPF. Ini digunakan untuk komunikasi host ke host.
1 jaringan VPC dengan profil jaringan RoCE untuk NIC CX-8 saat membuat beberapa subblok A4X Max. Jaringan VPC RoCE menggunakan satu subnet bernama default-subnet-1-RDMA_NAME_PREFIX-net yang disediakan secara otomatis, dan semua delapan NIC CX-8 menggunakan subnet ini. NIC ini menggunakan RDMA over Converged Ethernet (RoCE), yang menyediakan komunikasi berbandwidth tinggi dan berlatensi rendah yang penting untuk menskalakan beberapa subblok A4X Max. Untuk satu subblok A4X Max, Anda dapat melewati jaringan VPC ini karena dalam satu subblok, komunikasi GPU ke GPU langsung ditangani oleh NVLink multi-node.

Untuk mengetahui informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

Buat jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

Panduan petunjuk

Untuk membuat jaringan, Anda dapat menggunakan petunjuk berikut:

Untuk membuat jaringan VPC reguler untuk gVNIC, lihat Membuat dan mengelola jaringan Virtual Private Cloud.
Untuk membuat jaringan VPC RoCE, lihat Membuat jaringan Virtual Private Cloud untuk NIC RDMA.

Untuk jaringan VPC ini, sebaiknya tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4X Max, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

Skrip

Untuk membuat jaringan, ikuti langkah-langkah berikut.

Gunakan skrip berikut untuk membuat jaringan VPC reguler untuk NIC IDPF.

  
    #!/bin/bash

    # Create regular VPC network for the IDPF NICs
    gcloud compute networks create IDPF_NETWORK_PREFIX-net \
      --subnet-mode=custom \
      --mtu=8896 \
      --enable-ula-internal-ipv6

    # Create subnets for the IDPF NICs
    for N in $(seq 0 1); do
      gcloud compute networks subnets create IDPF_NETWORK_PREFIX-$N \
        --network=IDPF_NETWORK_PREFIX-net \
        --region=REGION \
        --stack-type=IPV6_ONLY \
        --ipv6-access-type=INTERNAL
    done

    gcloud compute firewall-rules create IDPF_NETWORK_PREFIX-internal \
      --network=IDPF_NETWORK_PREFIX-net \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,58 \
      --source-ranges=IP_RANGE

Jika Anda memerlukan beberapa subblok A4X Max, gunakan skrip berikut untuk membuat jaringan dan subnet VPC RoCE untuk empat NIC CX-8 di setiap instance A4X Max.

Penting: Jika deployment Anda hanya terdiri dari satu subblok A4X Max, Anda dapat melewati langkah ini.
```
  
    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for RDMA NICs
    gcloud compute networks create RDMA_NAME_PREFIX-net \
      --network-profile=ZONE-vpc-roce-metal \
      --subnet-mode custom \
      --mtu=8896

    # For RoCE VPC networks for bare metal instances, a single subnet named
    # default-subnet-1-RDMA_NAME_PREFIX-net is automatically provided.
    # For more details, see https://cloud.google.com/vpc/docs/rdma-network-profiles.

  
```
Ganti kode berikut:
- IDPF_NETWORK_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan dan subnet VPC reguler untuk NIC IDPF.
- RDMA_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC dan subnet RoCE bagi NIC CX-8.
- ZONE: tentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia, seperti us-central1-a. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
- REGION: region tempat Anda ingin membuat subnet. Wilayah ini harus sesuai dengan zona yang ditentukan. Misalnya, jika zona Anda adalah us-central1-a, maka region Anda adalah us-central1.
- IP_RANGE: rentang IP yang akan digunakan untuk aturan firewall SSH.
Opsional: Untuk memverifikasi bahwa resource jaringan VPC berhasil dibuat, periksa setelan jaringan di konsol Google Cloud :
1. Di konsol Google Cloud , buka halaman VPC networks.
  Buka VPC networks
2. Telusuri daftar untuk menemukan jaringan yang Anda buat di langkah sebelumnya.
3. Untuk melihat subnet, aturan firewall, dan setelan jaringan lainnya, klik nama jaringan.

Membuat kebijakan beban kerja

Anda tidak dapat memperbarui kebijakan beban kerja setelah membuatnya. Untuk membuat perubahan pada kebijakan beban kerja, Anda harus membuat kebijakan baru.

Untuk membuat kebijakan beban kerja, pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan beban kerja, gunakan perintah gcloud compute resource-policies create workload-policy.

Untuk konfigurasi jaringan antar-akselerator, tentukan tanda --accelerator-topology dalam perintah.

Gunakan perintah berikut untuk jenis mesin A4X Max. Topologi akselerator 1x72 menunjukkan 72 GPU yang terhubung melalui NVLink dalam satu blok.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

Ganti kode berikut:

WORKLOAD_POLICY_NAME: nama kebijakan workload.
REGION: region tempat Anda ingin membuat kebijakan beban kerja. Tentukan region tempat Anda ingin membuat MIG dan jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.

REST

Untuk membuat kebijakan beban kerja, buat permintaan POST ke metode resourcePolicies.insert.

Untuk konfigurasi jaringan antar-akselerator, tentukan kolom acceleratorTopology dalam permintaan.

Buat permintaan berikut untuk jenis mesin A4X Max. Topologi akselerator 1x72 menunjukkan 72 GPU yang terhubung melalui NVLink dalam satu blok.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

Ganti kode berikut:

PROJECT_ID: project ID Anda
REGION: region tempat Anda ingin membuat kebijakan beban kerja. Tentukan region tempat Anda ingin membuat MIG dan jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
WORKLOAD_POLICY_NAME: nama kebijakan workload.

Membuat template instance

Tentukan properti instance untuk MIG dengan membuat template instance.

Untuk membuat template instance, pilih salah satu opsi berikut.

Perintah berikut juga menetapkan cakupan akses untuk instance Anda. Untuk menyederhanakan pengelolaan izin, Google merekomendasikan agar Anda menetapkan cakupan akses pada instance ke akses cloud-platform, lalu menggunakan peran IAM untuk menentukan layanan yang dapat diakses instance. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik cakupan.

gcloud

Untuk membuat template instance regional, gunakan perintah gcloud compute instance-templates create.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-maxgpu-4g-metal \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-0 \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-1,no-address \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ganti kode berikut:

INSTANCE_TEMPLATE_NAME: nama template instance.
IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk daftar sistem operasi yang didukung, lihat Sistem operasi yang didukung.
IMAGE_PROJECT: project ID image OS.
REGION: region tempat Anda ingin membuat template instance. Tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
DISK_SIZE: ukuran boot disk dalam GB.
IDPF_NETWORK_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC IDPF.
RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
RESERVATION: nama pemesanan, blok, atau subblok dalam pemesanan. Untuk mendapatkan nama reservasi atau blok yang tersedia, lihat Melihat kapasitas yang dicadangkan. Berdasarkan persyaratan penempatan instance, pilih salah satu opsi berikut:
- Untuk membuat instance A4X Max di satu blok:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- Untuk membuat instance A4X Max pada blok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- Untuk membuat instance A4X Max di subblok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
Tips: Jika pemesanan ada di project saat ini, Anda dapat menghilangkan projects/RESERVATION_OWNER_PROJECT_ID/reservations/ dari nilai pemesanan.

REST

Untuk membuat template instance regional, buat permintaan POST ke regionInstanceTemplates.insert metode.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name":"INSTANCE_TEMPLATE_NAME",
  "properties":{
    "machineType":"a4x-maxgpu-4g-metal",
    "disks":[
      {
        "boot":true,
        "initializeParams":{
          "diskSizeGb":"DISK_SIZE",
          "diskType":"hyperdisk-balanced",
          "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode":"READ_WRITE",
        "type":"PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-1"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    }
  ],
    "reservationAffinity":{
        "consumeReservationType":"SPECIFIC_RESERVATION",
        "key":"compute.googleapis.com/reservation-name",
        "values":[
          "RESERVATION"
        ]
      },
    "scheduling":{
        "provisioningModel":"RESERVATION_BOUND",
        "instanceTerminationAction":"DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart":true
      }
  }
}

Ganti kode berikut:

INSTANCE_TEMPLATE_NAME: nama template instance.
IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk daftar sistem operasi yang didukung, lihat Sistem operasi yang didukung.
IMAGE_PROJECT: project ID image OS.
REGION: region tempat Anda ingin membuat template instance. Tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
DISK_SIZE: ukuran boot disk dalam GB.
NETWORK_PROJECT_ID: project ID jaringan.
IDPF_NETWORK_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC IDPF.
REGION: region subnetwork.
RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
RESERVATION: nama pemesanan, blok, atau subblok dalam pemesanan. Untuk mendapatkan nama reservasi atau blok yang tersedia, lihat Melihat kapasitas yang dicadangkan. Berdasarkan persyaratan penempatan instance, pilih salah satu opsi berikut:
- Untuk membuat instance A4X Max di satu blok:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- Untuk membuat instance A4X Max pada blok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- Untuk membuat instance A4X Max di subblok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
Tips: Jika pemesanan ada di project saat ini, Anda dapat menghilangkan projects/RESERVATION_OWNER_PROJECT_ID/reservations/ dari nilai pemesanan.

Membuat MIG

Saat membuat MIG menggunakan jenis mesin A4X Max, tentukan jumlah instance dengan menggunakan ukuran target MIG. Anda dapat menetapkan ukuran target selama pembuatan MIG ke jumlah instance yang diperlukan atau mulai dengan nol dan meningkatkannya nanti. Perhatikan bahwa Anda tidak dapat menggunakan permintaan pengubahan ukuran untuk menambahkan instance ke MIG A4X Max.

Untuk mendapatkan topologi GPU 1x72, buat MIG dengan 18 instance A4X Max. Saat membuat MIG, terapkan kebijakan workload yang menentukan kolom acceleratorTopology. Penerapan kebijakan ini memastikan bahwa Compute Engine membuat semua 18 instance A4X Max dalam satu sub-blok untuk menggunakan domain NVLink. Jika sub-blok tidak memiliki kapasitas untuk semua 18 instance, maka instance terkelola yang tidak dapat dibuat dengan segera akan tetap dalam status CREATING hingga kapasitas tersedia. Instance terkelola ini mewakili instance komputasi yang dibuat MIG jika ada kapasitas.

Saat menerapkan kebijakan workload dengan kolom acceleratorTopology yang ditetapkan ke 1x72, Anda tidak dapat membuat lebih dari 18 instance A4X Max dalam MIG. Menentukan lebih dari 18 instance akan menyebabkan pembuatan MIG gagal. Untuk membuat beberapa domain NVLink, buat MIG terpisah untuk setiap domain dan terapkan kebijakan workload yang sama ke setiap MIG.

Untuk membuat MIG, pilih salah satu opsi berikut:

gcloud

Untuk membuat MIG dengan ukuran target yang ditentukan, gunakan perintah instance-groups managed create.

Buat MIG zona atau regional sebagai berikut:

Untuk membuat MIG zona, gunakan perintah berikut:

gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE

Untuk membuat MIG regional, gunakan perintah berikut:

gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION

Ganti kode berikut:

MIG_NAME: nama MIG.
INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat instance di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
- Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- Untuk template instance global: INSTANCE_TEMPLATE_ID
TARGET_SIZE: jumlah instance yang Anda inginkan di MIG.
WORKLOAD_POLICY_URL: Opsional: URL kebijakan beban kerja. Misalnya, projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy. Jika tidak ingin menggunakan kebijakan workload, Anda dapat menghapus tanda --workload-policy.
ZONE: zona tempat Anda ingin membuat MIG. Jika Anda menggunakan kebijakan beban kerja, tentukan zona dalam region kebijakan.
REGION: region tempat Anda ingin membuat MIG. Jika Anda menggunakan kebijakan workload, tentukan region yang sama dengan kebijakan tersebut. Untuk MIG regional, alih-alih region, Anda dapat menentukan zona di region tersebut dengan menggunakan tanda --zones.

REST

Untuk membuat MIG dengan ukuran target yang ditentukan, buat permintaan POST.

Buat MIG zona atau regional sebagai berikut:

Untuk membuat MIG zona, buat permintaan POST ke metode instanceGroupManagers.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "instanceTemplate": "INSTANCE_TEMPLATE_URL",
  "targetSize": "TARGET_SIZE",
  "resourcePolicies": {
    "workloadPolicy": WORKLOAD_POLICY_URL
  }
}

Untuk membuat MIG regional, buat permintaan POST ke metode regionInstanceGroupManagers.insert.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "versions": [
      {
        "instanceTemplate": "INSTANCE_TEMPLATE_URL"
      }
    ],
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": "TARGET_SIZE",
    "resourcePolicies": {
      "workloadPolicy": WORKLOAD_POLICY_URL
    }
  }

Ganti kode berikut:

PROJECT_ID: project ID.
ZONE: zona tempat Anda ingin membuat MIG. Tentukan zona dalam region kebijakan workload.
REGION: region tempat Anda ingin membuat MIG. Tentukan region yang sama dengan kebijakan workload.
INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat instance di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
- Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- Untuk template instance global: INSTANCE_TEMPLATE_ID
MIG_NAME: nama MIG.
TARGET_SIZE: jumlah instance yang Anda inginkan di MIG.
WORKLOAD_POLICY_URL: Opsional: URL kebijakan beban kerja. Contoh, projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

Membuat MIG yang dioptimalkan AI dengan A4X Max Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Jenis instance A4X Max

Batasan

Sebelum memulai

Peran yang diperlukan

Izin yang diperlukan

Dasar-dasar A4X Max

Ringkasan

Membuat jaringan VPC

Panduan petunjuk

Skrip

Membuat kebijakan beban kerja

gcloud

REST

Membuat template instance

gcloud

REST

Membuat MIG

gcloud

REST

Apa langkah selanjutnya?

Membuat MIG yang dioptimalkan AI dengan A4X Max