Membuat MIG yang dioptimalkan AI dengan A4X

Dokumen ini menjelaskan cara membuat grup instance terkelola (MIG) yang menggunakan jenis mesin A4X. Untuk mempelajari lebih lanjut jenis mesin yang dioptimalkan untuk akselerator ini, lihat A4X.

Buat MIG jika Anda ingin mengelola beberapa virtual machine (VM) sebagai satu entitas. Untuk mempelajari MIG lebih lanjut, lihat Grup instance terkelola dalam dokumentasi Compute Engine.

Untuk mempelajari cara lain dalam membuat VM atau cluster, lihat Ringkasan opsi deployment.

Batasan

Saat membuat MIG dengan VM A4X, pertimbangkan batasan untuk jenis mesin dan MIG.

Batasan untuk VM A4X

Batasan khusus mesin berikut berlaku:

Anda tidak menerima diskon untuk penggunaan berkelanjutan atau diskon abonemen fleksibel untuk instance yang menggunakan jenis mesin ini. Selain itu, jenis mesin A4X Max tidak mendukung diskon abonemen berbasis resource.
Anda hanya dapat membuat instance di region dan zona tertentu.
Anda tidak dapat menggunakan Persistent Disk (regional atau zonal). Anda hanya dapat menggunakan Google Cloud Hyperdisk.
Jenis mesin ini hanya tersedia di platform NVIDIA Grace.
Perubahan jenis mesin tidak didukung untuk A4X Max atau A4X. Untuk beralih ke atau dari salah satu jenis mesin ini, Anda harus membuat instance A4X Max atau A4X baru.
Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin ini.
Untuk instance A4X, saat Anda menggunakan ethtool -S untuk memantau jaringan GPU, penghitung port fisik yang berakhiran _phy tidak diperbarui. Ini adalah perilaku yang diharapkan untuk instance yang menggunakan arsitektur Fungsi Virtual (VF) MRDMA. Untuk mengetahui informasi selengkapnya, lihat Fungsi MRDMA dan alat pemantauan jaringan.
Instance A4X Max dan A4X tidak mendukung hal berikut:
Anda tidak dapat melampirkan disk Hyperdisk ML yang dibuat sebelum 4 Februari 2026 ke jenis mesin A4X.

Batasan untuk MIG

Saat Anda membuat MIG dengan VM A4X, batasan berikut berlaku:

Jika Anda membuat MIG regional, MIG hanya dapat membuat VM di zona yang berisi profil jaringan VPC Anda.
Anda tidak dapat mengonfigurasi fleksibilitas instance di MIG.
Jika Anda menerapkan kebijakan workload ke MIG, Anda tidak dapat mengubah kebijakan di MIG saat grup memiliki VM di dalamnya. Untuk mengubah kebijakan di MIG yang memiliki VM, Anda harus mengubah ukuran MIG menjadi nol terlebih dahulu.
Anda tidak dapat menggunakan template instance yang menentukan kebijakan penempatan untuk membuat MIG yang menggunakan kebijakan beban kerja.

Anda harus menggunakan model penyediaan terikat reservasi. Model penyediaan lainnya tidak didukung.
Anda tidak dapat menggunakan permintaan pengubahan ukuran untuk menambahkan VM ke MIG. Anda harus menetapkan ukuran target MIG untuk menambahkan VM.

Sebelum memulai

Sebelum membuat MIG, jika Anda belum melakukannya, selesaikan langkah-langkah berikut:

Pilih opsi pemakaian: pilihan opsi pemakaian menentukan cara Anda mendapatkan dan menggunakan resource GPU.
Untuk mempelajari lebih lanjut, lihat Memilih opsi pemakaian.
Mendapatkan kapasitas: proses untuk mendapatkan kapasitas berbeda untuk setiap opsi penggunaan.
Untuk mempelajari proses mendapatkan kapasitas untuk opsi pemakaian yang Anda pilih, lihat Ringkasan kapasitas.

Catatan: Saat meminta kapasitas A4X, Anda akan mendapatkannya dalam mode semua kapasitas. Mode ini adalah satu-satunya mode operasional reservasi yang didukung untuk jenis mesin A4X. Untuk mengetahui informasi selengkapnya tentang semua mode kapasitas, lihat Mode operasional reservasi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat MIG, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat MIG. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat MIG:

Untuk membuat MIG: compute.instanceGroupManagers.create pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Dasar-dasar A4X

Cluster A4X disusun dalam hierarki blok dan sub-blok untuk memfasilitasi performa jaringan non-blocking berskala besar. Memahami topologi ini sangat penting saat mencadangkan kapasitas dan men-deploy workload.

Instance A4X: Instance A4X adalah jenis mesin A4X tunggal yang memiliki 4 GPU terpasang.
Domain atau sub-blok NVLink: Domain NVLink, yang juga disebut sebagai sub-blok, adalah unit dasar kapasitas A4X. Domain NVLink terdiri dari 18 instance A4X (72 GPU) yang terhubung menggunakan sistem NVLink multi-node. Anda membuat domain NVLink A4X atau sub-blok dengan menerapkan kebijakan beban kerja yang menentukan topologi 1x72.
Blokir: Blok A4X terdiri dari 25 sub-blok (domain NVLink), dengan total hingga 450 instance A4X (1.800 GPU). Sub-blok disejajarkan dengan rel untuk penskalaan yang efisien. Setiap sub-blok memerlukan MIG. Oleh karena itu, untuk satu blok A4X, Anda dapat membuat 25 MIG.

Tabel berikut menunjukkan opsi topologi yang didukung untuk instance A4X:

Topologi (`acceleratorTopology`)	Jumlah GPU	Jumlah instance
`1x72`	72	18

Ringkasan

Membuat MIG dengan jenis mesin A4X mencakup langkah-langkah berikut:

Membuat jaringan VPC
Membuat kebijakan workload
Buat template instance.
Buat MIG.

Membuat jaringan VPC

Tips: Jika menyiapkan pengujian cepat, Anda dapat melewati langkah ini dan menentukan satu NIC --network-interface=nic-type=GVNIC.

Untuk menyiapkan jaringan bagi jenis mesin A4X, buat tiga jaringan VPC untuk antarmuka jaringan berikut:

2 jaringan VPC reguler untuk antarmuka jaringan (NIC) gVNIC. Ini digunakan untuk komunikasi host ke host.
1 jaringan VPC dengan profil jaringan RoCE diperlukan untuk NIC CX-7 saat membuat beberapa subblok A4X. Jaringan VPC RoCE harus memiliki 4 subnet, satu subnet untuk setiap NIC CX-7. NIC ini menggunakan RDMA over Converged Ethernet (RoCE), yang menyediakan komunikasi bandwidth tinggi dan latensi rendah yang penting untuk menskalakan beberapa subblok A4X. Untuk satu subblok A4X, Anda dapat melewati jaringan VPC ini karena dalam satu subblok, komunikasi GPU ke GPU langsung ditangani oleh NVLink multi-node.

Untuk mengetahui informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

Buat jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

Panduan petunjuk

Untuk membuat jaringan, Anda dapat menggunakan petunjuk berikut:

Untuk membuat jaringan VPC reguler untuk gVNIC, lihat Membuat dan mengelola jaringan Virtual Private Cloud.
Untuk membuat jaringan VPC RoCE, lihat Membuat jaringan Virtual Private Cloud untuk NIC RDMA.

Untuk jaringan VPC ini, sebaiknya tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4X, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

Skrip

Untuk membuat jaringan, ikuti langkah-langkah berikut.

Gunakan skrip berikut untuk membuat jaringan VPC reguler untuk gVNIC.

  
    #!/bin/bash

    # Create regular VPC networks and subnets for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=192.168.$N.0/24

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=192.168.0.0/16
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE

Jika Anda memerlukan beberapa subblok A4X, gunakan skrip berikut untuk membuat jaringan dan subnet VPC RoCE untuk empat NIC CX-7 di setiap instance A4X.

Penting: Jika deployment Anda hanya terdiri dari satu subblok A4X, Anda dapat melewati langkah ini.
```
  
    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for CX-7
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 3); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=192.168.$((N+2)).0/24 & # offset to avoid overlap with gVNICs
    done

  
```
Ganti kode berikut:
- GVNIC_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC dan subnet reguler untuk gVNIC.
- RDMA_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC dan subnet RoCE bagi NIC CX-7.
- ZONE: tentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia, seperti us-central1-a. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
- REGION: region tempat Anda ingin membuat subnet. Wilayah ini harus sesuai dengan zona yang ditentukan. Misalnya, jika zona Anda adalah us-central1-a, maka region Anda adalah us-central1.
- IP_RANGE: rentang IP yang akan digunakan untuk aturan firewall SSH.
Opsional: Untuk memverifikasi bahwa resource jaringan VPC berhasil dibuat, periksa setelan jaringan di konsol Google Cloud :
1. Di konsol Google Cloud , buka halaman VPC networks.
  Buka VPC networks
2. Telusuri daftar untuk menemukan jaringan yang Anda buat pada langkah sebelumnya.
3. Untuk melihat subnet, aturan firewall, dan setelan jaringan lainnya, klik nama jaringan.

Membuat kebijakan beban kerja

Anda tidak dapat memperbarui kebijakan beban kerja setelah membuatnya. Untuk membuat perubahan pada kebijakan beban kerja, Anda harus membuat kebijakan baru.

Untuk membuat kebijakan beban kerja, pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan beban kerja, gunakan perintah gcloud compute resource-policies create workload-policy.

Untuk konfigurasi jaringan antar-akselerator, tentukan tanda --accelerator-topology dalam perintah.

Gunakan perintah berikut untuk jenis mesin A4X. Topologi akselerator 1x72 menunjukkan 72 GPU yang terhubung melalui NVLink dalam satu blok.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

Ganti kode berikut:

WORKLOAD_POLICY_NAME: nama kebijakan workload.
REGION: region tempat Anda ingin membuat kebijakan beban kerja. Tentukan region tempat Anda ingin membuat MIG dan jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.

REST

Untuk membuat kebijakan beban kerja, buat permintaan POST ke metode resourcePolicies.insert.

Untuk konfigurasi jaringan antar-akselerator, tentukan kolom acceleratorTopology dalam permintaan.

Buat permintaan berikut untuk jenis mesin A4X. Topologi akselerator 1x72 menunjukkan 72 GPU yang terhubung melalui NVLink dalam satu blok.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

Ganti kode berikut:

PROJECT_ID: project ID Anda
REGION: region tempat Anda ingin membuat kebijakan beban kerja. Tentukan region tempat Anda ingin membuat MIG dan jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
WORKLOAD_POLICY_NAME: nama kebijakan workload.

Membuat template instance

Tentukan properti VM untuk MIG dengan membuat template instance.

Untuk membuat template instance, pilih salah satu opsi berikut.

Perintah berikut juga menetapkan cakupan akses untuk instance Anda. Untuk menyederhanakan pengelolaan izin, Google merekomendasikan agar Anda menetapkan cakupan akses pada instance ke akses cloud-platform, lalu menggunakan peran IAM untuk menentukan layanan yang dapat diakses instance. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik cakupan.

gcloud

Untuk membuat template instance regional, gunakan perintah gcloud compute instance-templates create.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-highgpu-4g \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ganti kode berikut:

INSTANCE_TEMPLATE_NAME: nama template instance.
IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk daftar sistem operasi yang didukung, lihat Sistem operasi yang didukung.
IMAGE_PROJECT: project ID image OS.
REGION: region tempat Anda ingin membuat template instance. Tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
DISK_SIZE: ukuran boot disk dalam GB.
GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan NIC gVNIC.
RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
RESERVATION: nama pemesanan, blok, atau sub-blok dalam pemesanan. Untuk mendapatkan nama reservasi atau blok yang tersedia, lihat Melihat kapasitas yang dicadangkan. Berdasarkan persyaratan penempatan instance, pilih salah satu opsi berikut:
- Untuk membuat instance di satu blok:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- Untuk membuat instance pada blok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- Untuk membuat instance di subblok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
Tips: Jika pemesanan ada di project saat ini, Anda dapat menghilangkan projects/RESERVATION_OWNER_PROJECT_ID/reservations/ dari nilai pemesanan.

REST

Untuk membuat template instance regional, buat permintaan POST ke regionInstanceTemplates.insert method.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name":"INSTANCE_TEMPLATE_NAME",
  "properties":{
    "machineType":"a4x-highgpu-4g",
    "disks":[
      {
        "boot":true,
        "initializeParams":{
          "diskSizeGb":"DISK_SIZE",
          "diskType":"hyperdisk-balanced",
          "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode":"READ_WRITE",
        "type":"PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      }
    ],
    "reservationAffinity":{
        "consumeReservationType":"SPECIFIC_RESERVATION",
        "key":"compute.googleapis.com/reservation-name",
        "values":[
          "RESERVATION"
        ]
      },
    "scheduling":{
        "provisioningModel":"RESERVATION_BOUND",
        "instanceTerminationAction":"DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart":true
      }
  }
}

Ganti kode berikut:

INSTANCE_TEMPLATE_NAME: nama template instance.
IMAGE_FAMILY: kelompok image dari image OS yang ingin Anda gunakan. Untuk daftar sistem operasi yang didukung, lihat Sistem operasi yang didukung.
IMAGE_PROJECT: project ID image OS.
REGION: region tempat Anda ingin membuat template instance. Tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU menurut region dan zona.
DISK_SIZE: ukuran boot disk dalam GB.
NETWORK_PROJECT_ID: project ID jaringan.
GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC standar yang menggunakan NIC gVNIC.
REGION: region subnetwork.
RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan dan subnet VPC yang menggunakan NIC RDMA.
RESERVATION: nama pemesanan, blok, atau sub-blok dalam pemesanan. Untuk mendapatkan nama reservasi atau blok yang tersedia, lihat Melihat kapasitas yang dicadangkan. Berdasarkan persyaratan penempatan instance, pilih salah satu opsi berikut:
- Untuk membuat instance di satu blok:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- Untuk membuat instance pada blok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- Untuk membuat instance di subblok tertentu:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
Tips: Jika pemesanan ada di project saat ini, Anda dapat menghilangkan projects/RESERVATION_OWNER_PROJECT_ID/reservations/ dari nilai pemesanan.

Membuat MIG

Saat menggunakan jenis mesin A4X, Anda harus membuat MIG dengan menentukan ukuran targetnya.

Untuk mendapatkan topologi GPU 1x72, buat MIG dengan 18 instance. Saat membuat MIG, terapkan kebijakan workload yang menentukan kolom acceleratorTopology. Penerapan kebijakan ini memastikan bahwa Compute Engine membuat semua 18 instance dalam satu sub-blok untuk menggunakan domain NVLink.

Jika sub-blok tidak memiliki kapasitas untuk semua 18 instance, maka instance terkelola yang tidak dapat dibuat dengan segera akan tetap dalam status CREATING hingga kapasitas tersedia. Instance terkelola ini mewakili VM yang dibuat MIG saat ada kapasitas.

Saat menerapkan kebijakan workload dengan kolom acceleratorTopology yang ditetapkan ke 1x72, Anda tidak dapat membuat lebih dari 18 instance dalam MIG. Menentukan lebih dari 18 instance akan menyebabkan pembuatan MIG gagal. Untuk membuat beberapa domain NVLink, buat MIG terpisah untuk setiap domain dan terapkan kebijakan workload yang sama ke setiap MIG.

Untuk membuat MIG, pilih salah satu opsi berikut:

gcloud

Untuk membuat MIG dengan ukuran target yang ditentukan, gunakan perintah instance-groups managed create.

Buat MIG berbasis zona atau regional sebagai berikut:

Untuk membuat MIG zona, gunakan perintah berikut:

gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE

Untuk membuat MIG regional, gunakan perintah berikut:

gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION

Ganti kode berikut:

MIG_NAME: nama MIG.
INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat VM di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
- Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- Untuk template instance global: INSTANCE_TEMPLATE_ID
TARGET_SIZE: jumlah VM yang Anda inginkan di MIG. Untuk topologi akselerator 1x72, tetapkan ukuran target ke 18.
WORKLOAD_POLICY_URL: URL kebijakan workload. Misalnya, projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
ZONE: zona tempat Anda ingin membuat MIG. Tentukan zona dalam region kebijakan workload.
REGION: region tempat Anda ingin membuat MIG. Tentukan region yang sama dengan kebijakan workload. Untuk MIG regional, alih-alih region, Anda dapat menentukan zona di region tersebut dengan menggunakan tanda --zones.

REST

Untuk membuat MIG dengan ukuran target yang ditentukan, buat permintaan POST.

Buat MIG berbasis zona atau regional sebagai berikut:

Untuk membuat MIG zona, buat permintaan POST ke metode instanceGroupManagers.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "instanceTemplate": "INSTANCE_TEMPLATE_URL",
  "targetSize": "TARGET_SIZE",
  "resourcePolicies": {
    "workloadPolicy": WORKLOAD_POLICY_URL
  }
}

Untuk membuat MIG regional, buat permintaan POST ke metode regionInstanceGroupManagers.insert.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "versions": [
      {
        "instanceTemplate": "INSTANCE_TEMPLATE_URL"
      }
    ],
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": "TARGET_SIZE",
    "resourcePolicies": {
      "workloadPolicy": WORKLOAD_POLICY_URL
    }
  }

Ganti kode berikut:

PROJECT_ID: project ID.
ZONE: zona tempat Anda ingin membuat MIG. Tentukan zona dalam region kebijakan workload.
REGION: region tempat Anda ingin membuat MIG. Tentukan region yang sama dengan kebijakan workload.
INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat VM di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
- Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- Untuk template instance global: INSTANCE_TEMPLATE_ID
MIG_NAME: nama MIG.
TARGET_SIZE: jumlah VM yang Anda inginkan di MIG. Untuk topologi akselerator 1x72, tetapkan ukuran target ke 18.
WORKLOAD_POLICY_URL: URL kebijakan workload. Contoh, projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

Membuat MIG yang dioptimalkan AI dengan A4X Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Batasan

Batasan untuk VM A4X

Batasan untuk MIG

Sebelum memulai

Peran yang diperlukan

Izin yang diperlukan

Dasar-dasar A4X

Ringkasan

Membuat jaringan VPC

Panduan petunjuk

Skrip

Membuat kebijakan beban kerja

gcloud

REST

Membuat template instance

gcloud

REST

Membuat MIG

gcloud

REST

Apa langkah selanjutnya?

Membuat MIG yang dioptimalkan AI dengan A4X