Membuat MIG dengan slice TPU multi-host

Dokumen ini menjelaskan cara membuat grup instance terkelola (MIG) yang membentuk slice TPU multi-host.

Sebelum memulai

  • Tinjau batasan untuk membuat MIG dengan instance TPU.
  • Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Google Cloud dan API. Untuk menjalankan kode atau sampel dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init

      Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

    2. Tetapkan region dan zona default.

Prasyarat

Sebelum melanjutkan untuk membuat slice TPU multi-host, Anda harus melakukan hal berikut:

  1. Pilih versi TPU: pilih versi TPU yang sesuai untuk beban kerja Anda. Untuk mengetahui daftar versi TPU menurut jenis workload, lihat Versi TPU yang direkomendasikan menurut jenis workload.

  2. Validasi ketersediaan TPU di lokasi pilihan Anda: TPU tersedia di region tertentu. Google Cloud Untuk menggunakan versi TPU, pastikan ketersediaannya di region pilihan Anda. Untuk mengetahui daftar lokasi TPU, lihat Ketersediaan TPU.

  3. Pastikan project Anda memiliki kuota TPU yang memadai: jika Anda membuat slice TPU multi-host dengan VM sesuai permintaan atau Spot VM, Anda harus memiliki kuota TPU yang memadai di region yang ingin Anda gunakan. Membuat slice TPU multi-host yang menggunakan reservasi TPU tidak memerlukan kuota TPU karena kuota digunakan saat reservasi dibuat. Untuk mengetahui daftar nama kuota TPU, lihat kuota TPU dan untuk mengetahui petunjuk cara melihat kuota, lihat Melihat dan mengelola kuota

  4. Pilih opsi pemakaian TPU: pilih opsi pemakaian yang paling sesuai dengan workload, durasinya, dan kebutuhan biaya Anda. Untuk mengetahui daftar ketersediaan opsi pemakaian menurut versi TPU, lihat Opsi pemakaian TPU.

  5. Pilih topologi: pilih topologi yang didukung untuk versi TPU yang dipilih. Untuk mengetahui daftar topologi yang tersedia untuk setiap versi TPU, lihat Topologi TPU.

Membuat MIG dengan slice TPU multi-host

  1. Membuat template instance.
  2. Buat kebijakan workload.
  3. Buat MIG.

Membuat template instance

Perintah untuk membuat template instance bergantung pada opsi konsumsi yang Anda gunakan: on-demand, Spot, terikat dengan reservasi, atau mulai fleksibel. Untuk mengetahui informasi selengkapnya tentang opsi pemakaian, lihat Tentang model penyediaan VM.

Membuat template instance untuk VM TPU sesuai permintaan

Perintah berikut membuat template instance menggunakan opsi konsumsi sesuai permintaan:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

Ganti placeholder berikut:

  • INSTANCE_TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU, misalnya, ct6e-standard-8t.
  • IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
  • IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.

Membuat template instance untuk VM Spot TPU

Perintah berikut membuat template instance menggunakan opsi Konsumsi spot:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=STOP \
  --provisioning-model=SPOT \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

Ganti placeholder berikut:

  • INSTANCE_TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU, misalnya, ct6e-standard-8t.
  • IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
  • IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.

Membuat template instance untuk VM yang terikat reservasi TPU

Perintah berikut membuat template instance menggunakan opsi penggunaan yang terikat dengan reservasi:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=DELETE \
  --reservation-affinity=specific \
  --provisioning-model=reservation-bound \
  --reservation=RESERVATION_NAME \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

Ganti placeholder berikut:

  • INSTANCE_TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU, misalnya, ct6e-standard-8t.
  • RESERVATION_NAME: Nama reservasi khusus yang akan dipakai.
  • IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
  • IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.

Membuat template instance untuk VM TPU Flex-start

Perintah berikut membuat template instance menggunakan opsi penggunaan flex-start:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ganti placeholder berikut:

  • INSTANCE_TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU, misalnya, ct6e-standard-8t.
  • DURATION: Durasi maksimum TPU VM dapat berjalan.
  • IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
  • IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.

Membuat kebijakan beban kerja

Anda harus membuat kebijakan beban kerja dengan parameter accelerator-topology (misalnya, 4x4, 8x8, atau 4x4x4). Topologi akselerator mengonfigurasi MIG untuk memperlakukan instance sebagai slice tunggal yang saling terhubung.

Perintah berikut akan membuat kebijakan workload:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY \
  --region=REGION

Ganti placeholder berikut:

  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.
  • TOPOLOGY: Topologi VM TPU, misalnya, 4x4x8. Untuk mengetahui informasi selengkapnya tentang topologi untuk setiap versi TPU, lihat Topologi TPU.
  • REGION: Region untuk kebijakan workload Anda.

Membuat MIG

Buat MIG zona atau regional menggunakan perintah gcloud compute instance-groups managed create sebagai berikut:

  • Untuk membuat MIG zona yang berisi slice TPU multi-host, gunakan perintah berikut:

     gcloud compute instance-groups managed create MIG_NAME \
    --size=MIG_SIZE \
    --target-size-policy-mode=bulk \
    --template=INSTANCE_TEMPLATE_URL \
    --zone=ZONE \
    --default-action-on-vm-failure=do-nothing \
    --workload-policy=WORKLOAD_POLICY_URL

  • Untuk membuat MIG regional yang berisi slice TPU multi-host, gunakan perintah berikut:

     gcloud compute instance-groups managed create MIG_NAME \
    --size=MIG_SIZE \
    --target-size-policy-mode=bulk \
    --template=INSTANCE_TEMPLATE_URL \
    --region=REGION \
    --default-action-on-vm-failure=do-nothing \
    --workload-policy=WORKLOAD_POLICY_URL \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none

Ganti placeholder berikut:

  • MIG_NAME: Nama MIG Anda.
  • MIG_SIZE: Jumlah VM di MIG.
  • INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat instance di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
    • Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Untuk template instance global: INSTANCE_TEMPLATE_ID
  • ZONE: Zona untuk MIG Anda.
  • REGION: Wilayah untuk MIG Anda.
  • WORKLOAD_POLICY_URL: URL kebijakan beban kerja yang ingin Anda gunakan untuk membuat instance di MIG. Contoh: projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME.

Membuat VM dengan nama kustom di MIG

Anda dapat membuat VM di MIG dengan menentukan nama kustom untuk setiap VM. Hal ini berguna untuk proses debug dan memastikan instance dibuat dalam urutan tertentu.

MIG yang berisi slice TPU multi-host menggunakan kebijakan ukuran target mode massal. Saat membuat VM dengan nama kustom di MIG tersebut, hal berikut berlaku:

  • Anda harus memverifikasi terlebih dahulu bahwa MIG tidak memiliki VM di dalamnya. Jika MIG memiliki VM, Anda harus mengubah ukuran MIG ke ukuran target 0 atau membuat MIG lain dengan ukuran target 0.

  • Anda hanya dapat menggunakan REST API untuk membuat VM dengan nama kustom.

Buat VM dengan nama kustom menggunakan salah satu metode REST API berikut:

  • Untuk MIG zona, gunakan instanceGroupManagers.createInstances.

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

  • Untuk MIG regional, gunakan regionInstanceGroupManagers.createInstances.

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

Ganti placeholder berikut:

  • PROJECT_ID: ID project tempat MIG berada.
  • ZONE: Zona MIG.
  • REGION: Region MIG.
  • INSTANCE_NAME_1,2,..: Nama VM yang akan ditambahkan ke MIG yang ditentukan.

Langkah berikutnya