Membuat VM TPU Flex-start dengan Compute Engine

VM TPU Flex-start, yang didukung oleh Dynamic Workload Scheduler, menawarkan cara yang fleksibel dan hemat biaya untuk mengakses resource TPU untuk workload AI hingga 7 hari tanpa reservasi jangka panjang. Saat Anda meminta VM TPU Flex-start, permintaan Anda akan tetap berada dalam antrean hingga kapasitas tersedia. Setelah di-provisioning, VM TPU akan berjalan selama durasi yang Anda tentukan.

VM TPU Flex-start cocok untuk eksperimen cepat, pengujian skala kecil, penyediaan TPU dinamis untuk workload inferensi, penyempurnaan model, dan menjalankan workload yang membutuhkan waktu kurang dari 7 hari. Untuk mengetahui informasi selengkapnya tentang opsi penggunaan TPU lainnya, lihat Opsi penggunaan Cloud TPU lainnya.

Anda dapat menghapus resource TPU kapan saja untuk menghentikan penagihan. Untuk mengetahui informasi selengkapnya tentang harga TPU, lihat Harga Cloud TPU harga.

Batasan

VM TPU Flex-start memiliki batasan berikut:

  • Anda dapat meminta VM TPU Flex-start untuk durasi hingga 7 hari.
  • Anda dapat meminta versi dan zona Cloud TPU berikut:
    • TPU7x: us-central1-c
    • TPU v6e: asia-northeast1-b, us-east5-a, us-south1-ai1b
    • TPU v5p: us-east5-a

MIG dengan TPU memiliki batasan berikut:

  • Operasi siklus proses: Anda tidak dapat menghentikan, memulai, melanjutkan, atau menangguhkan instance TPU. Untuk mengubah konfigurasi yang memerlukan memulai ulang atau menghentikan biaya, Anda harus menghapus instance.

  • Distribusi zona MIG regional: Anda harus menetapkan bentuk distribusi target ke ANY_SINGLE_ZONE.

  • Update konfigurasi di MIG:

    • Anda tidak dapat mengupdate MIG yang membentuk slice TPU multi-host karena topologi akselerator yang ditentukan.
    • Anda dapat mengupdate MIG yang membentuk slice TPU host tunggal menggunakan metode otomatis atau selektif. Namun, update untuk slice TPU host tunggal tidak mendukung tindakan memulai ulang (RESTART). Jika memulai ulang diperlukan dan tindakan paling mengganggu yang diizinkan adalah mengganti (REPLACE), updater akan mengganti instance; jika tidak, upaya update akan gagal dengan error.

  • Untuk MIG yang membentuk slice TPU multi-host, batasan berikut juga berlaku:

    • Kebijakan ukuran target: Anda harus menetapkan mode kebijakan ukuran target ke BULK. Setelah menetapkan mode ini, Anda tidak dapat mengubahnya.

    • Ukuran target: Dalam mode massal, Anda dapat menetapkan ukuran target ke 0 atau jumlah instance yang diperlukan untuk membentuk topologi akselerator.

    • Kebijakan workload: Anda harus menentukan kebijakan workload yang menentukan topologi akselerator. Setelah menetapkan kebijakan workload, Anda tidak dapat mengubah atau menghapus kebijakan dari MIG.

  • Fitur yang tidak didukung: MIG dengan TPU tidak mendukung fitur berikut:

Sebelum memulai

Sebelum meminta VM TPU Flex-start, Anda harus:

  • Menginstal Google Cloud CLI
  • Membuat Google Cloud project
  • Mengaktifkan Compute Engine API (compute.googleapis.com)
  • Memastikan Anda memiliki izin yang diperlukan:
    • roles/compute.instanceAdmin.v1
    • roles/iam.serviceAccountUser

Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Google Cloud project untuk TPU.

Pastikan Anda memiliki kuota preemptible yang cukup untuk menggunakan VM TPU Flex-start. Jika workload Anda memerlukan lebih banyak core daripada alokasi saat ini, Anda dapat meminta penambahan kuota. Untuk mengetahui detailnya, lihat Kuota Cloud TPU.

Membuat VM TPU Flex-start dengan MIG

Untuk menggunakan VM TPU Flex-start, Anda membuat grup instance terkelola (MIG) dengan konfigurasi template instance tertentu.

Untuk mengetahui petunjuk umum tentang cara membuat VM Flex-start, lihat Membuat VM Flex-start VM.

Membuat VM TPU Flex-start dengan slice multi-host

Membuat template instance

Buat template instance yang menentukan model penyediaan FLEX_START dan durasi proses yang Anda pilih.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Ganti placeholder berikut:

  • TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya, ct6e-standard-8t).
  • IMAGE_FAMILY: Keluarga image OS untuk VM TPU (misalnya, ubuntu-accelerator-2204-amd64-with-tpu-v6e)
  • IMAGE_PROJECT: Project image OS untuk VM TPU (misalnya, ubuntu-os-accelerator-images)
  • DURATION: Durasi proses maksimum (misalnya, 7d untuk 7 hari).
  • REGION: Region tempat membuat template instance.

Membuat kebijakan workload

Perintah berikut akan membuat kebijakan workload. Hal ini bersifat opsional untuk slice host tunggal.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY

Ganti placeholder berikut:

  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.
  • TOPOLOGY: Topologi VM TPU, misalnya, 4x4x8.

Membuat MIG

Buat MIG menggunakan template.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME \
    --target-size-policy-mode=bulk

Ganti placeholder berikut:

  • MIG_NAME: Nama MIG Anda.
  • ZONE: Zona MIG Anda.
  • TEMPLATE_NAME: Nama template instance Anda.
  • SIZE: Jumlah instance yang akan dibuat.
  • PROJECT_ID: ID Google Cloud project Anda.
  • WORKLOAD_POLICY_REGION: Region tempat kebijakan workload ditentukan.
  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.

Membuat VM TPU Flex-start dengan slice host tunggal

Membuat template instance

Buat template instance yang menentukan model penyediaan FLEX_START dan durasi proses yang Anda pilih.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Ganti placeholder berikut:

  • TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya, ct6e-standard-8t).
  • IMAGE_FAMILY: Keluarga image OS untuk VM TPU (misalnya, ubuntu-accelerator-2204-amd64-with-tpu-v6e)
  • IMAGE_PROJECT: Project image OS untuk VM TPU (misalnya, ubuntu-os-accelerator-images)
  • DURATION: Durasi proses maksimum (misalnya, 7d untuk 7 hari).
  • REGION: Region tempat membuat template instance.

Membuat kebijakan workload

Perintah berikut akan membuat kebijakan workload. Hal ini bersifat opsional untuk slice host tunggal.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput

Ganti placeholder berikut:

  • WORKLOAD_POLICY_NAME: Nama untuk kebijakan workload Anda.

Membuat MIG

Buat MIG menggunakan template.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

Ganti placeholder berikut:

  • MIG_NAME: Nama MIG Anda.
  • ZONE: Zona MIG Anda.
  • TEMPLATE_NAME: Nama template instance Anda.
  • SIZE: Jumlah instance yang akan dibuat.
  • PROJECT_ID: ID Google Cloud project Anda.
  • WORKLOAD_POLICY_REGION: Region tempat kebijakan workload ditentukan.
  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.