Membuat VM TPU Flex-start dengan Compute Engine

VM TPU dengan mulai fleksibel, yang didukung oleh Dynamic Workload Scheduler, menawarkan cara yang fleksibel dan hemat biaya untuk mengakses resource TPU bagi workload AI hingga 7 hari tanpa pemesanan jangka panjang. Saat Anda meminta VM TPU Flex-start, permintaan Anda akan tetap berada dalam antrean hingga kapasitas tersedia. Setelah disediakan, VM TPU akan berjalan selama durasi yang Anda tentukan.

VM dengan fitur mulai cepat TPU cocok untuk eksperimen cepat, pengujian skala kecil, penyediaan TPU dinamis untuk workload inferensi, penyesuaian model, dan menjalankan workload yang membutuhkan waktu kurang dari 7 hari. Untuk mengetahui informasi selengkapnya tentang opsi pemakaian TPU lainnya, lihat Opsi pemakaian Cloud TPU.

Anda dapat menghapus resource TPU kapan saja untuk menghentikan penagihan. Untuk mengetahui informasi selengkapnya tentang harga TPU, lihat Harga Cloud TPU.

Batasan

VM TPU dengan mulai fleksibel memiliki batasan berikut:

  • Anda dapat meminta VM TPU Flex-start untuk durasi hingga 7 hari.
  • Anda dapat meminta versi dan zona Cloud TPU berikut:
    • TPU7x: us-central1-c
    • TPU v6e: asia-northeast1-b, us-east5-a, us-south1-ai1b
    • TPU v5p: us-east5-a

MIG dengan TPU memiliki batasan berikut:

  • Operasi siklus proses: Anda tidak dapat menghentikan, memulai, melanjutkan, atau menangguhkan instance TPU. Untuk mengubah konfigurasi yang memerlukan mulai ulang atau untuk berhenti dikenai biaya, Anda harus menghapus instance.

  • Distribusi zona MIG regional: Anda harus menetapkan bentuk distribusi target ke ANY_SINGLE_ZONE.

  • Update konfigurasi di MIG:

    • Anda tidak dapat mengupdate MIG yang membentuk slice TPU multi-host karena topologi akselerator yang ditentukan.
    • Anda dapat mengupdate MIG yang membentuk slice TPU host tunggal menggunakan metode otomatis atau selektif. Namun, update untuk slice TPU host tunggal tidak mendukung tindakan mulai ulang (RESTART). Jika perlu dimulai ulang dan tindakan paling mengganggu yang diizinkan adalah penggantian (REPLACE), updater akan mengganti instance; jika tidak, upaya update akan gagal dengan error.

  • Untuk MIG yang membentuk slice TPU multi-host, batasan berikut juga berlaku:

    • Kebijakan ukuran target: Anda harus menetapkan mode kebijakan ukuran target ke BULK. Setelah Anda menetapkan mode ini, Anda tidak dapat mengubahnya.

    • Ukuran target: Dalam mode massal, Anda dapat menetapkan ukuran target ke 0 atau jumlah instance yang diperlukan untuk membentuk topologi akselerator.

    • Kebijakan workload: Anda harus menentukan kebijakan workload tempat topologi akselerator ditentukan. Setelah menetapkan kebijakan workload, Anda tidak dapat mengubah atau menghapus kebijakan dari MIG.

  • Fitur yang tidak didukung: MIG dengan TPU tidak mendukung fitur berikut:

Sebelum memulai

Sebelum meminta VM TPU Flex-start, Anda harus:

  • Menginstal Google Cloud CLI
  • Buat Google Cloud project
  • Aktifkan Compute Engine API (compute.googleapis.com)
  • Pastikan Anda memiliki izin yang diperlukan:
    • roles/compute.instanceAdmin.v1
    • roles/iam.serviceAccountUser

Untuk mengetahui informasi selengkapnya, lihat Menyiapkan project untuk TPU. Google Cloud

Pastikan Anda memiliki kuota preemptible yang cukup untuk menggunakan VM TPU Flex-start. Jika workload Anda memerlukan lebih banyak core daripada alokasi saat ini, Anda dapat meminta penambahan kuota. Untuk mengetahui detailnya, lihat Kuota Cloud TPU.

Membuat VM TPU Flex-start dengan MIG

Untuk menggunakan VM dengan fitur Mulai fleksibel TPU, Anda membuat grup instance terkelola (MIG) dengan konfigurasi template instance tertentu.

Untuk mengetahui petunjuk umum tentang cara membuat VM mulai fleksibel, lihat Membuat VM mulai fleksibel.

Membuat VM TPU Flex-start dengan slice multi-host

Membuat template instance

Buat template instance yang menentukan model penyediaan FLEX_START dan durasi berjalan yang Anda pilih.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Ganti placeholder berikut:

  • TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya, ct6e-standard-8t).
  • IMAGE_FAMILY: Kelompok image OS untuk VM TPU (misalnya, ubuntu-accelerator-2204-amd64-with-tpu-v6e)
  • IMAGE_PROJECT: Project image OS untuk VM TPU (misalnya, ubuntu-os-accelerator-images)
  • DURATION: Durasi berjalan maksimum (misalnya, 7d selama 7 hari).
  • REGION: Region tempat template instance akan dibuat.

Membuat kebijakan beban kerja

Perintah berikut akan membuat kebijakan workload. Ini bersifat opsional untuk slice host tunggal.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY

Ganti placeholder berikut:

  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.
  • TOPOLOGY: Topologi VM TPU, misalnya, 4x4x8.

Buat MIG

Buat MIG menggunakan template.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME \
    --target-size-policy-mode=bulk

Ganti placeholder berikut:

  • MIG_NAME: Nama MIG Anda.
  • ZONE: Zona MIG Anda.
  • TEMPLATE_NAME: Nama template instance Anda.
  • SIZE: Jumlah instance yang akan dibuat.
  • PROJECT_ID: ID Google Cloud project Anda.
  • WORKLOAD_POLICY_REGION: Wilayah tempat kebijakan beban kerja ditentukan.
  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.

Membuat VM TPU Flex-start dengan slice host tunggal

Membuat template instance

Buat template instance yang menentukan model penyediaan FLEX_START dan durasi berjalan yang Anda pilih.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Ganti placeholder berikut:

  • TEMPLATE_NAME: Nama template instance Anda.
  • MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya, ct6e-standard-8t).
  • IMAGE_FAMILY: Kelompok image OS untuk VM TPU (misalnya, ubuntu-accelerator-2204-amd64-with-tpu-v6e)
  • IMAGE_PROJECT: Project image OS untuk VM TPU (misalnya, ubuntu-os-accelerator-images)
  • DURATION: Durasi berjalan maksimum (misalnya, 7d selama 7 hari).
  • REGION: Region tempat template instance akan dibuat.

Membuat kebijakan beban kerja

Perintah berikut akan membuat kebijakan workload. Ini bersifat opsional untuk slice host tunggal.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput

Ganti placeholder berikut:

  • WORKLOAD_POLICY_NAME: Nama untuk kebijakan workload Anda.

Buat MIG

Buat MIG menggunakan template.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

Ganti placeholder berikut:

  • MIG_NAME: Nama MIG Anda.
  • ZONE: Zona MIG Anda.
  • TEMPLATE_NAME: Nama template instance Anda.
  • SIZE: Jumlah instance yang akan dibuat.
  • PROJECT_ID: ID Google Cloud project Anda.
  • WORKLOAD_POLICY_REGION: Region tempat kebijakan beban kerja ditentukan.
  • WORKLOAD_POLICY_NAME: Nama kebijakan workload Anda.