Mengelola Spot VM TPU

Spot VM menyediakan kapasitas yang tidak digunakan dengan tarif yang sangat didiskon. Spot VM dapat di-preempt kapan saja, tetapi tidak seperti TPU preemptible, tidak ada batasan durasi runtime. Anda tidak dapat memulai ulang Spot VM TPU, dan Anda harus membuatnya ulang setelah preemption. Anda juga tidak dapat menggunakan durasi pemberitahuan preemption 120 detik (Pratinjau) dengan Spot VM TPU. Untuk mengetahui informasi selengkapnya tentang Spot VM secara umum, lihat dokumentasi Compute Engine tentang Spot VM.

Membuat Spot VM TPU

Anda dapat membuat Spot VM TPU menggunakan resource dalam antrean, yang akan menambahkan permintaan pembuatan Anda ke antrean dan memungkinkan Anda menerima kapasitas setelah tersedia. Membuat TPU sebagai resource dalam antrean adalah praktik terbaik. Untuk mengetahui informasi selengkapnya, lihat Panduan pengguna resource dalam antrean.

Contoh berikut menunjukkan cara membuat Spot VM TPU menggunakan resource dalam antrean:

gcloud

Tambahkan flag --spot ke perintah gcloud compute tpus queued-resources:

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

Tambahkan spot: {} ke isi permintaan:

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

Konsol

  1. Di Google Cloud konsol, buka halaman TPU:

    Buka TPU

  2. Klik Buat TPU.

  3. Di kolom Nama, masukkan nama untuk TPU Anda.

  4. Di kotak Zona, pilih zona tempat Anda ingin membuat TPU.

  5. Di kotak Jenis TPU, pilih jenis akselerator. Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat Versi TPU.

  6. Di kotak Versi software TPU, pilih versi software. Saat membuat VM Cloud TPU, versi software TPU menentukan versi runtime TPU yang akan diinstal. Untuk mengetahui informasi selengkapnya, lihat Versi software TPU.

  7. Klik tombol Aktifkan antrean.

  8. Di kolom Nama resource dalam antrean, masukkan nama untuk permintaan resource dalam antrean Anda.

  9. Luaskan bagian Pengelolaan.

  10. Centang kotak Jadikan ini Spot VM TPU.

  11. Klik Buat.

Anda juga dapat membuat Spot VM TPU tanpa menggunakan resource dalam antrean:

gcloud

Tambahkan flag --spot ke perintah gcloud compute tpus tpu-vm:

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

Tambahkan scheduling_config: {spot: true} ke isi permintaan:

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

Konsol

  1. Di Google Cloud konsol, buka halaman TPU:

    Buka TPU

  2. Klik Buat TPU.

  3. Di kolom Nama, masukkan nama untuk TPU Anda.

  4. Di kotak Zona, pilih zona tempat Anda ingin membuat TPU.

  5. Di kotak Jenis TPU, pilih jenis akselerator. Jenis akselerator menentukan versi dan ukuran Cloud TPU yang ingin Anda buat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat Versi TPU.

  6. Di kotak Versi software TPU, pilih versi software. Saat membuat VM Cloud TPU, versi software TPU menentukan versi runtime TPU yang akan diinstal. Untuk mengetahui informasi selengkapnya, lihat Versi software TPU.

  7. Luaskan bagian Pengelolaan.

  8. Centang kotak Jadikan ini Spot VM TPU.

  9. Klik Buat.

Memeriksa apakah VM TPU adalah Spot VM

gcloud

Untuk mengonfirmasi apakah VM TPU Anda adalah Spot VM, gunakan perintah describe:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Jika VM TPU adalah Spot VM, output akan menyertakan kolom spot yang ditetapkan ke true, mirip dengan berikut ini:

...
schedulingConfig:
spot: true
...

Konsol

  1. Di Google Cloud konsol, buka halaman TPU:

    Buka TPU

  2. Klik nama Cloud TPU Anda.

    Jika VM TPU adalah Spot VM, Tingkat adalah Spot VM.

Harga dan kuota

Harga untuk Spot VM TPU jauh lebih rendah daripada harga untuk TPU sesuai permintaan dan yang dicadangkan. Untuk mengetahui informasi selengkapnya tentang harga, lihat Harga Cloud TPU.

Anda memerlukan kuota preemptible untuk menggunakan Spot VM TPU. Untuk mengetahui informasi selengkapnya, lihat Kuota.

Langkah berikutnya