Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Meminta VM TPU Flex-start

VM TPU Flex-start, yang didukung oleh Dynamic Workload Scheduler, menyediakan cara yang fleksibel dan hemat biaya untuk mengakses resource TPU untuk workload AI. VM Flex-start memungkinkan Anda menyediakan TPU secara dinamis sesuai kebutuhan, hingga 7 hari, tanpa pemesanan jangka panjang atau pengelolaan kuota yang rumit. Dengan VM TPU Flex-start, Anda mengirimkan permintaan penyediaan TPU yang tetap ada hingga kapasitas tersedia. Setelah tersedia, VM TPU akan berjalan selama durasi yang Anda tentukan dalam permintaan Anda.

VM TPU Flex-start cocok untuk eksperimen cepat, pengujian skala kecil, penyediaan TPU dinamis untuk workload inferensi, penyempurnaan model, dan menjalankan workload yang membutuhkan waktu kurang dari 7 hari. Untuk mengetahui informasi selengkapnya tentang opsi penggunaan TPU lainnya, lihat Opsi penggunaan Cloud TPU lainnya.

Anda dapat menghapus resource TPU kapan saja untuk menghentikan penagihan. Untuk mengetahui informasi selengkapnya tentang harga TPU, lihat Harga Cloud TPU harga.

Batasan

VM TPU Flex-start memiliki batasan berikut:

Anda dapat meminta VM TPU Flex-start untuk durasi hingga 7 hari.
Anda dapat meminta versi dan zona Cloud TPU berikut:
- TPU v6e: asia-northeast1-b, us-east5-a, us-south1-ai1b
- TPU v5p: us-east5-a
- TPU v5e: us-west4-a
Anda harus menggunakan queued resources API untuk menggunakan VM TPU Flex-start.

Sebelum memulai

Sebelum meminta VM TPU Flex-start, Anda harus:

Menginstal Google Cloud CLI
Membuat Google Cloud project
Mengaktifkan Cloud TPU API

Untuk mengetahui informasi selengkapnya, lihat Menyiapkan lingkungan Cloud TPU.

Anda juga harus memastikan memiliki kuota preemptible yang cukup untuk menggunakan VM TPU Flex-start. Jika Anda memerlukan lebih banyak core TPU daripada jumlah yang diberikan oleh kuota default, Anda harus meminta alokasi kuota yang lebih tinggi. Untuk mengetahui informasi selengkapnya tentang default dan cara meminta lebih banyak kuota, lihat Kuota Cloud TPU kuota.

Meminta VM TPU Flex-start

VM TPU Flex-start menggunakan queued resources API untuk meminta resource TPU secara antrean. Saat resource yang diminta tersedia, resource tersebut akan ditetapkan kepro Google Cloud ject Anda untuk penggunaan langsung dan eksklusif. Setelah durasi proses yang diminta, VM TPU akan dihapus dan resource yang diantrekan akan berpindah ke status SUSPENDED. Untuk mengetahui informasi selengkapnya tentang resource yang diantrekan, lihat Mengelola resource yang diantrekan.

Untuk meminta VM TPU Flex-start, gunakan perintah gcloud alpha compute tpus queued-resources create dengan flag --provisioning-model yang ditetapkan ke flex-start dan flag --max-run-duration yang ditetapkan ke durasi yang Anda inginkan untuk menjalankan TPU.

gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --zone=ZONE \
    --accelerator-type=ACCELERATOR_TYPE \
    --runtime-version=RUNTIME_VERSION \
    --node-id=NODE_ID \
    --provisioning-model=flex-start \
    --max-run-duration=RUN_DURATION

Ganti placeholder berikut:

QUEUED_RESOURCE_ID: ID yang ditetapkan pengguna untuk permintaan resource yang diantrekan.
ZONE: Zona tempat VM TPU akan dibuat.
ACCELERATOR_TYPE: Menentukan versi dan ukuran Cloud TPU yang akan dibuat. Untuk mengetahui informasi selengkapnya tentang jenis akselerator yang didukung untuk setiap versi TPU, lihat Versi TPU.
RUNTIME_VERSION: Versi software Cloud TPU.
NODE_ID: ID yang ditetapkan pengguna untuk TPU yang dibuat saat permintaan resource yang diantrekan dialokasikan.
RUN_DURATION: Durasi TPU harus berjalan. Format durasi sebagai jumlah hari, jam, menit, dan detik yang diikuti dengan d, h, m, dan s, secara berurutan. Misalnya, tentukan 72h untuk durasi 72 jam, atau tentukan 1d2h3m4s untuk durasi 1 hari, 2 jam, 3 menit, dan 4 detik. Durasi maksimum adalah 7 hari.

Anda dapat menyesuaikan lebih lanjut permintaan resource yang diantrekan untuk dijalankan pada waktu tertentu dengan flag tambahan:

--valid-after-duration: Durasi sebelum TPU tidak boleh disediakan.
--valid-after-time: Waktu sebelum TPU tidak boleh disediakan.
--valid-until-duration: Durasi validitas permintaan. Jika permintaan belum terpenuhi hingga durasi ini, permintaan akan berakhir masa berlakunya dan berpindah ke status FAILED.
--valid-until-time: Waktu validitas permintaan. Jika permintaan belum terpenuhi hingga waktu ini, permintaan akan berakhir masa berlakunya dan berpindah ke status FAILED.

Untuk mengetahui informasi selengkapnya tentang flag opsional, lihat gcloud alpha compute tpus queued-resources create dokumentasi.

Mendapatkan status permintaan untuk VM TPU Flex-start

Untuk memantau status permintaan Anda untuk VM TPU Flex-start, gunakan queued resources API untuk mendapatkan status permintaan resource yang diantrekan menggunakan gcloud alpha compute tpus queued-resources describe perintah:

gcloud alpha compute tpus queued-resources describe QUEUED_RESOURCE_ID \
    --zone ZONE

Resource yang diantrekan dapat berada dalam salah satu status berikut:

WAITING_FOR_RESOURCES: Permintaan telah lulus validasi awal dan telah ditambahkan ke antrean.
PROVISIONING: Permintaan telah dipilih dari antrean, dan VM TPU sedang dibuat.
ACTIVE: Permintaan telah dipenuhi, dan VM TPU sudah siap.
FAILED: Permintaan tidak dapat diselesaikan. Gunakan perintah describe untuk mengetahui detail selengkapnya.
SUSPENDING: Resource yang terkait dengan permintaan sedang dihapus.
SUSPENDED: Resource yang terkait dengan permintaan telah dihapus.

Untuk mengetahui informasi selengkapnya, lihat Mengambil informasi status dan diagnostik tentang permintaan resource yang diantrekan.

Memantau waktu proses VM TPU Flex-start

Anda dapat memantau waktu proses VM TPU Flex-start dengan memeriksa stempel waktu penghentian TPU:

Dapatkan detail permintaan resource yang diantrekan.
Pilih salah satu opsi berikut, bergantung pada apakah TPU Anda telah dibuat:
- Jika resource yang diantrekan menunggu resource: Di output, lihat kolom maxRunDuration. Kolom ini menentukan durasi TPU akan berjalan setelah dibuat.
- Jika TPU yang terkait dengan resource yang diantrekan telah dibuat: Di output, lihat kolom terminationTimestamp yang tercantum untuk setiap node dalam resource yang diantrekan. Kolom ini menentukan kapan TPU akan dihentikan.

Menghapus resource yang diantrekan

Anda dapat menghapus permintaan resource yang diantrekan dan TPU yang terkait dengan permintaan tersebut dengan menghapus permintaan resource yang diantrekan dan meneruskan flag --forceke perintah queued-resources delete:

gcloud alpha compute tpus queued-resources delete QUEUED_RESOURCE_ID \
    --force

Jika Anda menghapus TPU secara langsung menggunakan perintah gcloud compute tpus tpu-vm delete, Anda juga harus menghapus resource yang diantrekan, seperti yang ditunjukkan dalam contoh berikut. Saat Anda menghapus TPU, permintaan resource yang diantrekan akan bertransisi ke status SUSPENDED, setelah itu Anda dapat menghapus permintaan resource yang diantrekan.

Untuk menghapus TPU, gunakan perintah gcloud compute tpus tpu-vm delete:

gcloud compute tpus tpu-vm delete NODE_ID \
    --zone ZONE

Kemudian, untuk menghapus resource yang diantrekan, gunakan gcloud alpha compute tpus queued-resources delete perintah:

gcloud alpha compute tpus queued-resources delete QUEUED_RESOURCE_ID \
    --zone ZONE

Untuk mengetahui informasi selengkapnya, lihat Menghapus permintaan resource yang diantrekan.