Merencanakan resource Cloud TPU

Halaman ini menjelaskan cara merencanakan penggunaan Tensor Processing Unit (TPU).

Memilih opsi pemakaian

Opsi konsumsi mengacu pada cara mendapatkan dan menggunakan resource komputasi. Anda dapat meminta kapasitas VM Cloud TPU berdasarkan kebutuhan Anda akan kecepatan, durasi, biaya, dan toleransi pengakhiran. Opsi meliputi:

  • On-demand: Instance bayar sesuai penggunaan standar.
  • Spot VM: Instance preemptible yang lebih murah. Menggunakan kuota preemptible.
  • VM flex-start: Cadangkan kapasitas sesuai kebutuhan, hingga 7 hari, tanpa reservasi jangka panjang atau pengelolaan kuota yang rumit.
  • Reservasi: Pesan kapasitas untuk durasi tertentu (hingga 90 hari atau lebih dari 1 tahun), yang menjamin ketersediaan. Menggunakan kuota sesuai permintaan.

Tabel berikut membandingkan opsi pemakaian TPU berdasarkan cara kerjanya, kasus penggunaan yang ideal, serta versi dan zona TPU yang didukung.

Opsi pemakaian Cara kerjanya Paling baik digunakan untuk Versi dan zona TPU yang didukung
Pemesanan untuk masa mendatang selama satu tahun atau lebih

Anda meminta resource TPU untuk satu tahun atau lebih di awal. Resource ini dicadangkan untuk penggunaan eksklusif Anda selama waktu tersebut.

Pemesanan memberikan tingkat jaminan tertinggi untuk kapasitas dan memberikan harga yang lebih rendah daripada resource sesuai permintaan.

Pemesanan TPU mendatang mencakup diskon abonemen (DA) DA memberikan harga diskon saat Anda membeli kontrak abonemen. Untuk mengetahui informasi selengkapnya, lihat Pemesanan untuk masa mendatang selama satu tahun atau lebih

 Pemesanan untuk masa mendatang selama satu tahun atau lebih sangat ideal untuk tugas pelatihan dan workload inferensi yang berjalan lama. Semua versi TPU: Lihat Region dan zona TPU
Pemesanan untuk masa mendatang hingga 90 hari (mode kalender)

Anda meminta resource TPU untuk waktu mulai dan durasi tertentu, antara satu dan 90 hari. Resource ini dicadangkan untuk penggunaan eksklusif Anda selama waktu tersebut. Untuk mengetahui informasi selengkapnya, lihat Pemesanan untuk masa mendatang hingga 90 hari (dalam mode kalender)

Pemesanan memberikan tingkat jaminan tertinggi untuk kapasitas dan memberikan harga yang lebih rendah daripada resource sesuai permintaan.

 Pemesanan untuk masa mendatang dalam mode kalender cocok untuk workload pelatihan dan eksperimen yang memerlukan waktu mulai yang tepat dan memiliki durasi yang ditentukan.

TPU7x (Ironwood) untuk pelatihan dan penayangan: us-central1-c

v6e (Trillium) untuk pelatihan dan penayangan: asia-northeast1-b, us-east5-a

v5p untuk pelatihan dan penayangan: us-east5-a
Sesuai permintaan

Anda meminta resource TPU untuk segera digunakan, selama yang Anda butuhkan.

On-demand memberikan fleksibilitas yang signifikan. Resource sesuai permintaan tidak di-preempt, tetapi tidak ada jaminan bahwa ada cukup resource TPU yang tersedia untuk memenuhi permintaan Anda. On-demand adalah opsi default saat Anda membuat resource TPU. Untuk mengetahui informasi selengkapnya tentang cara membuat dan menggunakan TPU sesuai permintaan, lihat Membuat VM TPU.

 Sesuai untuk tugas mendesak dan beban kerja yang memerlukan waktu berakhir yang fleksibel. Semua versi TPU: Lihat Region dan zona TPU
Flex-start (Pratinjau)

Anda meminta resource TPU untuk jangka waktu tertentu, hingga tujuh hari, tanpa memesan kapasitas terlebih dahulu.

VM TPU Flex-start disediakan dari kumpulan kapasitas khusus, sehingga ketersediaan resource ini lebih tinggi daripada resource sesuai permintaan. Untuk mengetahui informasi selengkapnya, lihat Meminta VM dengan fitur mulai fleksibel TPU.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan VM dengan fitur mulai fleksibel TPU dengan Google Kubernetes Engine (GKE), lihat Tentang penyediaan GPU dan TPU dengan mode penyediaan mulai fleksibel.

 Flex-start ideal untuk eksperimen, pengujian skala kecil, penyediaan TPU dinamis untuk workload inferensi, fine-tuning model, dan menjalankan workload yang berlangsung kurang dari tujuh hari.

TPU7x (Ironwood): us-central1-c (hanya menggunakan GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a
Spot

Anda meminta resource TPU yang dapat di-preempt.

Spot VM tersedia dengan harga yang jauh lebih rendah daripada resource sesuai permintaan. Spot VM sering kali lebih mudah diperoleh daripada resource sesuai permintaan, tetapi dapat di-preempt (dimatikan) kapan saja. Tidak ada batasan durasi runtime. Untuk mengetahui informasi selengkapnya tentang Spot VM TPU, lihat Mengelola Spot VM TPU.

 Spot cocok untuk menjadwalkan workload berprioritas rendah seperti pra-pelatihan model, fine-tuning model, dan tugas simulasi yang toleran terhadap gangguan ketersediaan. Semua versi TPU: Lihat Region dan zona TPU

Pilih versi TPU

Pilih versi TPU, misalnya, v5p, v6e, atau TPU7x (Ironwood) berdasarkan kebutuhan pelatihan atau inferensi model Anda. Untuk mengetahui informasi selengkapnya, lihat versi TPU.

Meminta kuota TPU

Untuk menggunakan VM TPU, terlepas dari opsi pemakaian, Anda memerlukan kuota sesuai permintaan atau preemptible untuk resource Cloud TPU. Pastikan Anda memiliki kuota yang cukup untuk opsi, versi TPU, ukuran, dan zona yang Anda pilih. Kuota khusus untuk setiap versi TPU dan berbeda untuk penggunaan on-demand versus preemptible. Beberapa versi TPU memiliki kuota default; untuk versi lainnya, Anda harus meminta kuota. Untuk mengetahui informasi selengkapnya, lihat Kuota Compute Engine.

Langkah berikutnya