Merencanakan resource Cloud TPU

Halaman ini menjelaskan cara merencanakan penggunaan Tensor Processing Unit (TPU).

Memilih opsi pemakaian

Opsi konsumsi mengacu pada cara mendapatkan dan menggunakan resource komputasi. Anda dapat meminta kapasitas VM Cloud TPU berdasarkan kebutuhan Anda akan kecepatan, durasi, biaya, dan toleransi pengakhiran. Opsi meliputi:

  • On-demand: Instance bayar sesuai penggunaan standar.
  • Spot VM: Instance preemptible yang lebih murah. Menggunakan kuota preemptible.
  • VM mulai fleksibel: Cadangkan kapasitas sesuai kebutuhan, hingga 7 hari, tanpa reservasi jangka panjang atau pengelolaan kuota yang rumit.
  • Reservasi: Pesan kapasitas untuk durasi tertentu (hingga 90 hari atau lebih dari 1 tahun), yang menjamin ketersediaan. Menggunakan kuota sesuai permintaan.

Untuk generasi TPU v6e dan yang lebih baru, Anda juga dapat menggunakan GKE dengan TPU Cluster Director. Fitur ini tersedia melalui reservasi mode Semua Kapasitas. Layanan ini memberikan akses penuh ke kapasitas yang dipesan dan visibilitas lengkap ke tata letak hardware, penggunaan, dan kondisi TPU. Untuk mengetahui informasi selengkapnya, lihat Ringkasan mode Semua Kapasitas.

Tabel berikut membandingkan opsi pemakaian TPU berdasarkan cara kerjanya, kasus penggunaan yang ideal, versi dan zona TPU yang didukung, serta jenis kuota yang diperlukan.

Opsi pemakaian Cara kerjanya Paling baik digunakan untuk Versi dan zona TPU yang didukung Jenis kuota untuk Cloud TPU API
Pemesanan untuk masa mendatang selama satu tahun atau lebih

Anda meminta resource TPU satu tahun atau lebih awal. Resource ini dicadangkan untuk penggunaan eksklusif Anda selama waktu tersebut.

Pemesanan memberikan tingkat jaminan tertinggi untuk kapasitas dan memberikan harga yang lebih rendah daripada resource on-demand.

Pemesanan TPU mendatang mencakup diskon abonemen (DA) DA memberikan harga diskon saat Anda membeli kontrak abonemen. Untuk mengetahui informasi selengkapnya, lihat Pemesanan untuk masa mendatang selama satu tahun atau lebih

 Pemesanan untuk masa mendatang selama satu tahun atau lebih sangat ideal untuk tugas pelatihan yang berjalan lama dan workload inferensi. Semua versi TPU: Lihat Region dan zona TPU Kuota sesuai permintaan
Reservasi mendatang hingga 90 hari (mode kalender) (Pratinjau)

Anda meminta resource TPU untuk waktu mulai dan durasi tertentu, antara satu dan 90 hari. Resource ini dicadangkan untuk penggunaan eksklusif Anda selama waktu tersebut. Untuk mengetahui informasi selengkapnya, lihat Pemesanan untuk masa mendatang hingga 90 hari (dalam mode kalender)

Pemesanan memberikan tingkat jaminan tertinggi untuk kapasitas dan memberikan harga yang lebih rendah daripada resource on-demand.

 Reservasi mendatang dalam mode kalender cocok untuk workload pelatihan dan eksperimen yang memerlukan waktu mulai yang tepat dan memiliki durasi yang ditentukan.

TPU7x (Ironwood) (Pratinjau) untuk pelatihan dan penayangan: us-central1-c

v6e (Trillium) untuk pelatihan dan penayangan: asia-northeast1-b, us-east5-a

v5p untuk pelatihan dan penayangan: us-east5-a

v5e untuk pelatihan: us-west4-a

v5e untuk penayangan: us-central1-a

 Tidak memerlukan kuota
Sesuai permintaan

Anda meminta resource TPU untuk segera digunakan, selama yang Anda butuhkan.

On-demand memberikan fleksibilitas yang signifikan. Resource sesuai permintaan tidak di-preempt, tetapi tidak ada jaminan bahwa ada cukup resource TPU yang tersedia untuk memenuhi permintaan Anda. On-demand adalah opsi default saat Anda membuat resource TPU. Untuk mengetahui informasi selengkapnya tentang cara membuat dan menggunakan TPU sesuai permintaan, lihat Membuat VM TPU.

 Sesuai untuk tugas mendesak dan beban kerja yang memerlukan waktu berakhir yang fleksibel. Semua versi TPU: Lihat Region dan zona TPU Kuota sesuai permintaan
Flex-start (Pratinjau)

Anda meminta resource TPU untuk jangka waktu tertentu, hingga tujuh hari, tanpa memesan kapasitas terlebih dahulu.

VM TPU Flex-start dikirim dari kumpulan kapasitas khusus, sehingga ketersediaan resource ini lebih tinggi daripada resource sesuai permintaan. Untuk mengetahui informasi selengkapnya, lihat Meminta VM dengan fitur mulai fleksibel TPU.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan VM dengan fitur mulai fleksibel TPU dengan Google Kubernetes Engine (GKE), lihat Tentang penyediaan GPU dan TPU dengan mode penyediaan mulai fleksibel.

 Mulai fleksibel ideal untuk eksperimen, pengujian skala kecil, penyediaan dinamis TPU untuk workload inferensi, penyesuaian model, dan menjalankan workload yang memakan waktu kurang dari tujuh hari.

TPU7x (Ironwood) (Pratinjau): us-central1-c (hanya menggunakan GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a

v5e: us-west4-a

 Kuota yang dapat di-preempt
Spot

Anda meminta resource TPU yang dapat di-preempt.

Spot VM tersedia dengan harga yang jauh lebih rendah daripada resource on-demand. Spot VM sering kali lebih mudah diperoleh daripada resource sesuai permintaan, tetapi dapat di-preempt (dimatikan) kapan saja. Tidak ada batasan durasi runtime. Untuk mengetahui informasi selengkapnya tentang TPU Spot VM, lihat Mengelola TPU Spot VM.

 Spot cocok untuk menjadwalkan workload berprioritas rendah seperti pra-pelatihan model, penyesuaian model, dan tugas simulasi yang toleran terhadap gangguan ketersediaan. Semua versi TPU: Lihat Region dan zona TPU Kuota yang dapat di-preempt

Meminta kuota TPU

Untuk menggunakan VM TPU, terlepas dari opsi pemakaian, Anda memerlukan kuota on-demand atau preemptible untuk core atau chip Cloud TPU. Pastikan Anda memiliki kuota yang cukup untuk opsi, versi TPU, ukuran, dan zona yang Anda pilih. Kuota khusus untuk setiap versi TPU dan berbeda untuk penggunaan on-demand versus penggunaan yang dapat diakhiri. Beberapa versi TPU memiliki kuota default; untuk versi lainnya, Anda harus meminta kuota. Untuk mengetahui informasi selengkapnya, lihat Kuota Cloud TPU.

Jika menggunakan TPU dengan Google Kubernetes Engine (GKE), Anda memerlukan kuota Compute Engine API, bukan kuota TPU API standar. Untuk mengetahui informasi selengkapnya tentang kuota TPU di GKE, lihat Pastikan Anda memiliki kuota TPU.

Pilih versi TPU

Pilih versi TPU, misalnya, v5e, v5p, v6e, atau TPU7x (Ironwood) berdasarkan kebutuhan pelatihan atau inferensi model Anda. Untuk mengetahui informasi selengkapnya, lihat versi TPU.

Langkah berikutnya