Tentang TPU di Google Cloud

Tensor Processing Unit (TPU) adalah sirkuit terintegrasi khusus aplikasi (ASIC) yang dikembangkan secara kustom oleh Google dan dirancang untuk mempercepat workload machine learning (ML) dan kecerdasan buatan (AI). Baik Anda melatih model dasar yang kompleks selama berminggu-minggu atau menjalankan inferensi berskala besar, TPU menawarkan resource komputasi khusus yang skalabel dan dioptimalkan untuk framework seperti JAX dan PyTorch.

Cloud TPU dirancang untuk menangani workload AI yang paling menuntut. Manfaat utamanya meliputi:

  • Dioptimalkan untuk komputasi matriks: TPU dirancang khusus dengan Matrix Multiply Unit (MXU) untuk mengeksekusi operasi matriks masif yang mendasar bagi algoritma ML dengan efisiensi yang luar biasa.

  • Memori bandwidth tinggi (HBM): Memori bandwidth tinggi on-chip memungkinkan Anda melatih dan menyajikan model yang lebih besar serta memanfaatkan ukuran batch yang lebih besar secara efektif.

  • Skalabilitas besar dengan slice: Chip TPU dapat dihubungkan dalam grup yang disebut slice. Slice memungkinkan workload Anda mencapai penskalaan hingga ribuan chip TPU untuk tugas pelatihan yang sangat besar.

Kapan harus menggunakan TPU

TPU dioptimalkan untuk workload tertentu, seperti berikut:

  • Model yang didominasi oleh komputasi matriks
  • Model tanpa operasi PyTorch/JAX kustom di dalam loop pelatihan utama
  • Model yang dilatih selama berminggu-minggu atau berbulan-bulan
  • Model besar dengan ukuran tumpukan efektif yang besar
  • Model dengan embedding sangat besar yang umum dalam workload rekomendasi dan peringkat lanjutan

TPU tidak cocok untuk workload berikut:

  • Program aljabar linear yang memerlukan percabangan yang sering atau berisi banyak operasi aljabar per elemen
  • Workload yang memerlukan aritmetika presisi tinggi
  • Workload jaringan neural yang berisi operasi kustom dalam loop pelatihan utama

Opsi penyediaan di Google Cloud

Anda dapat mengakses dan menyediakan TPU menggunakan produk Google Cloud berikut bergantung pada kebutuhan operasional Anda.

Compute Engine

Compute Engine memungkinkan Anda membuat dan mengelola slice atau VM TPU individual, sehingga memberi Anda kemampuan untuk pengelolaan siklus proses penuh VM TPU. Google merekomendasikan agar Anda menggunakan Compute Engine, bukan Cloud TPU API lama, untuk menyediakan resource TPU.

Untuk mempelajari lebih lanjut, lihat Resource Cloud TPU di Compute Engine.

Google Kubernetes Engine

Google Kubernetes Engine (GKE) menyediakan lingkungan Kubernetes multi-tenant yang terkelola sepenuhnya untuk mengorkestrasi workload AI berskala besar. GKE mendukung pengelolaan siklus proses node dan node pool TPU, termasuk pembuatan, konfigurasi, dan penghapusan VM TPU.

Untuk mempelajari lebih lanjut, lihat Tentang TPU di GKE.

Cloud TPU

Cloud TPU API, termasuk Google Cloud CLI dan Cloud Client Libraries untuk Cloud TPU, tidak lagi dalam pengembangan. Untuk menyediakan dan mengelola resource TPU, Google merekomendasikan agar Anda menggunakan Compute Engine atau GKE, berdasarkan kebutuhan orkestrasi dan workload Anda.

Untuk mengetahui informasi selengkapnya, lihat Bermigrasi dari Cloud TPU API.

Versi TPU yang didukung di Compute Engine

Compute Engine mendukung versi TPU berikut:

  • TPU7x (Ironwood)
  • TPU v6e (Trillium)
  • TPU v5p

Untuk mengetahui informasi selengkapnya tentang setiap versi TPU, lihat Mesin TPU.

Langkah berikutnya