TPU v6e

Dokumen ini menjelaskan arsitektur dan konfigurasi yang didukung dari Cloud TPU v6e (Trillium). Di semua platform teknis, seperti API dan log, serta di seluruh dokumen ini, Trillium akan disebut sebagai v6e.

Dengan jejak 256 chip per Pod, v6e memiliki banyak kesamaan dengan v5e. Sistem ini dioptimalkan untuk pelatihan, fine-tuning, dan inferensi transformer, text-to-image, dan jaringan neural konvolusional (CNN).

Arsitektur sistem

Tiap chip v6e berisi satu TensorCore. Tiap TensorCore memiliki 2 matrix-multiply unit (MXU), satu unit vektor, dan satu unit skalar. Tabel berikut menunjukkan spesifikasi utama dan nilainya untuk TPU v6e.

Spesifikasi Nilai
Performa/total biaya kepemilikan (TCO) (yang diharapkan) 1
Komputasi puncak per chip (bf16) 918 TFLOP
Komputasi puncak per chip (Int8) 1836 TOPs
Kapasitas HBM per chip 32 GB
Bandwidth HBM per chip 1.638 GBps
Bandwidth inter-chip interconnect (ICI) dua arah (per chip) 800 GBps
Port ICI per chip 4
DRAM per host 1536 GiB
Chip per host 8
Ukuran Pod TPU 256 chip
Topologi Interconnect Torus 2D
Komputasi puncak BF16 per Pod 234,9 PFLOP
Bandwidth all-reduce per Pod 102,4 TB/dtk
Bandwidth biseksi per Pod 3,2 TB/dtk
Konfigurasi NIC per host 4 x NIC 200 Gbps
Bandwidth jaringan pusat data per Pod 25,6 Tbps
Fitur khusus SparseCore

Konfigurasi yang didukung

Tabel berikut menunjukkan bentuk slice 2D yang didukung untuk v6e:

Topologi TPU chip Host VM Jenis mesin Cakupan
1x1 1 1/8 1 ct6e-standard-1t Sub-host
2x2 4 1/2 1 ct6e-standard-4t Sub-host
2x4 8 1 1 ct6e-standard-8t Host tunggal
2x4 8 1 2 ct6e-standard-4t Multi-host
4x4 16 2 4 ct6e-standard-4t Multi-host
4x8 32 4 8 ct6e-standard-4t Multi-host
8x8 64 8 16 ct6e-standard-4t Multi-host
8x16 128 16 32 ct6e-standard-4t Multi-host
16x16 256 32 64 ct6e-standard-4t Multi-host

Slice dengan 8 chip (v6e-8) yang terpasang ke satu VM dioptimalkan untuk inferensi, sehingga ke-8 chip tersebut dapat digunakan dalam satu workload inferensi. Anda dapat melakukan inferensi multi-host menggunakan Pathways di Cloud. Untuk mengetahui informasi selengkapnya, lihat Melakukan inferensi multihost menggunakan Pathways.

Untuk mengetahui informasi tentang jumlah VM untuk setiap topologi, lihat Jenis VM.

Jenis VM

Tiap VM TPU v6e dapat berisi 1, 4, atau 8 chip. Slice dengan 4 chip atau lebih kecil memiliki node akses memori tidak seragam (NUMA) yang sama. Untuk mengetahui informasi selengkapnya tentang node NUMA, lihat Akses memori tidak seragam di Wikipedia.

Diagram host v6e

Slice v6e dibuat menggunakan VM half-host, masing-masing dengan 4 chip TPU. Ada dua pengecualian untuk aturan ini:

  • v6e-1: VM dengan satu chip, yang terutama ditujukan untuk pengujian
  • v6e-8: VM host penuh yang telah dioptimalkan untuk kasus penggunaan inferensi dengan 8 chip yang terpasang ke satu VM.

Tabel berikut menunjukkan perbandingan jenis VM TPU v6e:

Jenis VM Jumlah vCPU per VM RAM (GB) per VM Jumlah node NUMA per VM
VM 1 chip 44 176 1
VM 4 chip 180 720 1
VM 8 chip 360 1440 2

Langkah berikutnya