Pertanyaan Umum (FAQ) - Cloud TPU

Dokumen ini berisi daftar pertanyaan umum (FAQ) tentang Cloud TPU. Panduan ini dibagi menjadi beberapa bagian:

  1. FAQ independen framework - pertanyaan tentang penggunaan Cloud TPU, terlepas dari framework ML yang Anda gunakan.
  2. FAQ JAX - pertanyaan tentang penggunaan Cloud TPU dengan JAX.
  3. FAQ PyTorch - pertanyaan tentang penggunaan Cloud TPU dengan PyTorch.

FAQ independen framework

Bagaimana cara memeriksa proses yang menggunakan TPU di VM Cloud TPU?

Jalankan tpu-info di VM Cloud TPU untuk mencetak ID proses dan informasi lain tentang proses yang menggunakan TPU. Lihat metrik yang didukung untuk mengetahui metrik dan definisi yang sesuai.

   tpu-info

Output dari tpu-info mirip dengan berikut ini:

   TPU Chips
   ┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
   ┃ Chip        ┃ Type        ┃ Devices ┃ PID    ┃
   ┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
   │ /dev/accel0 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel1 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel2 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel3 │ TPU v4 chip │ 1       │ 130007 │
   └─────────────┴─────────────┴─────────┴────────┘

   TPU Runtime Utilization
   ┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
   ┃ Device ┃ Memory usage         ┃ Duty cycle ┃
   ┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
   │ 0      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 1      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 2      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 3      │ 0.00 GiB / 31.75 GiB │      0.00% │
   └────────┴──────────────────────┴────────────┘

   TensorCore Utilization
   ┏━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
   ┃ Chip ID ┃ TensorCore Utilization ┃
   ┡━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
   │ 0       │                  0.00% │
   │ 1       │                  0.00% │
   │ 3       │                  0.00% │
   │ 2       │                  0.00% |
   └─────────┴────────────────────────┘

   Buffer Transfer Latency
   ┏━━━━━━━━━━━━━┳━━━━━┳━━━━━┳━━━━━┳━━━━━━┓
   ┃ Buffer Size ┃ P50 ┃ P90 ┃ P95 ┃ P999 ┃
   ┡━━━━━━━━━━━━━╇━━━━━╇━━━━━╇━━━━━╇━━━━━━┩
   │       8MB+  | 0us │ 0us │ 0us │  0us |
   └─────────────┴─────┴─────┴─────┴──────┘

Bagaimana cara menambahkan volume persistent disk ke VM Cloud TPU?

Untuk mengetahui informasi selengkapnya, lihat Memasang block storage yang tahan lama ke VM TPU.

Untuk mengetahui informasi selengkapnya, lihat Opsi penyimpanan Cloud TPU.

FAQ JAX

Bagaimana cara mengetahui apakah TPU digunakan oleh program saya?

Ada beberapa cara untuk memeriksa kembali apakah JAX menggunakan TPU:

  1. Gunakan fungsi jax.devices(). Contoh:

    assert jax.devices()[0].platform == 'tpu'

  2. Buat profil program Anda dan verifikasi bahwa profil tersebut berisi operasi TPU. Untuk mengetahui informasi selengkapnya, lihat Membuat profil program JAX

Untuk mengetahui informasi selengkapnya, lihat FAQ JAX

FAQ PyTorch

Bagaimana cara mengetahui apakah TPU digunakan oleh program saya?

Anda dapat memverifikasi bahwa PyTorch menggunakan TPU dengan TorchTPU dengan cara berikut:

  1. Periksa perangkat akselerator yang aktif di Python:

    import torch

assert torch.accelerator.current_accelerator().type == "tpu"

  2. Buat profil workload Anda dengan torch.profiler dan verifikasi bahwa operasi TPU muncul dalam trace.

Untuk mengetahui informasi selengkapnya, lihat PyTorch di Cloud TPU dan dokumentasi TorchTPU.