Resource TPU di Compute Engine

Anda dapat membuat dan mengelola TPU menggunakan resource Compute Engine. Halaman ini memberikan ringkasan konseptual tentang penggunaan TPU dengan Compute Engine. Dokumen ini memetakan konsep TPU ke resource Compute Engine dan menguraikan proses migrasi ke Compute Engine.

Konsep TPU dan Compute Engine

Untuk mengelola resource TPU dalam Compute Engine, sebaiknya pahami konsep TPU dan Compute Engine utama berikut:

  • VM TPU: Mesin virtual yang terhubung langsung ke hardware TPU. Satu VM TPU sama dengan slice host tunggal.
  • Slice TPU: Grup logis dari chip TPU yang saling terhubung, yang diakses melalui satu atau beberapa VM TPU. Slice memiliki salah satu cakupan berikut:
    • Slice host tunggal: Slice yang terdiri dari satu mesin host. Slice host tunggal adalah cara lain untuk merujuk ke satu VM TPU.
    • Slice multi-host: Slice yang terdiri dari beberapa VM TPU yang saling terhubung menggunakan interkoneksi antar-chip (ICI) berkecepatan tinggi.

Untuk membuat dan mengelola resource TPU di Compute Engine, Anda menggunakan resource Compute Engine berikut:

  • Instance VM: Virtual machine Compute Engine. Slice TPU host tunggal dibuat sebagai instance VM individual. Di Cloud TPU API lama, slice TPU tunggal direpresentasikan oleh objek REST Node.
  • Grup instance terkelola (MIG): Kumpulan instance VM yang dikelola sebagai satu unit. Slice TPU multi-host dibuat sebagai MIG dengan topologi akselerator yang ditentukan dalam kebijakan workload. Di Cloud TPU API lama, satu atau beberapa slice direpresentasikan menggunakan objek REST QueuedResource atau Node.

Peta konsep TPU dan Compute Engine

Tabel berikut menjelaskan cara konsep TPU dipetakan ke resource Compute Engine:

Konsep TPU Resource Compute Engine Detail referensi Kasus penggunaan
VM TPU Instance VM VM Compute Engine yang menyediakan akses langsung ke hardware TPU. Tugas VM individual, eksekusi perintah SSH, atau proses debug
Slice sub-host atau host tunggal TPU Instance VM atau MIG dengan satu VM Konfigurasi yang terdiri dari satu mesin host fisik. Inferensi dengan penskalaan otomatis
Slice multi-host TPU MIG dengan topologi akselerator yang ditentukan dalam kebijakan workload Grup VM TPU yang saling terhubung menggunakan ICI, dikelola sebagai satu unit logis. Pelatihan terdistribusi berskala besar yang memerlukan penyediaan atomik

Bermigrasi dari Cloud TPU API

Cloud TPU API tidak lagi dalam pengembangan aktif. Hal ini mencakup Google Cloud CLI untuk Cloud TPU API dan Library Klien Cloud untuk Cloud TPU API. Cloud TPU API hanya akan menerima perbaikan bug dan update keamanan. Generasi hardware baru, dimulai dengan TPU7x (Ironwood), hanya didukung melalui Compute Engine atau Google Kubernetes Engine (GKE). Untuk mendapatkan fitur terbaru dan dukungan untuk versi TPU terbaru, lakukan migrasi dengan mengganti panggilan Cloud TPU API lama dengan panggilan yang setara di Compute Engine atau GKE.

Bergantung pada persyaratan orkestrasi dan beban kerja, pilih salah satu jalur berikut:

  • Compute Engine: Direkomendasikan untuk pengguna yang memerlukan kontrol tingkat VM langsung atau image OS kustom. Untuk mulai menyediakan TPU di Compute Engine, lihat Panduan memulai: Membuat VM TPU.
  • GKE: Direkomendasikan untuk workload dalam container, penskalaan otomatis, dan orkestrasi skala besar. Untuk mengetahui informasi selengkapnya tentang penggunaan TPU dengan GKE, lihat Tentang TPU di GKE.

Resource TPU yang ada

Resource TPU yang dibuat menggunakan Cloud TPU API (objek REST Node atau QueuedResource) tidak kompatibel dengan Compute Engine dan GKE. Untuk mulai menggunakan Compute Engine atau GKE:

  • Tulis ulang skrip apa pun yang menggunakan Cloud TPU API untuk menggunakan Compute Engine atau GKE API.
  • Hapus resource menggunakan Cloud TPU API dan buat ulang menggunakan Compute Engine atau GKE API.

Batasan

TPU di Compute Engine memiliki batasan berikut:

  • Versi TPU: Compute Engine mendukung v5p, v6e, dan TPU7x.
  • Mode kapasitas: Mode Semua Kapasitas untuk TPU tidak tersedia dengan Compute Engine.
  • Multislice: Pembuatan grup slice TPU multi-host yang saling terhubung tidak tersedia dengan Compute Engine. Untuk menggunakan Multislice, Anda harus menggunakan Google Kubernetes Engine (GKE). Untuk mengetahui informasi selengkapnya, lihat Men-deploy TPU Multislice di GKE.
  • Koleksi: Penjadwalan koleksi tidak tersedia dengan Compute Engine. Untuk menggunakan penjadwalan pengumpulan, Anda harus menggunakan GKE. Untuk mengetahui informasi selengkapnya, lihat Penjadwalan pengumpulan dalam dokumentasi GKE.

Langkah berikutnya