Resource Cloud TPU di Compute Engine

Anda dapat membuat dan mengelola TPU menggunakan resource Compute Engine. Halaman ini memberikan ringkasan konseptual tentang penggunaan TPU dengan Compute Engine. Dokumen ini memetakan konsep Cloud TPU ke resource Compute Engine dan menguraikan proses migrasi ke Compute Engine.

Konsep utama Cloud TPU

Untuk mengelola resource TPU dalam Compute Engine, sebaiknya pahami konsep TPU utama berikut:

  • VM TPU: virtual machine yang terhubung langsung ke hardware TPU. Satu VM TPU sama dengan slice host tunggal.
  • Slice TPU: Grup logis chip TPU yang saling terhubung, yang diakses melalui satu atau beberapa VM TPU. Di TPU API, satu slice TPU direpresentasikan oleh objek REST Node atau QueuedResource. Slice memiliki salah satu cakupan berikut:
    • Slice host tunggal: Slice yang terdiri dari satu mesin host. Slice host tunggal adalah cara lain untuk merujuk ke satu VM TPU.
    • Slice multi-host: Slice yang terdiri dari beberapa VM TPU yang saling terhubung menggunakan interkoneksi antar-chip (ICI) berkecepatan tinggi.
Anda tidak menggunakan objek Cloud TPU API berikut saat mengelola resource TPU di Compute Engine, tetapi objek tersebut memberikan konteks yang berguna jika Anda sudah familiar dengan Cloud TPU API lama:

  • Node: Objek REST dari Cloud TPU API lama yang merepresentasikan satu slice TPU. Di Compute Engine, hal ini dipetakan ke instance VM atau grup instance terkelola (MIG).
  • QueuedResource: Objek REST dari Cloud TPU API lama yang merepresentasikan satu atau beberapa slice TPU. Resource dalam antrean digunakan untuk meminta dan mengelola kapasitas TPU melalui antrean. Di Compute Engine, VM mulai fleksibel memberikan fungsionalitas serupa.

Peta konsep TPU dan Compute Engine

Tabel berikut menjelaskan cara konsep TPU dipetakan ke resource Compute Engine:

Konsep Cloud TPU Resource Compute Engine Detail referensi Kasus penggunaan
VM TPU Instance VM VM Compute Engine yang menyediakan akses langsung ke hardware TPU. Tugas VM individual, eksekusi perintah SSH, atau proses debug
Slice sub-host atau host tunggal TPU Instance VM atau MIG dengan satu VM Konfigurasi yang terdiri dari satu mesin host fisik. Inferensi dengan penskalaan otomatis
Slice multi-host TPU MIG dengan topologi akselerator yang ditentukan dalam kebijakan workload Grup VM TPU yang saling terhubung menggunakan ICI, dikelola sebagai satu unit logis. Pelatihan terdistribusi berskala besar yang memerlukan penyediaan atomik

Bermigrasi dari Cloud TPU API

Cloud TPU API tidak lagi dalam pengembangan aktif. Hal ini mencakup Google Cloud CLI untuk Cloud TPU API dan Library Klien Cloud untuk Cloud TPU API. Cloud TPU API hanya akan menerima perbaikan bug dan update keamanan. Generasi hardware baru, dimulai dengan TPU7x (Ironwood), hanya didukung melalui Compute Engine atau Google Kubernetes Engine (GKE). Untuk mendapatkan fitur terbaru dan dukungan untuk versi TPU terbaru, lakukan migrasi dengan mengganti panggilan Cloud TPU API lama dengan panggilan yang setara di Compute Engine atau GKE.

Bergantung pada persyaratan orkestrasi dan beban kerja, pilih salah satu jalur berikut:

  • Compute Engine: Direkomendasikan untuk pengguna yang memerlukan kontrol tingkat VM langsung atau image OS kustom. Untuk mulai menyediakan TPU di Compute Engine, lihat Panduan memulai: Membuat VM TPU.
  • GKE: Direkomendasikan untuk workload dalam container, penskalaan otomatis, dan orkestrasi skala besar. Untuk mengetahui informasi selengkapnya tentang penggunaan TPU dengan GKE, lihat Tentang TPU di GKE.

Resource TPU yang ada

Resource TPU yang dibuat menggunakan Cloud TPU API (objek REST Node atau QueuedResource) tidak kompatibel dengan Compute Engine dan GKE. Untuk mulai menggunakan Compute Engine atau GKE:

  • Tulis ulang skrip apa pun yang menggunakan Cloud TPU API untuk menggunakan Compute Engine atau GKE API.
  • Hapus resource menggunakan Cloud TPU API dan buat ulang menggunakan Compute Engine atau GKE API.

Batasan

TPU di Compute Engine memiliki batasan berikut:

  • Versi TPU: Compute Engine mendukung v5p, v6e, dan TPU7x.
  • Mode kapasitas: Mode Semua Kapasitas untuk TPU tidak tersedia dengan Compute Engine.
  • Multislice: Pembuatan grup slice TPU multi-host yang saling terhubung tidak tersedia dengan Compute Engine. Untuk menggunakan Multislice, Anda harus menggunakan Google Kubernetes Engine (GKE). Untuk mengetahui informasi selengkapnya, lihat Men-deploy TPU Multislice di GKE.
  • Koleksi: Penjadwalan koleksi tidak tersedia dengan Compute Engine. Untuk menggunakan penjadwalan pengumpulan, Anda harus menggunakan GKE. Untuk mengetahui informasi selengkapnya, lihat Penjadwalan pengumpulan dalam dokumentasi GKE.

Langkah berikutnya