Resource Cloud TPU di Compute Engine

Anda dapat membuat dan mengelola Tensor Processing Unit (TPU) menggunakan resource Compute Engine. Halaman ini memberikan ringkasan konseptual tentang penggunaan TPU dengan Compute Engine. Halaman ini memetakan konsep TPU ke resource Compute Engine dan menguraikan alur kerja tingkat tinggi untuk membuat resource TPU.

Konsep TPU utama

Untuk mengelola resource TPU dalam Compute Engine, sebaiknya pahami konsep TPU utama berikut:

  • VM TPU: Virtual machine yang terhubung langsung ke hardware TPU.
  • Slice TPU: Grup logis chip TPU yang saling terhubung, yang diakses melalui satu atau beberapa VM TPU. Slice memiliki salah satu cakupan berikut:
    • Slice host tunggal: Slice yang terdiri dari satu mesin host. Secara umum, ini dipetakan ke satu VM TPU.
    • Slice multi-host: Slice yang terdiri dari beberapa VM TPU yang saling terhubung menggunakan interkoneksi antar-chip (ICI) berkecepatan tinggi.

    Peta konsep TPU dan Compute Engine

    Tabel berikut menjelaskan cara konsep TPU dipetakan ke resource Compute Engine:

    Konsep Cloud TPU Resource Compute Engine Detail resource Kasus penggunaan
    VM TPU Instance VM VM Compute Engine yang menyediakan akses langsung ke hardware TPU. Tugas VM individual, eksekusi perintah SSH, atau proses debug
    Slice host tunggal TPU Instance VM atau MIG dengan satu VM Konfigurasi yang terdiri dari satu mesin host fisik. Inferensi dengan penskalaan otomatis
    Slice multi-host TPU MIG dengan topologi akselerator yang ditentukan dalam kebijakan workload Grup VM TPU yang saling terhubung menggunakan ICI, yang dikelola sebagai satu unit logis. Pelatihan terdistribusi skala besar yang memerlukan penyediaan atomik

    Melakukan migrasi dari Cloud TPU API

    Cloud TPU API, termasuk Google Cloud CLI dan Cloud Client Libraries untuk Cloud TPU, tidak lagi dalam pengembangan aktif. Cloud TPU API hanya akan menerima perbaikan bug dan update keamanan. Generasi hardware baru, mulai dari TPU7x (Ironwood), hanya didukung melalui Compute Engine atau Google Kubernetes Engine (GKE). Untuk mendapatkan fitur terbaru dan dukungan untuk versi TPU terbaru, lakukan migrasi dengan mengganti panggilan Cloud TPU API lama dengan panggilan yang setara di Compute Engine atau GKE.

    Bergantung pada persyaratan orkestrasi dan workload Anda, pilih salah satu jalur berikut:

    • Compute Engine: Direkomendasikan untuk pengguna yang memerlukan kontrol tingkat VM langsung atau image OS kustom. Untuk mulai menyediakan TPU di Compute Engine, lihat Panduan memulai: Membuat VM TPU.
    • GKE: Direkomendasikan untuk workload dalam container, penskalaan otomatis, dan orkestrasi skala besar. Untuk mengetahui informasi selengkapnya tentang penggunaan TPU dengan GKE, lihat Tentang TPU di GKE.

    Resource TPU yang ada

    Resource TPU yang dibuat menggunakan Cloud TPU API (objek REST Node atau QueuedResource) tidak kompatibel dengan Compute Engine dan GKE. Untuk mulai menggunakan Compute Engine atau GKE:

    • Tulis ulang skrip apa pun yang menggunakan Cloud TPU API untuk menggunakan Compute Engine atau GKE API.
    • Hapus resource menggunakan Cloud TPU API dan buat ulang menggunakan Compute Engine atau GKE API.

    Batasan

    TPU di Compute Engine memiliki batasan berikut:

    • Versi TPU: Compute Engine mendukung v5p, v6e, dan TPU7x.
    • Mode kapasitas: Mode Semua Kapasitas untuk TPU tidak tersedia dengan Compute Engine.
    • Multislice: Membuat grup slice TPU multi-host yang saling terhubung tidak tersedia dengan Compute Engine. Untuk menggunakan Multislice, Anda harus menggunakan Google Kubernetes Engine (GKE). Untuk mengetahui informasi selengkapnya, lihat Men-deploy Multislice TPU di GKE.
    • Koleksi: Penjadwalan koleksi tidak tersedia dengan Compute Engine. Untuk menggunakan penjadwalan koleksi, Anda harus menggunakan GKE. Untuk mengetahui informasi selengkapnya, lihat Penjadwalan koleksi dalam dokumentasi GKE.

    Langkah berikutnya