Instance TPU di MIG

Grup instance terkelola (MIG) mengotomatiskan pembuatan, konfigurasi, dan pengelolaan siklus proses kumpulan VM. MIG memberikan manfaat seperti ketersediaan tinggi melalui autohealing dan deployment regional (multi-zona), penskalaan otomatis untuk menangani beban variabel, dan update bertahap yang disederhanakan untuk aplikasi. Untuk mengetahui informasi selengkapnya, lihat Grup instance terkelola.

Anda dapat menggunakan MIG untuk membuat dan mengelola VM TPU untuk TPU versi v5p, v6e, dan TPU7x. Anda dapat membuat MIG dengan satu VM TPU, VM TPU independen (juga disebut slice host tunggal), dan MIG dengan VM TPU yang saling terhubung (juga disebut slice multi-host).

Setiap slice dalam MIG host tunggal memiliki maksimal satu VM TPU. VM TPU dalam MIG tidak terhubung dengan link inter-chip interconnect (ICI).

Slice multi-host berisi beberapa VM TPU yang saling terhubung dengan link ICI.

MIG dengan slice TPU host tunggal

Membuat grup instance terkelola (MIG) dengan beberapa instance TPU independen bermanfaat untuk workload yang memerlukan beberapa VM TPU individual, tetapi tidak memerlukan interkoneksi dengan link ICI untuk workload terdistribusi. Misalnya:

  • Inferensi inferensi: Setiap VM di MIG dapat menangani permintaan inferensi secara independen. MIG memungkinkan Anda menskalakan jumlah instance penyaluran berdasarkan permintaan dan mengelolanya sebagai grup.
  • Tugas independen paralel: MIG menyediakan cara untuk mengelola banyak tugas pelatihan kecil dan independen atau komputasi lain yang dapat berjalan secara paralel di satu VM TPU.
  • Pengelolaan: MIG menyediakan fitur berikut:
    • Deployment: Tentukan template instance satu kali dan gunakan MIG untuk membuat beberapa VM TPU yang identik.
    • Skalabilitas: Sesuaikan jumlah VM TPU dengan mengubah ukuran MIG.
    • Update berkelanjutan: Update software atau jenis mesin di semua VM secara terkontrol.
  • Efektivitas biaya: Untuk tugas yang tidak memerlukan daya penuh atau interkonektivitas slice TPU besar, menggunakan beberapa slice TPU independen yang lebih kecil dapat lebih hemat biaya.

Untuk mengetahui informasi selengkapnya, lihat Membuat MIG dengan slice TPU host tunggal.

MIG dengan slice multi-host

Tidak seperti grup slice TPU independen, MIG yang dikonfigurasi untuk slice multi-host mengelola sekumpulan VM TPU yang digabungkan secara erat melalui link ICI. Tindakan ini akan membuat satu slice TPU logis.

Manfaat dan performa

MIG untuk slice TPU multi-host memberikan skala dan performa yang diperlukan untuk workload machine learning yang intensif.

  • Pelatihan terdistribusi: Melatih model machine learning sering kali memerlukan lebih banyak daya TPU daripada yang dapat disediakan oleh satu VM TPU. Slice TPU yang lebih besar mendistribusikan komputasi ke banyak TPU chip dan VM, dengan link ICI yang memungkinkan komunikasi cepat di antara keduanya. Hal ini sangat penting untuk performa pelatihan.
  • Bandwidth interkoneksi tinggi: Jaringan ICI menyediakan bandwidth yang lebih tinggi dan latensi yang lebih rendah antara chip TPU dalam slice daripada jaringan pusat data (DCN) standar. Hal ini penting untuk operasi sinkron yang umum dalam pelatihan model besar.

Operasi siklus proses atomik

Untuk memastikan integritas topologi yang saling terhubung, MIG mengelola seluruh slice sebagai satu unit yang tidak dapat dibagi sepanjang siklus prosesnya.

  • Pembuatan: Semua VM dalam slice disediakan bersama. Jika kapasitas yang responsif dan saling terhubung tidak tersedia untuk seluruh topologi yang diminta, slice tidak akan dibuat.
  • Penghapusan: MIG menghapus seluruh slice sebagai satu unit.
  • Mengubah ukuran: Pengubahan ukuran dibatasi untuk penskalaan dari 0 hingga ukuran slice penuh, atau dari ukuran slice penuh kembali ke 0. Anda tidak dapat mengubah ukuran sebagian slice multi-VM.

Persyaratan konfigurasi

Mengonfigurasi MIG multi-host memerlukan penentuan topologi interkoneksi fisik dan properti instance individual.

  • Kebijakan workload: Anda harus menentukan kebijakan workload dengan parameter accelerator-topology (misalnya, 4x4, 8x8, atau 4x4x4). Tindakan ini mengonfigurasi MIG untuk memperlakukan instance sebagai satu slice yang saling terhubung. Untuk mengetahui informasi tentang topologi, lihat Arsitektur sistem.
  • Template instance: Menentukan properti seperti jenis mesin, disk image, dan setelan lainnya untuk setiap VM dalam slice.

Ketersediaan slice dan pemulihan kegagalan

Saat Anda menggunakan MIG untuk membuat slice TPU multi-host, perilaku pemulihan kegagalan bergantung pada model penyediaan dan mode pemesanan yang Anda gunakan:

  • Saat MIG menggunakan on-demand, flex-start, atau pemesanan (tidak termasuk pemesanan mode All Capacity). Dalam skenario ini, Compute Engine secara otomatis mengelola proses pemulihan slice. Jika terjadi kegagalan host atau ICI, slice akan bertransisi ke status REACTIVATING. Semua VM dalam slice bertransisi ke status REPAIRING, meskipun tidak harus semuanya pada saat yang sama. Compute Engine kemudian akan otomatis memulihkan slice dengan memulai ulang VM secara bersamaan pada kapasitas yang responsif.

  • Saat MIG menggunakan model penyediaan spot. Dalam skenario ini, Anda bertanggung jawab untuk mengelola proses pemulihan slice. Jika preemption Spot VM terjadi, Compute Engine akan menghentikan semua instance di slice. Slice bertransisi ke status FAILED dan VM bertransisi ke status TERMINATED. Untuk memulihkan dari status gagal, Anda harus membuat ulang slice secara manual.

  • Saat MIG menggunakan pemesanan dalam mode All Capacity. Dalam skenario ini, Anda bertanggung jawab untuk mengelola proses pemulihan slice. Jika terjadi kegagalan, slice akan beralih ke status FAILED dan Anda harus membuat ulang slice secara manual.

    Perilaku dalam mode All Capacity selanjutnya bergantung pada hal berikut:

    • Kegagalan host atau VM yang dilaporkan rusak. VM yang terpengaruh akan bertransisi ke status REPAIRING. Setelah hardware yang mendasarinya diperbaiki, VM akan bertransisi kembali ke status RUNNING.
    • Pemeliharaan darurat mendatang. Saat Anda memulai peristiwa pemeliharaan secara manual, VM akan bertransisi dari status RUNNING ke status REPAIRING. Setelah pemeliharaan selesai, VM akan kembali ke status RUNNING.
    • Kegagalan ICI. VM tetap dalam status RUNNING, tetapi status slice beralih ke status FAILED.

Untuk membuat ulang slice setelah preemption Spot VM atau kegagalan dalam mode All Capacity, Anda harus melakukan salah satu tindakan berikut:

  • Hapus dan buat ulang MIG.
  • Ubah ukuran MIG menjadi 0, lalu tingkatkan ke ukuran yang diperlukan.

Pemulihan kegagalan dari gangguan instance

Jika Anda menghapus atau menghentikan instance TPU, atau menghentikan instance dari dalam sistem operasi, slice akan bertransisi ke status FAILED. Dalam skenario ini, slice tetap dalam status FAILED hingga Anda membuat ulang slice. Untuk membuat ulang slice, Anda harus menghapus dan membuat ulang MIG, atau mengubah ukuran MIG menjadi 0, lalu meningkatkan ukurannya.

Untuk mengetahui informasi selengkapnya tentang status slice, lihat Melihat status slice TPU.

Batasan

Bagian berikut menjelaskan batasan untuk membuat MIG dengan VM TPU.

Batasan untuk template instance

Template instance yang menentukan jenis mesin TPU memiliki batasan berikut:

  • Saat menggunakan model penyediaan terikat pemesanan, Anda harus menetapkan tindakan penghentian instance ke hapus.

  • TPU hanya dapat menggunakan pemesanan yang ditargetkan secara khusus.

  • Anda tidak dapat menentukan kebijakan penempatan.

  • Anda tidak boleh menonaktifkan mulai ulang otomatis dalam kasus berikut:

    • Slice multi-host yang menggunakan model penyediaan standar, flex-start, atau terikat reservasi (termasuk mode All Capacity).

    • Host tunggal menggunakan model penyediaan terikat pemesanan dalam mode All Capacity.

  • Anda tidak boleh mengaktifkan mulai ulang otomatis saat menggunakan model penyediaan spot.

Batasan untuk MIG

MIG dengan TPU memiliki batasan berikut:

  • Operasi siklus proses: Anda tidak dapat menghentikan, memulai, melanjutkan, atau menangguhkan instance TPU. Untuk mengubah konfigurasi yang memerlukan mulai ulang atau untuk berhenti dikenai biaya, Anda harus menghapus instance.

  • Distribusi zona MIG regional: Anda harus menetapkan bentuk distribusi target ke ANY_SINGLE_ZONE.

  • Update konfigurasi di MIG:

    • Anda tidak dapat memperbarui MIG yang membentuk slice TPU multi-host karena topologi akselerator yang ditentukan.
    • Anda dapat mengupdate MIG yang membentuk slice TPU host tunggal menggunakan metode otomatis atau selektif. Namun, update untuk slice TPU host tunggal tidak mendukung tindakan mulai ulang (RESTART). Jika mulai ulang diperlukan dan tindakan paling mengganggu yang diizinkan adalah penggantian (REPLACE), updater akan mengganti instance; jika tidak, upaya update akan gagal dan menampilkan error.

  • Untuk MIG yang membentuk slice TPU multi-host, batasan berikut juga berlaku:

    • Kebijakan ukuran target: Anda harus menetapkan mode kebijakan ukuran target ke BULK. Setelah menetapkan mode ini, Anda tidak dapat mengubahnya.

    • Target size: Dalam mode massal, Anda dapat menetapkan ukuran target ke 0 atau jumlah instance yang diperlukan untuk membentuk topologi akselerator.

    • Kebijakan workload: Anda harus menentukan kebijakan workload tempat topologi akselerator ditentukan. Setelah menetapkan kebijakan workload, Anda tidak dapat mengubah atau menghapus kebijakan dari MIG.

    • Perbaikan yang dimulai MIG: Anda harus menonaktifkan perbaikan yang dimulai MIG dengan menetapkan kolom defaultActionOnFailure ke DO_NOTHING. Dalam konfigurasi ini, MIG tidak melakukan tindakan apa pun pada instance yang gagal. Compute Engine otomatis memulihkan instance yang gagal dengan memulai ulang semua instance di slice yang sama pada kapasitas yang responsif.

  • Fitur yang tidak didukung: MIG dengan TPU tidak mendukung fitur berikut:

Langkah berikutnya