Mengelola resource TPU
Halaman ini menjelaskan cara untuk mendaftarkan, menghentikan, memulai, menghapus, dan terhubung ke VM TPU.
Prasyarat
Sebelum menjalankan prosedur ini, selesaikan langkah-langkah berikut:
Buat Google Cloud proyek untuk TPU Anda seperti yang dijelaskan diSiapkan Google Cloud proyek untuk TPU.
Tentukan kebutuhan TPU Anda seperti yang dijelaskan dalam Rencanakan sumber daya Cloud TPU Anda.
Buat VM TPU seperti yang dijelaskan dalam Buat VM TPU.
Jika Anda menggunakan salah satu Pustaka Klien Cloud, ikuti petunjuk penyiapan untuk bahasa yang Anda gunakan:
Atur variabel lingkungan.
export TPU_NAME=your-tpu-name export ZONE=your-zone
Terhubung ke Cloud TPU
Anda dapat terhubung ke Cloud TPU menggunakan SSH.
Jika Anda tidak dapat terhubung ke VM TPU menggunakan SSH, VM TPU mungkin tidak memiliki alamat IP eksternal. Untuk mengakses VM TPU tanpa alamat IP eksternal, ikuti petunjuk di Menghubungkan ke VM TPU tanpa alamat IP publik.
gcloud
Hubungkan ke Cloud TPU Anda menggunakan SSH:
$ gcloud compute tpus tpu-vm ssh $TPU_NAME --zone=$ZONE
Saat Anda meminta slice yang lebih besar dari satu host, Cloud TPU akan membuat VM TPU untuk setiap host. Jumlah chip TPU per host bergantung pada versi TPU.
Untuk menginstal biner atau menjalankan kode, hubungkan ke setiap VM TPU menggunakan perintah tpu-vm ssh command.
$ gcloud compute tpus tpu-vm ssh $TPU_NAME --zone=$ZONE
Untuk terhubung ke VM TPU tertentu menggunakan SSH, gunakan flag --worker dengan indeks berbasis 0:
$ gcloud compute tpus tpu-vm ssh $TPU_NAME --zone=$ZONE --worker=1
Untuk menjalankan perintah di semua VM TPU, gunakan flag
--worker=all dan --command:
$ gcloud compute tpus tpu-vm ssh $TPU_NAME \ --zone=$ZONE \ --worker=all \ --command='pip install "jax[tpu]==0.4.20" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html'
Untuk Multislice, Anda dapat menjalankan perintah pada satu VM menggunakan nama TPU yang telah dienumerasi, dengan setiap awalan slice dan angka yang ditambahkan di belakangnya. Untuk menjalankan perintah pada semua VM TPU di semua slice, gunakan--node=all, --worker=all , Dan--command bendera, dengan pilihan opsional--batch-size bendera.
$ gcloud compute tpus queued-resources ssh your-queued-resource-id \ --zone=$ZONE \ --node=all \ --worker=all \ --command='pip install jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html' \ --batch-size=4
Saat Anda terhubung ke VM menggunakan Google Cloud CLI, Compute Engine akan membuat kunci SSH persisten.
Konsol
Untuk terhubung ke TPU di konsol Google Cloud , gunakan SSH di browser Anda:
Di konsol Google Cloud , buka halaman TPU:
Dalam daftar VM TPU, klik SSH di baris VM TPU yang ingin Anda hubungkan.
Saat Anda terhubung ke VM TPU menggunakan konsol Google Cloud , Compute Engine membuat kunci SSH sementara.
Mencantumkan resource Cloud TPU
Anda dapat mencantumkan semua sumber daya Cloud TPU di zona tertentu.
gcloud
$ gcloud compute tpus tpu-vm list --zone=$ZONE
Konsol
Di konsol Google Cloud , buka halaman TPU:
Java
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Mengambil informasi Cloud TPU
Anda dapat mengambil informasi tentang Cloud TPU tertentu.
gcloud
$ gcloud compute tpus tpu-vm describe $TPU_NAME \ --zone=$ZONE
Konsol
Di konsol Google Cloud , buka halaman TPU:
Klik nama Cloud TPU Anda. Konsol akan menampilkan halaman detail Cloud TPU.
Java
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Hentikan sumber daya Cloud TPU.
Anda dapat menghentikan satu Cloud TPU untuk menghindari biaya tanpa kehilangan konfigurasi VM dan perangkat lunaknya.
API queued resources tidak mendukung penghentian slice TPU atau TPU. Untuk berhenti dikenai biaya untuk TPU yang dialokasikan melalui API resource dalam antrean, hapus TPU.
gcloud
$ gcloud compute tpus tpu-vm stop $TPU_NAME \ --zone=$ZONE
Konsol
Di konsol Google Cloud , buka halaman TPU:
Centang kotak di samping Cloud TPU Anda.
Klik Hentikan.
Java
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Mulai sumber daya Cloud TPU.
Anda dapat memulai Cloud TPU yang dihentikan.
API queued resources tidak mendukung memulai TPU Pod atau TPU.
gcloud
$ gcloud compute tpus tpu-vm start $TPU_NAME \ --zone=$ZONE
Konsol
Di konsol Google Cloud , buka halaman TPU:
Pilih kotak centang di sebelah Cloud TPU Anda.
Klik Mulai.
Java
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Menghapus Cloud TPU
Hapus slice VM TPU Anda setelah sesi Anda.
gcloud
$ gcloud compute tpus tpu-vm delete $TPU_NAME \ --zone=$ZONE \ --quiet
Deskripsi tanda perintah
zone: Zona tempat Anda berencana menghapus Cloud TPU.quiet: Menonaktifkan semua permintaan input interaktif saat menjalankan perintah gcloud CLI.
Konsol
Di konsol Google Cloud , buka halaman TPU:
Pilih kotak centang di sebelah Cloud TPU Anda.
Klik Delete.
Java
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk melakukan autentikasi ke Cloud TPU, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Langkah berikutnya
- Pelajari cara mengonfigurasi jaringan dan akses ke Cloud TPU Anda
- Pelajari tentang sumber daya yang diantrekan.
- Pelajari TPU di GKE.
- Pelajari cara menjalankan kode JAX di VM TPU.
- Pelajari caraMenjalankan kode PyTorch pada VM TPU. .
- Pelajari cara menjalankan beban kerja ML pada TPU: Serve Qwen2-72B-Instruct with vLLM on TPUs.