Glosarium Error Cloud TPU

Perhatian: Halaman ini berlaku untuk Cloud TPU API, yang tidak lagi dalam pengembangan aktif development. Cloud TPU API hanya akan menerima perbaikan bug dan update keamanan. Untuk mendapatkan fitur terbaru dan dukungan untuk versi TPU terbaru, sebaiknya gunakan Compute Engine atau Google Kubernetes Engine untuk mengelola resource TPU. Untuk mengetahui informasi selengkapnya, lihat Resource TPU di Compute Engine dan Tentang TPU di GKE. Cloud TPU API tidak didukung di TPU7x dan versi TPU yang lebih baru.

Dokumen ini menyediakan glosarium error umum dengan solusi dari layanan Cloud TPU.

---

Jenis Akselerator Tidak Valid

Pesan Error

generic::invalid_argument: Accelerator type v2-512 as preemptible (false) and
reserved (false) is not available in zone us-central1-a, please contact support.

Solusi

Parameter tidak valid telah diberikan ke perintah create. Ketersediaan akselerator di zona bergantung pada parameter berikut: jenis, tanda preemptible, tanda spot, dan tanda reserved. Tanda preemptible, spot, dan reserved dapat diubah dengan menyertakan atau mengecualikannya dalam perintah create.

TPU yang dibuat dengan tanda reserved akan menggunakan kapasitas yang dipesan. Menyertakan tanda spot atau preemptible akan memungkinkan TPU dihentikan oleh TPU dengan prioritas lebih tinggi. Jika tidak ada tanda yang diberikan, TPU akan bersifat on-demand. Mengaktifkan lebih dari satu tanda ini bukanlah konfigurasi yang valid. Lihat dokumentasi perintah create untuk mengetahui informasi selengkapnya.

Jenis akselerator yang tersedia di setiap zona dapat ditemukan dalam dokumentasi region dan zona TPU atau dapat dikuery menggunakan perintah daftar jenis akselerator. Ubah perintah create untuk menggunakan salah satu jenis akselerator ini dan coba lagi atau hubungi dukungan jika masalah berlanjut.

Jaringan Tidak Ditemukan

Pesan Error

  Cloud TPU received a bad request. The field "Network" cannot be "NETWORK_NAME":
  requested resource not found

Solusi

Jaringan NETWORK_NAME tidak ditemukan. Pastikan Jaringan dibuat dan disiapkan dengan benar. Lihat Membuat dan mengelola jaringan VPC untuk mengetahui informasi selengkapnya.

Izin Akun Layanan Ditolak

Pesan Error

  generic::permission_denied: Cloud TPU got permissions denied when trying to
  access the customer project. Make sure that the IAM account
  'service-[project number]@cloud-tpu.iam.gserviceaccount.com' has the 'Cloud
  TPU API Service Agent' role by following https://cloud.google.com/iam/docs/manage-access-service-accounts

Solusi

Error ini terjadi saat pengguna mencoba membuat atau mencantumkan node dalam project tanpa otorisasi IAM. Kemungkinan penyebab masalah ini adalah akun layanan Cloud TPU API tidak memiliki peran yang diperlukan untuk project. Dokumentasi Mengelola akun akses memberikan ringkasan tentang cara mengelola akses. Ikuti langkah-langkah Memberikan atau mencabut satu peran dan berikan akun '[e-mail]'peran 'Agen Layanan Cloud TPU API' (pastikan untuk mengganti PROJECT_NUMBER dengan nomor project Anda, yang dapat ditemukan di setelan project di Google Cloud konsol). Untuk mengetahui informasi selengkapnya tentang agen layanan, lihat dokumentasi Agen layanan.

Melebihi Kuota

Pesan Error

You have reached XXXX limit. Please request an increase for the 'YYYY' quota for
Compute Engine API by following https://cloud.google.com/docs/quotas/view-manage#requesting_higher_quota.

Solusi

Project Anda telah mencapai batas kuota. Untuk mempelajari lebih lanjut cara menggunakan kuota, lihat dokumentasi Cloud Quotas. Hal ini tidak boleh disamakan dengan kuota TPU, yang mengatur penggunaan pod TPU.

Anda dapat meminta peningkatan batas yang sesuai dengan mengikuti langkah-langkah yang tercantum di Meminta penyesuaian kuota. Di halaman kuota, Anda dapat menelusuri kuota yang ditentukan oleh bagian 'YYYY' dari pesan ini. Beberapa kuota dibagi di berbagai region atau layanan. Pesan error akan menunjukkan kuota mana yang perlu ditingkatkan.

Bagian 'XXXX' dan 'YYYY' dari pesan dapat berupa salah satu dari hal berikut:

• HEALTH_CHECKS - Kuota 'Pemeriksaan kesehatan'
• FIREWALLS - Kuota 'Aturan firewall'
• NETWORK_ENDPOINT_GROUPS - Kuota 'Grup endpoint jaringan' untuk region ini
• READ_REQUESTS - Kuota 'Permintaan baca per menit' untuk layanan Compute Engine API
• OPERATION_READ_REQUESTS - Kuota 'Permintaan baca operasi per menit'

Permintaan ini biasanya diproses dalam 2-3 hari kerja. Jika permintaan mendesak, hubungi customer engineer atau technical account manager.

Error Fatal

Pesan Error

!!!! FATAL ERROR !!!! observed errors are: [ERROR_TYPE]. Now taking a TPU core dump...

Solusi

Error ini menunjukkan masalah penting dengan node TPU. Jenis error ([ERROR_TYPE]) dalam pesan menentukan sifat error. Tindakan yang direkomendasikan bergantung pada error yang diamati:

HARDWARE

• Penyebab: Masalah hardware dengan TPU, memorinya (HBM), atau mesin host. Contohnya mencakup error memori yang tidak dapat dikoreksi (ECC HBM) atau masalah kualitas link internal. Contoh umum masalah hardware adalah: error ECC HBM v6e, error Kualitas Link Intra runtime v6e, dan error ECC HBM v5e.
• Solusi: Meskipun Google Cloud sering kali mendeteksi dan menyelesaikan masalah ini secara otomatis, error hardware biasanya tidak bersifat sementara. Jika Anda mengalami error ini lebih dari sekali di node TPU yang sama, hubungi Google Cloud Dukungan. Jika Anda memiliki pemesanan mode Semua Kapasitas, pertimbangkan untuk melaporkan dan mengganti node.

USER

• Penyebab: Masalah dalam kode atau konfigurasi Anda, yang mungkin terkait dengan pengelolaan memori, penggunaan API yang salah, atau aspek lain dari workload ML.
• Solusi: Tinjau kode dan konfigurasi tugas machine learning Anda untuk mengetahui potensi bug atau masalah resource. Coba lagi workload. Jika error ini berlanjut di node yang sama, hubungi Google Cloud Dukungan. Jika Anda memiliki pemesanan mode Semua Kapasitas, pertimbangkan untuk melaporkan dan mengganti node.

POWER

• Penyebab: Masalah terkait daya dengan hardware TPU atau firmware-nya.
• Solusi: Google Cloud menangani masalah ini secara otomatis tanpa memerlukan tindakan apa pun dari Anda. Coba lagi workload dan hubungi Google Cloud Dukungan jika masalah berlanjut.

NETWORK

• Penyebab: Masalah terkait jaringan dalam sistem TPU. Masalah ini dapat berkisar dari gangguan sementara hingga masalah yang lebih persisten dengan link Inter-Chip Interconnect (ICI).
• Solusi: Google Cloud otomatis mencoba menyelesaikan masalah jaringan terkait hardware. Coba lagi workload Anda, karena beberapa masalah terkait jaringan bersifat sementara. Jika masalah terus terjadi di berbagai node atau setelah Anda membuat ulang node, hubungi Google Cloud Dukungan. Jika Anda memiliki pemesanan mode Semua Kapasitas, pertimbangkan untuk melaporkan dan mengganti node.