Dokumen ini menjelaskan masalah umum pada pemindai kondisi cluster dan cara menyelesaikannya.
Pemindaian melewati node atau berhenti karena workload aktif terdeteksi
Masalah: Pemindaian melewati beberapa node GPU, atau berhenti selama pemeriksaan pra-peluncuran untuk node pool TPU, dan melaporkan bahwa workload aktif terdeteksi.
Penyebab: Satu atau beberapa node target menjalankan workload.
Penyelesaian: Kosongkan atau hentikan workload pada node target, lalu jalankan ulang pemindaian. Untuk mengetahui informasi selengkapnya, lihat Memverifikasi bahwa node target tidak ada aktivitas.
Pemindaian berhenti karena jenis mesin yang beragam
Masalah: Pemindaian berhenti selama pemeriksaan pra-peluncuran dan melaporkan bahwa node target menggunakan jenis mesin yang berbeda.
Penyebab: Node pool yang Anda tentukan dalam flag --nodepools atau partisi yang Anda tentukan dalam flag --partitions tidak semuanya menggunakan jenis mesin yang sama. Misalnya, satu pemindaian tidak dapat menggabungkan node pool GPU dan TPU, atau node A3 Mega dan A4.
Penyelesaian: Jalankan pemindaian terpisah untuk setiap jenis mesin.
Pemindaian berhenti karena error izin penyimpanan
Masalah: Pemindaian berhenti selama pemeriksaan pra-peluncuran dan melaporkan error Cloud Storage.
Penyebab: Bucket tidak ada, atau akun utama yang menulis laporan tidak memiliki izin untuk menulis ke bucket.
Penyelesaian: Pastikan bucket ada dan akun utama memiliki peran Storage Object Admin di bucket. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan bucket Cloud Storage untuk laporan.
Alat command line tidak dapat terhubung ke cluster
Masalah: Alat command line chs menampilkan error autentikasi atau koneksi.
Penyebab: Entri kubeconfig untuk cluster tidak ada, atau kredensial Anda tidak tersedia di dalam container.
Penyelesaian: Jalankan perintah gcloud container clusters get-credentials, seperti yang dijelaskan dalam Menghubungkan ke cluster atau instance. Kemudian,
pastikan file kubeconfig dan kredensial Google Cloud Anda di-mount di
container, seperti yang dijelaskan dalam Menginstal pemindai kondisi
cluster.
Pemanggil tidak memiliki izin untuk mengakses project
Masalah: Perintah chs menampilkan error berikut:
ERROR: The caller doesn't have permission to access the project PROJECT_ID
Penyebab: Kredensial Anda tidak ada atau sudah tidak berlaku, atau identitas aktif tidak memiliki izin Identity and Access Management (IAM) yang diperlukan pada project.
Penyelesaian: Siapkan Kredensial Default Aplikasi dengan akun pengguna Anda:
gcloud auth application-default login
Jika Anda juga perlu mengautentikasi Google Cloud CLI dengan akun pengguna, bukan akun layanan, jalankan perintah berikut:
gcloud auth login --no-browser
Pengujian GPU melaporkan error driver atau hardware
Masalah: Laporan kondisi menunjukkan status DEGRADED atau INCOMPLETE untuk beberapa
node setelah uji coba nvidia-smi atau dcgm.
Penyebab: GPU pada node tidak terdeteksi, driver GPU tidak berfungsi, atau NVIDIA Data Center GPU Manager (DCGM) mendeteksi kesalahan hardware.
Penyelesaian: Tinjau log diagnostik di direktori ruang kerja dari direktori output lokal atau bucket Cloud Storage Anda. Kemudian, ikuti langkah-langkah untuk lingkungan Anda di Memperbaiki node yang tidak responsif.
Uji jaringan melaporkan bandwidth rendah atau latensi tinggi
Masalah: Laporan kondisi menunjukkan bandwidth komunikasi kolektif yang rendah atau latensi tinggi untuk beberapa node.
Penyebab: Pada GPU, hal ini disebabkan oleh GPU, koneksi NVLink, atau antarmuka jaringan yang rusak pada satu atau beberapa node. Di TPU, hal ini disebabkan oleh link ICI atau chip TPU yang rusak pada satu atau beberapa node.
Penyelesaian: Untuk GPU, gunakan hasil pengujian nccl-pairwise untuk mengidentifikasi node mana yang terlibat dalam pasangan node yang lambat. Untuk TPU, tinjau hasil tpu-collectives dan tpu-network-stress dalam laporan kondisi. Kemudian,
ikuti langkah-langkah untuk lingkungan Anda di Memperbaiki node yang tidak responsif.
Resource tetap ada di cluster setelah pemindaian dihentikan
Masalah: Tugas atau resource diagnostik tetap berada di cluster Google Kubernetes Engine (GKE) Anda setelah proses chs dihentikan.
Penyebab: Di GKE, proses chs harus tetap berjalan selama
durasi pemindaian untuk membersihkan resource saat pemindaian selesai.
Penyelesaian: Batalkan operasi yang dihentikan atau semua operasi di cluster untuk menghapus tugas yang tersisa dan merilis node:
chs cancel RUN_ID
Untuk membatalkan semua operasi di cluster, jalankan chs cancel --all.
Pemindaian gagal pada instance TPU mandiri saat TPU sedang sibuk
Masalah: Saat Anda menjalankan pemindaian pada instance TPU mandiri, alat command line chs menampilkan error TPUs are busy.
Penyebab: Proses lain pada instance TPU menggunakan perangkat TPU.
Penyelesaian: Tunggu hingga proses lain selesai atau hentikan proses, lalu jalankan kembali pemindaian.
Pemindaian gagal dengan error batas memlock pada instance TPU mandiri
Masalah: Saat Anda menjalankan pemindaian pada instance TPU mandiri, alat command line chs
melaporkan bahwa batas memlock terlalu rendah atau pengujian TPU
memerlukan root atau batas memlock tanpa batas.
Penyebab: Sesi pengguna saat ini memiliki batas ruang alamat terkunci dalam memori (memlock) yang dibatasi.
Penyelesaian: Jalankan pemindai kondisi cluster sebagai pengguna root, atau naikkan
batas memlock sebelum Anda menjalankan pemindaian:
ulimit -l unlimited
Container gagal di instance TPU mandiri tanpa akses ke host
Masalah: Saat Anda menjalankan pemindaian pada instance TPU mandiri menggunakan
image container, alat command line chs akan gagal dengan error berikut:
CHS runs in a container without access to the host
Penyebab: Dalam mode mandiri pada instance TPU, container harus membagikan
namespace PID host dan memasang sistem file host untuk memeriksa dan menggunakan perangkat
TPU di bagian /dev/vfio.
Penyelesaian: Mulai container dengan flag --privileged, --pid=host, dan
-v /:/host. Untuk perintah docker run lengkap, lihat Image container.
Penginstalan paket gagal dengan error versi Python
Masalah: Menjalankan pip install gagal dengan error: Package 'chs' requires a
different Python.
Penyebab: Versi python3 di komputer Anda lebih lama dari 3.12, yang umum terjadi pada node login Slurm dan instance TPU.
Penyelesaian: Gunakan uv untuk membuat lingkungan virtual Python 3.12 dan instal
pemindai kondisi cluster tanpa hak istimewa root:
python3 -m venv uv-venv
uv-venv/bin/pip install uv
uv-venv/bin/uv venv --python 3.12 chs-venv
source chs-venv/bin/activate
uv-venv/bin/uv pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git
Pemindaian melewati instance TPU mandiri karena dependensi pengujian TPU tidak diinstal
Masalah: Saat Anda menjalankan pemindaian pada instance TPU mandiri, chs run akan melewati
instance tersebut dan menampilkan peringatan berikut:
The TPU test dependencies are not installed. CHS installs them only on Linux x86_64 with Python 3.12.
Penyebab: Paket Python pemindai kondisi cluster diinstal dengan versi Python selain 3.12 (misalnya, Python 3.13). Pada instance TPU mandiri, dependensi tolok ukur TPU hanya diinstal di Linux x86_64 dengan Python 3.12.
Penyelesaian: Instal ulang pemindai kondisi cluster di lingkungan virtual Python 3.12 menggunakan uv (lihat Penginstalan paket gagal dengan error versi Python), atau gunakan image container pemindai kondisi cluster.