Menjalankan pemindaian kondisi di GPU dan TPU

Pemindai kondisi cluster adalah alat diagnostik mandiri yang memvalidasi kesiapan kapasitas GPU dan Cloud TPU Anda sebelum Anda menjadwalkan workload. Pemindai kondisi cluster menjalankan benchmark yang menyimulasikan traffic workload sebenarnya pada node akselerator Anda untuk mengukur performa akselerator, memorinya, dan interkoneksi di antaranya. Anda dapat menggunakan hasilnya untuk mengidentifikasi dan menghapus node yang rusak sebelum menyebabkan tugas pelatihan atau inferensi Anda berhenti merespons, berjalan lambat, atau gagal.

Untuk TPU, pemindai kondisi cluster melengkapi pemantauan kondisi TPU, yang terus melaporkan sinyal kondisi hardware. Pemindai kondisi cluster secara aktif menjalankan workload pada kapasitas tidak ada aktivitas untuk mengukur performa dan mengekspos kesalahan yang hanya muncul saat ada beban.

Pemindai kondisi cluster sepenuhnya bersifat open source. Untuk melihat kode sumber, berkontribusi, atau melaporkan masalah, lihat repositori GitHub pemindai kondisi cluster.

Dokumen ini menjelaskan cara menginstal pemindai kondisi cluster, menjalankan pemindaian kondisi pada pemesanan GPU dan TPU, menafsirkan hasilnya, dan memperbaiki node yang tidak responsif.

Lingkungan yang didukung

Pemindai kondisi cluster mendukung lingkungan deployment berikut:

Lingkungan Akselerator yang didukung Lingkungan klien Opsi penginstalan
Cluster Google Kubernetes Engine (GKE) GPU dan TPU (node pool yang menggunakan slicing statis atau dinamis) Mesin Linux yang memiliki akses kubectl ke cluster target Paket Python atau image container
Cluster Slurm Khusus GPU Pengontrol Slurm atau node login, tempat perintah sinfo dan sbatch tersedia Khusus paket Python
Instance TPU mandiri Khusus TPU Instance TPU itu sendiri Paket Python atau image container (Container-Optimized OS)

Pemindai kondisi cluster mendukung jenis mesin GPU dan TPU berikut:

  • Jenis mesin GPU:
    • A5X: a5x-highgpu-4g-metal (khusus GKE)
    • A4X Max: a4x-maxgpu-4g-metal
    • A4X: a4x-highgpu-4g
    • A4: a4-highgpu-8g
    • A3 Ultra: a3-ultragpu-8g
    • A3 Mega: a3-megagpu-8g
  • Jenis mesin TPU:

Suite diagnostik

Anda dapat menginstal pemindai kondisi cluster sebagai paket Python atau sebagai image container. Kedua opsi ini menyediakan antarmuka command line (CLI) chs dan tolok ukur diagnostik. Anda menjalankan CLI dari mesin yang memiliki akses ke cluster GKE, di pengontrol Slurm atau node login, atau langsung di instance TPU mandiri. Kemudian, CLI akan menjalankan pengujian diagnostik pada node GPU atau TPU target.

Pemindai kondisi cluster menyediakan dua rangkaian diagnostik untuk setiap jenis akselerator:

  • Lite: Menjalankan pemeriksaan penyaringan cepat. Pada GPU dan instance TPU mandiri, suite Lite memeriksa setiap host. Pada node pool TPU GKE, alat ini juga menjalankan pemeriksaan kolektif cepat (tpu-collectives) di seluruh slice TPU. Operasi kolektif adalah pola komunikasi tempat semua akselerator bertukar data, seperti AllReduce, yang menggabungkan nilai dari setiap akselerator dan membagikan hasilnya ke semua akselerator. Gunakan suite Lite untuk health check cepat atau sebelum Anda menjalankan workload host tunggal.
  • Standar: Menjalankan validasi komprehensif di seluruh kapasitas target Anda. Di GPU, Standard suite menjalankan operasi kolektif di beberapa node dan mengukur bandwidth memori GPU. Di TPU, pengujian ini menjalankan semua pengujian Lite serta pengujian stres komputasi, memori, dan jaringan yang berkelanjutan. Gunakan suite Standard sebelum Anda menjalankan workload inferensi atau pelatihan multi-host, yang performa dan stabilitas jaringannya di bawah beban berkelanjutan secara langsung memengaruhi performa tugas.
Suite Akselerator Pengujian Fokus
lite GPU nvidia-smi, dcgm, gemm, nccl-single-node Validasi cepat kondisi GPU dan driver, throughput komputasi, dan komunikasi GPU intra-node.
TPU tpu-info, tpu-gemm, tpu-hbm, tpu-host-device, tpu-collectives Validasi cepat kesehatan perangkat, throughput komputasi, bandwidth memori bandwidth tinggi (HBM), bandwidth host-ke-perangkat, dan bandwidth kolektif Inter-Chip Interconnect (ICI).
standard GPU nvidia-smi, dcgm, gemm, nccl-cluster, nccl-pairwise, stream Validasi jaringan multi-node di seluruh node target, ditambah bandwidth memori.
TPU Semua pengujian TPU lite, ditambah tpu-compute-stress, tpu-hbm-stress, dan tpu-network-stress Pengujian stres berkelanjutan yang menunjukkan ketidakstabilan, kerusakan data tanpa peringatan, dan error bit ICI.

Pengujian GPU nccl-domain bukan bagian dari suite. Untuk menjalankan nccl-domain, gunakan flag --tests.

Suite dan pengujian GPU

Pemindai kondisi cluster menyediakan suite berikut untuk node GPU:

  • Lite: Memvalidasi driver dan hardware GPU, mengukur throughput komputasi, dan menjalankan pengujian NVIDIA Collective Communications Library (NCCL) dalam setiap node.
  • Standard: Menjalankan kolektif NCCL di semua node target dan di antara pasangan node untuk mengukur performa jaringan antar-node, dan mengukur bandwidth memori.

Tabel berikut menjelaskan setiap pengujian GPU:

Uji Deskripsi Suite
nccl-single-node Menjalankan pengujian kolektif NCCL antara GPU dalam satu node. lite
nvidia-smi Memeriksa kondisi dasar GPU dan driver GPU menggunakan NVIDIA System Management Interface. lite, standard
dcgm Menjalankan diagnostik NVIDIA Data Center GPU Manager (DCGM) untuk melakukan pemeriksaan hardware mendalam pada setiap GPU. lite, standard
gemm Menjalankan perkalian matriks umum (GEMM) untuk mengukur throughput komputasi GPU. lite, standard
nccl-cluster Menjalankan pengujian kolektif NCCL di semua node target untuk mengukur bandwidth jaringan di seluruh cluster. standard
nccl-pairwise Menjalankan pengujian NCCL antara pasangan node untuk mengukur latensi node-ke-node dan mengisolasi node atau link yang rusak. standard
stream Menjalankan benchmark STREAM untuk mengukur bandwidth memori GPU. standard
nccl-domain Menjalankan pengujian kolektif NCCL dalam setiap domain NVLink multi-node. Hanya didukung pada jenis mesin dengan domain NVLink multi-node. Tidak ada (jalankan dengan --tests)

Suite dan pengujian TPU

Pemindai kondisi cluster menyediakan suite berikut untuk TPU node:

  • Lite: Memvalidasi performa chip TPU dan HBM di setiap host, mengukur bandwidth host-ke-perangkat, dan menjalankan pengujian operasi kolektif untuk mengukur bandwidth ICI.
  • Standard: Menjalankan operasi kolektif di seluruh chip TPU dalam sebuah slice, ditambah uji ketahanan berkelanjutan pada chip TPU, HBM, dan link ICI.

Tabel berikut menjelaskan setiap pengujian TPU:

Uji Deskripsi Suite
tpu-info Memeriksa kondisi dasar TPU, termasuk jumlah perangkat, versi LibTPU, dan jenis perangkat TPU. lite, standard
tpu-gemm Menjalankan perkalian matriks umum (GEMM) untuk mengukur TFLOPS puncak yang berkelanjutan. lite, standard
tpu-hbm Mengukur bandwidth baca dan tulis HBM. lite, standard
tpu-collectives Menghitung waktu operasi kolektif, seperti AllReduce dan AllGather, untuk mengukur bandwidth ICI (khusus cluster GKE). lite, standard
tpu-host-device Mengukur bandwidth host-ke-perangkat. lite, standard
tpu-compute-stress Menjalankan perkalian matriks berkelanjutan untuk memverifikasi stabilitas komputasi dan mengekspos kerusakan data yang tidak terdeteksi. standard
tpu-hbm-stress Menekan HBM untuk mengukur bandwidth maksimum dan memvalidasi integritas data. standard
tpu-network-stress Mengirim payload acak berukuran besar di seluruh link ICI untuk mengukur bandwidth berkelanjutan dan mendeteksi error bit (khusus cluster GKE). standard

Sebelum memulai

Sebelum menggunakan pemindai kondisi cluster, instal alat yang diperlukan, konfigurasikan izin, dan hubungkan ke cluster atau instance Anda.

Penginstalan

Sebelum menjalankan pemindaian kondisi, selesaikan penginstalan untuk lingkungan deployment Anda.

Cluster GKE

Untuk menjalankan pemindaian kondisi di cluster GKE, pastikan Anda memiliki cluster target dan menginstal alat yang diperlukan di mesin tempat Anda berencana menjalankan pemindaian:

Cluster Slurm

Untuk menjalankan pemindaian kondisi di cluster Slurm, pastikan Anda memiliki cluster GPU target dan instal alat yang diperlukan di pengontrol Slurm atau node login, tempat perintah sinfo dan sbatch tersedia:

Untuk cluster Slurm, gunakan opsi penginstalan paket Python. Slurm tidak mendukung opsi image container.

Instance TPU mandiri

Untuk menjalankan pemindaian kondisi pada instance TPU mandiri, pastikan Anda memiliki instance TPU target dan instal alat yang diperlukan langsung di instance:

  • gcloud CLI: Instal dan lakukan inisialisasi gcloud CLI.
  • Prasyarat pemindai kondisi cluster: Instal alat untuk opsi penginstalan pemindai kondisi cluster yang ingin Anda gunakan:
    • Paket Python: Python 3.12 (khususnya Python 3.12 di Linux x86_64, bukan 3.13 atau yang lebih baru) dan Git. Jika versi python3 default di instance Anda lebih lama atau lebih baru dari 3.12, Anda dapat menggunakan uv untuk membuat lingkungan virtual Python 3.12 (lihat Memecahkan masalah pemindai kesehatan cluster).
    • Image container: Docker. Di Container-Optimized OS, image container adalah satu-satunya opsi penginstalan yang didukung.
  • Instance TPU mandiri: Pastikan Anda memiliki instance TPU mandiri (TPU7x atau TPU v6e), yang mengekspos perangkat TPU-nya di /dev/vfio (Anda dapat memverifikasi hal ini pada instance dengan menjalankan ls /dev/vfio). Untuk mengetahui informasi selengkapnya, lihat Membuat VM Cloud TPU.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menjalankan pemindaian kondisi, minta administrator untuk memberi Anda peran roles/compute.viewer di project Anda. Peran ini memungkinkan pemindai kondisi cluster membaca metadata Compute Engine dan informasi topologi untuk node Anda.

Anda juga memerlukan peran Identity and Access Management (IAM) berikut, bergantung pada lingkungan deployment Anda:

Lingkungan Peran yang diperlukan
Cluster GKE Kubernetes Engine Developer (roles/container.developer)
Cluster Slurm
  • Compute OS Login (roles/compute.osLogin) atau Compute OS Admin Login (roles/compute.osAdminLogin)
  • IAP-Secured Tunnel User (roles/iap.tunnelResourceAccessor), jika terhubung melalui Identity-Aware Proxy (IAP)
Instance TPU mandiri
  • TPU Admin (roles/tpu.admin)
  • IAP-Secured Tunnel User (roles/iap.tunnelResourceAccessor), jika terhubung melalui IAP

Jika Anda mengonfigurasi bucket Cloud Storage untuk laporan, Anda juga memerlukan peran Storage Object Admin (roles/storage.objectAdmin) di bucket. Peran ini memungkinkan pemindai kondisi cluster mengupload artefak hasil, seperti laporan kondisi, ke bucket.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Menghubungkan ke cluster atau instance

Hubungkan ke lingkungan tempat Anda berencana menjalankan pemindaian kondisi.

Cluster GKE

Siapkan Kredensial Default Aplikasi (ADC) dan konfigurasikan kubectl untuk berkomunikasi dengan cluster GKE Anda:

gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID

Cluster Slurm

Hubungkan ke pengontrol Slurm atau node login Anda menggunakan SSH:

gcloud compute ssh SLURM_NODE_NAME \
    --zone=ZONE \
    --project=PROJECT_ID

Instance TPU mandiri

Hubungkan ke instance TPU mandiri menggunakan SSH:

gcloud compute tpus tpu-vm ssh TPU_NAME \
    --zone=ZONE \
    --project=PROJECT_ID

Menginstal pemindai kondisi cluster

Instal pemindai kondisi cluster di mesin tempat Anda menjalankan pemindaian, yang bergantung pada lingkungan Anda:

  • Cluster GKE: Mesin apa pun yang memiliki akses kubectl ke cluster Anda.
  • Cluster Slurm: Pengontrol Slurm atau node login.
  • Instance TPU mandiri: Instance TPU itu sendiri.

Di cluster GKE dan Slurm, pemindai kondisi cluster secara otomatis mengambil image container diagnostik yang cocok dengan node GPU atau TPU Anda dan menjadwalkannya di cluster, sehingga Anda tidak perlu menginstal software apa pun di node komputasi individual. Pada instance TPU mandiri, Anda menginstal dan menjalankan pemindai respons cluster langsung di instance.

Anda dapat menginstal pemindai kondisi cluster sebagai paket Python atau sebagai image container. Perintah chs di bagian selanjutnya dalam dokumen ini berfungsi dengan salah satu opsi penginstalan. Untuk melihat informasi penggunaan mendetail untuk perintah apa pun, tambahkan flag --help.

Paket Python

Buat lingkungan virtual Python dan instal paket pemindai kondisi cluster dari GitHub. Di cluster GKE dan Slurm, gunakan Python 3.12 atau yang lebih baru. Pada instance TPU mandiri (x86_64), Anda harus menggunakan Python 3.12 (dengan Python 3.13 atau yang lebih baru, pip install tidak menginstal dependensi benchmark TPU, dan chs run melewati instance):

python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git

Untuk menginstal rilis tertentu, tambahkan @VERSION ke URL repositori:

pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION

Untuk mengetahui daftar rilis, lihat rilis pemindai kondisi cluster di GitHub.

Image container

Pemindai kondisi cluster didistribusikan sebagai image container di Artifact Registry. Image ini mendukung GPU dan TPU. Anda dapat menggunakan image container untuk cluster GKE dan instance TPU mandiri, tetapi tidak untuk cluster Slurm.

  1. Konfigurasi Docker untuk melakukan autentikasi dengan Artifact Registry dan mengambil image container pemindai kondisi cluster:

    gcloud auth configure-docker us-docker.pkg.dev
    docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latest
    

    Untuk mengambil rilis tertentu, bukan latest, ganti latest dengan nomor versi. Misalnya, 0.3.0 untuk rilis GitHub v0.3.0. Untuk mengetahui daftar rilis, lihat rilis pemindai kondisi cluster di GitHub.

  2. Buat alias shell untuk menjalankan perintah chs secara langsung. Alias yang Anda buat bergantung pada lingkungan Anda:

    • Cluster GKE: Alias memasang file kubeconfig dan kredensial Google Cloud Anda dalam mode hanya baca. Alias ini juga menyimpan status operasi Anda di volume Docker chs-local-state dan menulis file output ke direktori chs-output di direktori Anda saat ini:

      alias chs='docker run --rm -it --network host \
          -v ~/.kube:/workspace/.kube:ro \
          -v ~/.config/gcloud:/workspace/.config/gcloud:ro \
          -v chs-local-state:/workspace/.local/share \
          -v "$(pwd)/chs-output":/workspace/chs-output \
          us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
      
    • Instance TPU mandiri: Pada instance TPU yang menjalankan Container-Optimized OS, image container adalah satu-satunya opsi penginstalan yang didukung. Alias ini memberi container akses ke perangkat TPU dan namespace PID host instance, memasang sistem file root host di /host, dan memasang kredensial Google CloudAnda dalam mode hanya baca. Alias ini juga menyimpan status operasi Anda di volume Docker chs-local-state dan menulis file output ke direktori chs-output di direktori Anda saat ini:

      alias chs='docker run --rm -it --privileged --pid=host \
          -v /:/host \
          -v ~/.config/gcloud:/workspace/.config/gcloud:ro \
          -v chs-local-state:/workspace/.local/share \
          -v "$(pwd)/chs-output":/workspace/chs-output \
          us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
      

Opsional: Menyiapkan bucket Cloud Storage untuk laporan

Secara default, pemindai kondisi cluster menyimpan laporan dan log diagnostik ke direktori output lokal. Anda dapat mengonfigurasi bucket Cloud Storage untuk menyimpannya dari jarak jauh juga.

  1. Jika Anda belum memiliki bucket untuk laporan pemindaian kondisi, buat bucket:

    gcloud storage buckets create gs://BUCKET_NAME \
        --location=BUCKET_LOCATION \
        --project=PROJECT_ID
    
  2. Berikan peran Storage Object Admin (roles/storage.objectAdmin) ke akun pengguna utama atau akun layanan Anda:

    gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
        --member=PRINCIPAL \
        --role=roles/storage.objectAdmin
    

    Anggota PRINCIPAL adalah akun utama yang menulis laporan. Misalnya, user:EMAIL atau serviceAccount:SERVICE_ACCOUNT_EMAIL.

  3. Tetapkan bucket tempat pemindai kondisi cluster menyimpan laporan. Bucket harus sudah ada karena pemindai kondisi cluster tidak membuatnya secara otomatis. Anda hanya perlu menjalankan perintah ini sekali untuk setiap lingkungan:

    chs configure storage gcs BUCKET_NAME
    

    Untuk menyimpan laporan di bawah awalan folder dalam bucket, tambahkan awalan ke nama bucket:

    chs configure storage gcs BUCKET_NAME/PREFIX
    

Menjalankan pemindaian kondisi

Bagian ini menjelaskan cara memverifikasi bahwa node Anda tidak ada aktivitas, memulai pemindaian, dan memantau progresnya.

Memastikan bahwa node target tidak ada aktivitas

Pemindai kondisi cluster hanya berjalan pada kapasitas nonaktif, dan tidak otomatis menghentikan atau mengeluarkan workload Anda. Sebelum memulai pemindaian, hentikan atau kosongkan semua workload yang berjalan di node atau instance target Anda.

Jika pemindai kondisi cluster mendeteksi workload aktif pada node atau instance target, pemindai akan menangani kapasitas sebagai berikut:

  • GPU: Pemindai kondisi cluster akan melewati node yang sibuk dan menjalankan pemindaian pada node nonaktif yang tersisa.
  • TPU: Cara pemindai kondisi cluster menangani kapasitas sibuk bergantung pada lingkungan:
    • Cluster GKE: Pengujian TPU multi-host (tpu-collectives dan tpu-network-stress) memerlukan slice nonaktif yang lengkap, sedangkan pengujian TPU host tunggal dapat berjalan di node nonaktif individual:
      • Node pool pemisahan statis (--nodepools atau --nodes): Jika beberapa node dalam pool sedang sibuk saat Anda menjalankan suite lite atau standard, pemindai kondisi cluster akan mencatat peringatan, menghilangkan pengujian multi-host, dan menjalankan pengujian TPU host tunggal pada node nonaktif yang tersisa.
      • Node pool slicing dinamis (--nodepools atau --nodes): Menargetkan pool dengan --nodepools mengharuskan seluruh node pool tidak ada aktivitas sehingga pemindai kondisi cluster dapat menyediakan resource Slice pool penuh. Jika Anda menargetkan node tertentu dengan --nodes (di GKE versi 1.36.0-gke.3712000 atau yang lebih baru), pemindai kondisi cluster akan menyediakan sub-slice 2x2x1 individual untuk setiap node yang tidak ada aktivitas, melewati node yang sibuk, dan menjalankan pengujian TPU host tunggal pada node yang tidak ada aktivitas.
    • Instance TPU mandiri: Pemindai kondisi cluster tidak dapat berjalan jika proses lain menggunakan perangkat TPU di bagian /dev/vfio.

Untuk memastikan kapasitas target Anda tidak ada aktivitas, ikuti langkah-langkah untuk lingkungan Anda.

Cluster GKE

  1. Hentikan atau hapus Tugas atau Pod workload yang aktif di node pool target, atau tunggu hingga workload yang berjalan selesai.

    Jika Anda menggunakan kubectl drain untuk mengeluarkan workload dari node pool, batalkan cordon node sebelum memulai pemindaian agar pemindai kondisi cluster dapat menjadwalkan Pod diagnostik di node tersebut (pemindai kondisi cluster akan melewati node yang di-cordon):

    kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \
        --ignore-daemonsets --delete-emptydir-data
    kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAME
    

    Pastikan tidak ada workload baru yang dijadwalkan di node pool saat pemindaian berjalan.

  2. Pastikan tidak ada Pod workload yang tersisa di node pool:

    kubectl get pods --all-namespaces -o wide \
        --field-selector=status.phase=Running | grep NODE_POOL_NAME
    

    Pod sistem, seperti yang dikelola oleh DaemonSets di namespace kube-system, dapat terus berjalan.

Cluster Slurm

  1. Periksa tugas yang berjalan di partisi target:

    squeue --partition=PARTITION_NAME
    

    Jika tugas sedang berjalan di partisi, tunggu hingga tugas selesai atau batalkan tugas dengan scancel JOB_ID.

  2. Pastikan node di partisi target berada dalam status idle:

    sinfo --partition=PARTITION_NAME
    

Instance TPU mandiri

Pastikan tidak ada proses lain yang menggunakan perangkat TPU pada instance:

sudo fuser -v /dev/vfio/*

Jika ada proses yang tercantum, tunggu hingga workload selesai atau hentikan proses sebelum Anda memulai pemindaian.

Memulai pemindaian

Flag yang Anda teruskan ke perintah chs run bergantung pada lingkungan tempat Anda menjalankan pemindai kondisi cluster. Pemindai kondisi cluster otomatis mendeteksi penjadwal dan jenis akselerator, sehingga Anda tidak perlu menentukannya.

Untuk mencantumkan rangkaian diagnostik dan pengujian yang tersedia untuk jenis akselerator, jalankan perintah berikut:

  • Untuk GPU:

    chs list suites --gpu
    chs list tests --gpu
    
  • Untuk TPU:

    chs list suites --tpu
    chs list tests --tpu
    

Node pool GKE

Jalankan pemindai kondisi cluster dari mesin mana pun yang memiliki akses kubectl ke cluster Anda, seperti mesin lokal atau Cloud Shell.

Untuk memulai pemindaian pada satu atau beberapa node pool, jalankan perintah berikut:

chs run \
    --nodepools=NODE_POOL_NAMES \
    --suite=SUITE

Ganti kode berikut:

  • NODE_POOL_NAMES: daftar node pool GPU atau TPU yang dipisahkan koma untuk dipindai. Misalnya a4-pool-1,a4-pool-2 atau tpu7x-pool-1,tpu7x-pool-2. Semua node pool target harus menggunakan jenis mesin yang sama.
  • SUITE: suite diagnostik yang akan dijalankan, baik lite maupun standard. Untuk mengetahui informasi selengkapnya tentang setiap suite, lihat Suite diagnostik.

Untuk menjalankan pengujian tertentu, bukan rangkaian lengkap, ganti flag --suite dengan flag --tests dan tentukan daftar nama pengujian yang dipisahkan koma:

chs run \
    --nodepools=NODE_POOL_NAMES \
    --tests=TEST_NAMES

Untuk memindai node tertentu, bukan seluruh node pool, ganti flag --nodepools dengan flag --nodes dan tentukan daftar nama node yang dipisahkan koma.

Saat Anda menentukan beberapa node pool dalam flag --nodepools, pemindai kondisi cluster akan menanganinya berdasarkan jenis akselerator:

  • Node pool GPU: Menggabungkan semua node GPU yang tidak ada aktivitas di seluruh node pool yang ditentukan ke dalam satu set target dan menjalankan pengujian multi-node (nccl-cluster dan nccl-pairwise) di semua node tersebut secara bersamaan.
  • Node pool TPU: Mengevaluasi setiap node pool (slice TPU) secara independen dan paralel dalam satu operasi, tanpa pengujian lintas slice (Multislice).

Partisi Slurm

Jalankan pemindai kondisi cluster di pengontrol Slurm atau node login, tempat perintah sinfo dan sbatch tersedia. Slurm memerlukan opsi penginstalan paket Python. Untuk petunjuk penginstalan, lihat Paket Python.

Sebelum memulai pemindaian, konfigurasikan kredensial Enroot pada cluster agar node dapat mengambil image benchmark dari us-docker.pkg.dev:

gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF

Mulai pemindaian pada satu atau beberapa partisi:

chs run \
    --partitions=PARTITION_NAMES \
    --suite=SUITE

Ganti kode berikut:

  • PARTITION_NAMES: daftar partisi Slurm yang dipisahkan koma untuk dipindai.
  • SUITE: suite diagnostik yang akan dijalankan, baik lite maupun standard. Untuk mengetahui informasi selengkapnya tentang setiap suite, lihat Suite diagnostik.

Untuk menjalankan pengujian GPU tertentu, bukan rangkaian lengkap, ganti flag --suite dengan flag --tests dan tentukan daftar nama pengujian yang dipisahkan koma (misalnya, nccl-pairwise,gemm atau nccl-domain):

chs run \
    --partitions=PARTITION_NAMES \
    --tests=TEST_NAMES

Instance TPU mandiri

Jalankan pemindai kondisi cluster langsung di instance TPU. Instance TPU harus mengekspos perangkat TPU-nya di /dev/vfio (Anda dapat memverifikasi hal ini pada instance dengan menjalankan ls /dev/vfio).

Jika Anda tidak menjalankan pemindai kondisi cluster sebagai pengguna root, naikkan batas memlock sebelum menjalankan pengujian TPU:

ulimit -l unlimited

Untuk memulai pemindaian pada instance TPU, jalankan perintah berikut:

chs run --suite=SUITE

Ganti SUITE dengan suite diagnostik yang akan dijalankan, baik lite maupun standard. Untuk mengetahui informasi selengkapnya tentang setiap suite, lihat Suite diagnostik.

Untuk menjalankan pengujian TPU tertentu, bukan rangkaian lengkap, ganti flag --suite dengan flag --tests dan tentukan daftar nama pengujian yang dipisahkan koma (misalnya, tpu-host-device,tpu-hbm-stress):

chs run --tests=TEST_NAMES

Melihat operasi dan hasil

Pemindai kondisi cluster menyimpan histori operasi dan setelan konfigurasi secara lokal di mesin klien tempat Anda menjalankan perintah chs (di ~/.local/share/chs/, atau di volume Docker chs-local-state saat Anda menggunakan image container). Akibatnya, perintah chs history dan chs results hanya mencantumkan operasi yang dimulai dari lingkungan tersebut.

Untuk mencantumkan operasi sebelumnya dan ID operasinya, jalankan perintah berikut:

chs history

Untuk menampilkan hasil operasi dan lokasi laporan HTML interaktif (bill_of_health.html) dan laporan JSON (bill_of_health.json), jalankan perintah berikut:

chs results RUN_ID

Jika Anda menghilangkan RUN_ID, pemindai kondisi cluster akan meminta Anda untuk memilih operasi. Perintah ini mencetak jalur lokal, atau Cloud Storage URI jika Anda mengonfigurasi bucket. Tindakan ini akan membaca hasil tersimpan dari operasi sebelumnya dan tidak memulai tugas baru di cluster atau instance Anda.

Membatalkan pemindaian

Untuk membatalkan pemindaian, menghentikan tugasnya, dan menghapus resource yang dibuatnya di cluster atau instance Anda, jalankan salah satu perintah berikut:

  • Membatalkan operasi terbaru Anda:

    chs cancel
    
  • Membatalkan operasi tertentu:

    chs cancel RUN_ID
    
  • Batalkan setiap pemindaian kondisi cluster yang dijalankan di cluster atau instance, termasuk pemindaian yang dimulai oleh pengguna lain:

    chs cancel --all
    

Menafsirkan hasilnya

Setelah pemindaian selesai, pemindai kondisi cluster akan menyimpan artefak berikut ke direktori output lokal Anda, dan menguploadnya ke bucket Cloud Storage jika Anda mengonfigurasi penyimpanan:

  • Laporan HTML interaktif (bill_of_health.html): menampilkan setiap pengujian, metrik yang diukur, dan statusnya.
  • Laporan JSON (bill_of_health.json): berisi parameter sweep dan metrik yang diukur untuk setiap pengujian.
  • Direktori Workspace: berisi log diagnostik.

Melihat laporan kondisi

Untuk menemukan jalur lokal atau Cloud Storage URI yang tepat (gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html dan gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json) untuk laporan pemindaian, jalankan perintah berikut:

chs results RUN_ID

Jika Anda mengonfigurasi bucket Cloud Storage, Anda dapat melihat laporan JSON langsung dari URI yang ditampilkan oleh chs results:

gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json

Melaporkan konten

Laporan kondisi mencantumkan setiap node yang diuji oleh pemindai kondisi cluster, beserta hasil tolok ukur untuk setiap node. Pemindaian GPU dan TPU menggunakan format laporan yang sama. Setiap node menerima salah satu status berikut:

Status Deskripsi
HEALTHY Semua pengujian memenuhi performa yang diharapkan untuk jenis mesin.
DEGRADED Node menyelesaikan pengujian, tetapi satu atau beberapa hasil berada di bawah performa yang diharapkan.
POTENTIALLY DEGRADED Uji penyaringan berada di bawah performa yang diharapkan, dan uji tekanan yang sesuai tidak dijalankan untuk mengonfirmasi hasilnya.
INCOMPLETE Satu atau beberapa pengujian gagal dijalankan, waktu habis, dibatalkan, atau tidak melaporkan metrik pada node.

File bill_of_health.json berisi kolom tingkat atas berikut:

  • report_id: ID unik untuk operasi pemindaian.
  • chs_version: versi pemindai kondisi cluster yang membuat laporan.
  • created_at: stempel waktu saat laporan dibuat.
  • system_info: metadata tentang sistem yang sedang diuji, seperti jenis cluster dan jenis mesin.
  • test_results: daftar objek hasil pengujian. Setiap entri mencakup kolom berikut:
    • test_name: nama uji diagnostik.
    • result_status: hasil pengujian, seperti RESULT_STATUS_SUCCESS atau RESULT_STATUS_FAILED.
    • target_resources: node (node_name dan instance_id) tempat pengujian dijalankan.
    • metrics: metrik yang diukur dan kriteria validasi untuk pengujian.

Laporan kondisi menggunakan format JSON yang konsisten dan terstruktur. Anda dapat memuat laporan ke BigQuery atau alat analisis lainnya dan membandingkan laporan dari pemindaian berturut-turut dengan kapasitas yang sama untuk mendeteksi penyimpangan performa secara bertahap.

Memperbaiki node yang tidak responsif

Jika laporan respons mengidentifikasi node atau instance dengan status DEGRADED, POTENTIALLY DEGRADED, atau INCOMPLETE, lakukan langkah-langkah berikut:

  1. Untuk mengesampingkan masalah sementara, jalankan ulang pemindaian pada node pool atau node GKE, partisi Slurm, atau instance TPU mandiri sebelum Anda membatasi atau mengosongkan node (pemindai kondisi cluster akan melewati node GKE yang dibatasi dan node Slurm yang dikosongkan). Untuk mengetahui petunjuknya, lihat Memulai pemindaian.

  2. Jika masalah berlanjut, cegah workload baru dijadwalkan pada node atau instance yang terpengaruh:

    • Cluster GKE: Beri cordon pada node yang tidak responsif:

      kubectl cordon NODE_NAME
      
    • Cluster Slurm: Kosongkan node yang tidak responsif:

      sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"
      
    • Instance TPU mandiri: Jangan memulai workload baru di instance TPU hingga Anda selesai memperbaiki masalah.

  3. Perbaiki atau ganti node atau instance menggunakan salah satu opsi berikut, bergantung pada jenis akselerator dan lingkungan:

    Saat Anda menghubungi dukungan, lampirkan direktori ruang kerja dari direktori output lokal atau bucket Cloud Storage, yang berisi log diagnostik, dan sertakan ID operasi.

  4. Setelah node atau instance diperbaiki atau diganti, buat node atau instance tersebut dapat dijadwalkan lagi agar pemindai kondisi cluster tidak melewatkannya, lalu jalankan pemindaian baru untuk mengonfirmasi bahwa kapasitasnya responsif:

    • Cluster GKE: Batalkan cordon node, lalu jalankan ulang pemindaian sebelum Anda menjadwalkan workload baru:

      kubectl uncordon NODE_NAME
      
    • Cluster Slurm: Lanjutkan node agar kembali ke status idle, lalu jalankan ulang pemindaian sebelum Anda menjadwalkan tugas baru:

      sudo scontrol update NodeName=NODE_NAME State=RESUME
      
    • Instance TPU mandiri: Jalankan ulang pemindaian pada instance, lalu lanjutkan menjalankan workload setelah pemindaian mengonfirmasi bahwa instance tersebut responsif.

Telemetri

Pemindai kondisi cluster mengirimkan metrik penggunaan anonim ke Google untuk membantu meningkatkan kualitas alat, dan tidak mengumpulkan informasi identitas pribadi (PII). Telemetri diaktifkan secara default. Untuk memilih tidak ikut, jalankan chs configure telemetry disable atau tetapkan variabel lingkungan CHS_TELEMETRY=0.

Langkah berikutnya

Untuk menyelesaikan masalah umum terkait pemindai kondisi cluster, lihat Memecahkan masalah pemindai kondisi cluster.