Questo documento descrive i problemi comuni relativi allo scanner di integrità del cluster e come risolverli.
La scansione salta i nodi o si interrompe perché sono stati rilevati workload attivi
Problema: l'analisi salta alcuni nodi GPU o si interrompe durante i controlli preliminari per un pool di nodi TPU e segnala che sono stati rilevati workload attivi.
Causa: uno o più nodi di destinazione eseguono workload.
Risoluzione: svuota o arresta i workload sui nodi di destinazione, quindi esegui nuovamente la scansione. Per saperne di più, consulta Verifica che i nodi di destinazione siano inattivi.
La scansione si interrompe a causa di tipi di macchine misti
Problema: l'analisi si interrompe durante i controlli preliminari e segnala che i nodi di destinazione utilizzano tipi di macchine diversi.
Causa: i node pool specificati nel flag --nodepools o le partizioni specificate nel flag --partitions non utilizzano tutti lo stesso tipo di macchina. Ad esempio, una singola scansione non può combinare pool di nodi GPU e TPU o nodi A3 Mega e A4.
Risoluzione: esegui una scansione separata per ogni tipo di macchina.
La scansione si interrompe a causa di un errore di autorizzazione di archiviazione
Problema: l'analisi si interrompe durante i controlli preliminari e segnala un errore di Cloud Storage.
Causa: il bucket non esiste o l'entità che scrive il report non dispone dell'autorizzazione per scrivere nel bucket.
Soluzione: verifica che il bucket esista e che l'entità disponga del ruolo Amministratore oggetti Storage sul bucket. Per saperne di più, consulta Configura un bucket Cloud Storage per i report.
Lo strumento a riga di comando non riesce a connettersi al cluster
Problema: lo strumento a riga di comando chs restituisce un errore di autenticazione o connessione.
Causa: la voce kubeconfig per il cluster non è presente o le tue credenziali non sono disponibili all'interno del container.
Risoluzione: esegui il comando gcloud container clusters get-credentials, come descritto in Connettiti al cluster o all'istanza. Poi, verifica che il file kubeconfig e le credenziali Google Cloud siano montati nel container, come descritto in Installa lo scanner di integrità del cluster.
Il chiamante non dispone dell'autorizzazione per accedere al progetto
Problema: un comando chs restituisce il seguente errore:
ERROR: The caller doesn't have permission to access the project PROJECT_ID
Causa: le tue credenziali sono mancanti o scadute oppure l'identità attiva non dispone delle autorizzazioni Identity and Access Management (IAM) richieste per il progetto.
Risoluzione: configura le Credenziali predefinite dell'applicazione con il tuo account utente:
gcloud auth application-default login
Se devi anche autenticare Google Cloud CLI con il tuo account utente anziché con un account di servizio, esegui questo comando:
gcloud auth login --no-browser
I test della GPU segnalano errori del driver o dell'hardware
Problema: il report sull'integrità mostra lo stato DEGRADED o INCOMPLETE per alcuni nodi dopo l'esecuzione dei test nvidia-smi o dcgm.
Causa: una GPU sul nodo non viene rilevata, il driver della GPU non funziona o NVIDIA Data Center GPU Manager (DCGM) ha rilevato un errore hardware.
Risoluzione: esamina i log di diagnostica nella directory dell'area di lavoro della directory di output locale o del bucket Cloud Storage. Quindi segui i passaggi per il tuo ambiente in Correggi i nodi non integri.
I test di rete segnalano una larghezza di banda ridotta o una latenza elevata
Problema: il report sull'integrità mostra una larghezza di banda di comunicazione collettiva bassa o una latenza elevata per alcuni nodi.
Causa: sulle GPU, questo è causato da una GPU, una connessione NVLink o un'interfaccia di rete difettosa su uno o più nodi. Sulle TPU, questo è causato da un link ICI o un chip TPU difettoso su uno o più nodi.
Risoluzione: per le GPU, utilizza i risultati del test nccl-pairwise per identificare i nodi coinvolti nelle coppie di nodi lenti. Per le TPU, esamina i risultati di tpu-collectives e tpu-network-stress nel report sull'integrità. Quindi segui i passaggi per il tuo ambiente in Correggi i nodi non integri.
Le risorse rimangono nel cluster dopo l'interruzione di un'analisi
Problema: i job o le risorse di diagnostica rimangono nel tuo cluster Google Kubernetes Engine (GKE) dopo la terminazione del processo chs.
Causa: su GKE, il processo chs deve rimanere in esecuzione per tutta la durata di una scansione per ripulire le risorse al termine della scansione.
Risoluzione: annulla l'esecuzione interrotta o tutte le esecuzioni sul cluster per rimuovere i job rimanenti e rilasciare i nodi:
chs cancel RUN_ID
Per annullare tutte le esecuzioni sul cluster, esegui chs cancel --all.
La scansione non va a buon fine su un'istanza TPU autonoma quando le TPU sono occupate
Problema: quando esegui una scansione su un'istanza TPU autonoma, lo strumento a riga di comando chs restituisce un errore TPUs are busy.
Causa: un altro processo nell'istanza TPU sta utilizzando i dispositivi TPU.
Risoluzione: attendi il completamento dell'altro processo o interrompilo, quindi esegui nuovamente l'analisi.
La scansione non va a buon fine con un errore di limite di memlock su un'istanza TPU autonoma
Problema: quando esegui una scansione su un'istanza TPU autonoma, lo strumento a riga di comando chs segnala che il limite di memlock è troppo basso o che i test TPU richiedono root o un limite di memlock illimitato.
Causa: la sessione utente corrente ha un limite di spazio di indirizzi bloccati in memoria (memlock) limitato.
Risoluzione: esegui lo scanner di integrità del cluster come utente root o aumenta il limite di memlock prima di eseguire la scansione:
ulimit -l unlimited
Il container non funziona su un'istanza TPU autonoma senza accesso all'host
Problema: quando esegui una scansione su un'istanza TPU autonoma utilizzando l'immagine container, lo strumento a riga di comando chs non va a buon fine e restituisce il seguente errore:
CHS runs in a container without access to the host
Causa: in modalità autonoma su un'istanza TPU, il container deve condividere lo spazio dei nomi PID dell'host e montare il file system dell'host per ispezionare e utilizzare i dispositivi TPU in /dev/vfio.
Risoluzione: avvia il container con i flag --privileged, --pid=host e -v /:/host. Per il comando docker run completo, consulta Immagine container.
L'installazione del pacchetto non riesce con un errore di versione di Python
Problema: l'esecuzione di pip install non va a buon fine e viene visualizzato l'errore: Package 'chs' requires a
different Python.
Causa: la versione di python3 sulla tua macchina è precedente alla 3.12, il che è comune sui nodi di accesso Slurm e sulle istanze TPU.
Risoluzione: utilizza uv per creare un ambiente virtuale Python 3.12 e installare lo scanner di integrità del cluster senza privilegi root:
python3 -m venv uv-venv
uv-venv/bin/pip install uv
uv-venv/bin/uv venv --python 3.12 chs-venv
source chs-venv/bin/activate
uv-venv/bin/uv pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git
La scansione ignora un'istanza TPU autonoma perché le dipendenze del test TPU non sono installate
Problema: quando esegui un'analisi su un'istanza TPU autonoma, chs run salta l'istanza e restituisce il seguente avviso:
The TPU test dependencies are not installed. CHS installs them only on Linux x86_64 with Python 3.12.
Causa: il pacchetto Python dello scanner di integrità del cluster è stato installato con una versione di Python diversa dalla 3.12 (ad esempio Python 3.13). Nelle istanze TPU autonome,
le dipendenze del benchmark TPU vengono installate solo su Linux x86_64 con Python
3.12.
Risoluzione: reinstalla lo scanner di integrità del cluster in un ambiente virtuale Python 3.12 utilizzando uv (consulta L'installazione del pacchetto non va a buon fine con un errore di versione di Python) o utilizza l'immagine container dello scanner di integrità del cluster.