El análisis de estado del clúster es una herramienta de diagnóstico de autoservicio que valida la preparación de tu capacidad de GPU y Cloud TPU antes de programar una carga de trabajo. El escáner de estado del clúster ejecuta comparativas que simulan el tráfico de cargas de trabajo real en tus nodos de acelerador para medir el rendimiento de los aceleradores, su memoria y las interconexiones entre ellos. Puedes usar los resultados para identificar y quitar los nodos defectuosos antes de que hagan que tus trabajos de entrenamiento o inferencia dejen de responder, se ejecuten con lentitud o fallen.
En el caso de las TPU, el análisis de estado del clúster complementa la supervisión del estado de las TPU, que informa de forma continua los indicadores de estado del hardware. El escáner de estado del clúster ejecuta cargas de trabajo de forma activa en la capacidad inactiva para medir el rendimiento y exponer las fallas que solo aparecen bajo carga.
El escáner de estado del clúster es completamente de código abierto. Para ver el código fuente, contribuir o informar problemas, consulta el repositorio de GitHub del escáner de estado del clúster.
En este documento, se describe cómo instalar el análisis de estado del clúster, ejecutar un análisis de estado en las reservas de GPU y TPU, interpretar los resultados y corregir los nodos en mal estado.
Entornos compatibles
El análisis de estado del clúster admite los siguientes entornos de implementación:
| Entorno | Aceleradores compatibles | Entorno del cliente | Opciones de instalación |
|---|---|---|---|
| Clústeres de Google Kubernetes Engine (GKE) | GPU y TPU (grupos de nodos que usan la división estática o dinámica) | Una máquina Linux que tenga acceso kubectl al clúster de destino |
Paquete de Python o imagen de contenedor |
| Clústeres de Slurm | Solo GPU | El controlador de Slurm o el nodo de acceso, donde están disponibles los comandos sinfo y sbatch |
Solo paquete de Python |
| Instancias de TPU independientes | Solo TPU | La instancia de TPU en sí | Paquete de Python o imagen de contenedor (Container-Optimized OS) |
El análisis de estado del clúster admite los siguientes tipos de máquinas de GPU y TPU:
- Tipos de máquinas con GPU:
- Tipos de máquinas de TPU:
Paquetes de diagnóstico
Puedes instalar el analizador de estado del clúster como un paquete de Python o como una imagen de contenedor. Ambas opciones proporcionan la interfaz de línea de comandos (CLI) de chs y las
comparativas de diagnóstico. Ejecutas la CLI desde una máquina con acceso a tu
clúster de GKE, en un controlador de Slurm o un nodo de acceso, o directamente en
una instancia de TPU independiente. Luego, la CLI ejecuta las pruebas de diagnóstico en los nodos de GPU o TPU de destino.
El análisis de estado del clúster proporciona dos conjuntos de diagnóstico para cada tipo de acelerador:
- Lite: Ejecuta una verificación de detección rápida. En las GPU y las instancias de TPU independientes,
el paquete Lite verifica los hosts individuales. En los grupos de nodo TPU de GKE, también se ejecuta una verificación colectiva rápida (
tpu-collectives) en la porción de TPU. Una operación colectiva es un patrón de comunicación en el que todos los aceleradores intercambian datos, comoAllReduce, que combina valores de cada acelerador y comparte el resultado con todos los aceleradores. Usa el paquete Lite para realizar verificaciones de estado rápidas o antes de ejecutar cargas de trabajo de un solo host. - Estándar: Ejecuta una validación integral en toda tu capacidad objetivo. En las GPU, el paquete Standard ejecuta operaciones colectivas en varios nodos y mide el ancho de banda de la memoria de la GPU. En las TPU, se ejecutan todas las pruebas Lite, además de las pruebas de esfuerzo de procesamiento, memoria y red sostenidas. Usa el paquete Standard antes de ejecutar cargas de trabajo de entrenamiento o inferencia de varios hosts, en las que el rendimiento y la estabilidad de la red bajo una carga sostenida afectan directamente el rendimiento del trabajo.
| Paquete | Accelerator | Pruebas | Enfoque |
|---|---|---|---|
lite |
GPU | nvidia-smi, dcgm, gemm, nccl-single-node |
Validación rápida del estado de la GPU y el controlador, la capacidad de procesamiento y la comunicación de GPU dentro del nodo. |
| TPU | tpu-info, tpu-gemm, tpu-hbm, tpu-host-device, tpu-collectives |
Validación rápida del estado del dispositivo, la capacidad de procesamiento, el ancho de banda de la memoria de alto ancho de banda (HBM), el ancho de banda de host a dispositivo y el ancho de banda colectivo de interconexión entre chips (ICI). | |
standard |
GPU | nvidia-smi, dcgm, gemm, nccl-cluster, nccl-pairwise, stream |
Validación de red de varios nodos en los nodos de destino, además del ancho de banda de la memoria. |
| TPU | Todas las pruebas de TPU lite, además de tpu-compute-stress, tpu-hbm-stress y tpu-network-stress |
Pruebas de esfuerzo sostenidas que exponen la inestabilidad, la corrupción de datos silenciosa y los errores de bits de ICI. |
La prueba de GPU nccl-domain no forma parte de un paquete. Para ejecutar nccl-domain, usa la
marca --tests.
Pruebas y paquetes de GPU
El analizador de estado del clúster proporciona los siguientes conjuntos para los nodos de GPU:
- Lite: Valida el controlador y el hardware de la GPU, mide la capacidad de procesamiento y ejecuta una prueba de la biblioteca de comunicaciones colectivas de NVIDIA (NCCL) en cada nodo.
- Estándar: Ejecuta colectivos de NCCL en todos los nodos de destino y entre pares de nodos para medir el rendimiento de la red entre nodos y mide el ancho de banda de la memoria.
En la siguiente tabla, se describe cada prueba de GPU:
| Prueba | Descripción | Paquetes |
|---|---|---|
nccl-single-node |
Ejecuta pruebas colectivas de NCCL entre las GPU dentro de un solo nodo. | lite |
nvidia-smi |
Verifica el estado básico de la GPU y el controlador de GPU con la interfaz de administración del sistema de NVIDIA. | lite, standard |
dcgm |
Ejecuta diagnósticos del administrador de GPU del centro de datos de NVIDIA (DCGM) para realizar verificaciones profundas de hardware en cada GPU. | lite, standard |
gemm |
Ejecuta multiplicaciones de matrices generales (GEMM) para medir la capacidad de procesamiento de la GPU. | lite, standard |
nccl-cluster |
Ejecuta pruebas colectivas de NCCL en todos los nodos de destino para medir el ancho de banda de la red en todo el clúster. | standard |
nccl-pairwise |
Ejecuta pruebas de NCCL entre pares de nodos para medir la latencia de nodo a nodo y aislar los nodos o vínculos defectuosos. | standard |
stream |
Ejecuta la comparativa de STREAM para medir el ancho de banda de la memoria de la GPU. | standard |
nccl-domain |
Ejecuta pruebas colectivas de NCCL dentro de cada dominio de NVLink de varios nodos. Solo se admite en tipos de máquinas con dominios de NVLink de varios nodos. | Ninguno (ejecutar con --tests) |
Pruebas y paquetes de TPU
El análisis de estado del clúster proporciona los siguientes conjuntos para los nodos TPU:
- Lite: Valida el rendimiento de los chips TPU y la HBM en cada host, mide el ancho de banda de host a dispositivo y ejecuta una prueba de operaciones colectivas para medir el ancho de banda de ICI.
- Estándar: Ejecuta operaciones colectivas en los chips TPU de una porción, además de pruebas de esfuerzo sostenidas en los chips TPU, la HBM y los vínculos de ICI.
En la siguiente tabla, se describe cada prueba de TPU:
| Prueba | Descripción | Paquetes |
|---|---|---|
tpu-info |
Verifica el estado básico de la TPU, incluido el recuento de dispositivos, la versión de LibTPU y el tipo de dispositivo TPU. | lite, standard |
tpu-gemm |
Ejecuta multiplicaciones de matrices generales (GEMM) para medir los TFLOPS máximos sostenidos. | lite, standard |
tpu-hbm |
Mide el ancho de banda de lectura y escritura de HBM. | lite, standard |
tpu-collectives |
Mide el tiempo de las operaciones colectivas, como AllReduce y AllGather, para medir el ancho de banda de ICI (solo clústeres de GKE). | lite, standard |
tpu-host-device |
Mide el ancho de banda de host a dispositivo. | lite, standard |
tpu-compute-stress |
Ejecuta multiplicaciones de matrices sostenidas para verificar la estabilidad computacional y exponer la corrupción de datos silenciosa. | standard |
tpu-hbm-stress |
Somete a estrés la HBM para medir el ancho de banda máximo y validar la integridad de los datos. | standard |
tpu-network-stress |
Envía cargas útiles aleatorias grandes a través de vínculos de ICI para medir el ancho de banda sostenido y detectar errores de bits (solo clústeres de GKE). | standard |
Antes de comenzar
Antes de usar el escáner de estado del clúster, instala las herramientas necesarias, configura los permisos y conéctate a tu clúster o instancia.
Instalaciones
Antes de ejecutar un análisis de estado, completa las instalaciones para tu entorno de implementación.
Clústeres de GKE
Para ejecutar análisis de estado en un clúster de GKE, asegúrate de tener un clúster de destino y de instalar las herramientas necesarias en la máquina en la que planeas ejecutar los análisis:
- Google Cloud CLI: Instala e inicializa gcloud CLI.
kubectlygke-gcloud-auth-plugin: Instalakubectly configura el acceso al clúster.- Requisitos previos del escáner de estado del clúster:
- Paquete de Python: Python 3.12 o una versión posterior y Git.
- Imagen de contenedor: Docker.
- Clúster de GKE: Asegúrate de tener un clúster de GKE con uno o más grupos de nodos de GPU o TPU. Para obtener más información, consulta Acerca de las GPU en GKE y Acerca de las TPU en GKE.
Clústeres de Slurm
Para ejecutar análisis de estado en un clúster de Slurm, asegúrate de tener un clúster de GPU de destino
y de instalar las herramientas necesarias en el controlador de Slurm o en el nodo de acceso,
donde están disponibles los comandos sinfo y sbatch:
- gcloud CLI: Instala e inicializa la gcloud CLI.
- Requisitos previos del paquete de Python: Instala Python 3.12 o una versión posterior y Git.
- Clúster de Slurm: Asegúrate de tener un clúster de Slurm con nodos de GPU. Para obtener más información, consulta Crea un clúster de Slurm completamente administrado para cargas de trabajo de IA y Crea un clúster de Slurm autoadministrado para cargas de trabajo de IA.
Para los clústeres de Slurm, usa la opción de instalación del paquete de Python. Slurm no admite la opción de imagen de contenedor.
Instancias de TPU independientes
Para ejecutar análisis de estado en una instancia de TPU independiente, asegúrate de tener una instancia de TPU de destino y de instalar las herramientas necesarias directamente en la instancia:
- gcloud CLI: Instala e inicializa la gcloud CLI.
- Requisitos previos del verificador de estado del clúster: Instala las herramientas para la opción de instalación del verificador de estado del clúster que planeas usar:
- Paquete de Python: Python 3.12
(específicamente Python 3.12 en Linux
x86_64, no 3.13 ni versiones posteriores) y Git. Si la versión predeterminada depython3en tu instancia es anterior o posterior a la 3.12, puedes usaruvpara crear un entorno virtual de Python 3.12 (consulta Soluciona problemas del análisis de estado del clúster). - Imagen de contenedor: Docker. En Container-Optimized OS, la imagen de contenedor es la única opción de instalación admitida.
- Paquete de Python: Python 3.12
(específicamente Python 3.12 en Linux
- Instancia de TPU independiente: Asegúrate de tener una instancia de TPU
independiente (TPU7x o TPU v6e), que expone sus dispositivos de TPU en
/dev/vfio(puedes verificarlo en la instancia ejecutandols /dev/vfio). Para obtener más información, consulta Crea VMs de Cloud TPU.
Roles obligatorios
Para obtener los permisos que necesitas para ejecutar un análisis de estado, pídele a tu
administrador que te otorgue el rol roles/compute.viewer en tu proyecto. Este
rol permite que el escáner de estado del clúster lea los metadatos de Compute Engine y la información
de topología de tus nodos.
También necesitas los siguientes roles de Identity and Access Management (IAM), según tu entorno de implementación:
| Entorno | Roles obligatorios |
|---|---|
| Clústeres de GKE | Desarrollador de Kubernetes Engine (roles/container.developer) |
| Clústeres de Slurm |
|
| Instancias de TPU independientes |
|
Si configuras un bucket de Cloud Storage para los informes,
también necesitas el rol de administrador de objetos de almacenamiento (roles/storage.objectAdmin) en el
bucket. Este rol permite que el escáner de estado del clúster suba artefactos de resultados, como
el informe de estado, al bucket.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Conéctate a tu clúster o instancia
Conéctate al entorno en el que planeas ejecutar los análisis de estado.
Clústeres de GKE
Configura las credenciales predeterminadas de la aplicación (ADC) y kubectl para
comunicarte con tu clúster de GKE:
gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID
Clústeres de Slurm
Conéctate al controlador de Slurm o al nodo de acceso con SSH:
gcloud compute ssh SLURM_NODE_NAME \
--zone=ZONE \
--project=PROJECT_ID
Instancias de TPU independientes
Conéctate a tu instancia de TPU independiente con SSH:
gcloud compute tpus tpu-vm ssh TPU_NAME \
--zone=ZONE \
--project=PROJECT_ID
Instala el escáner de estado del clúster
Instala el analizador de estado del clúster en la máquina en la que ejecutas los análisis, que depende de tu entorno:
- Clústeres de GKE: Cualquier máquina que tenga acceso de
kubectla tu clúster. - Clústeres de Slurm: El controlador de Slurm o el nodo de acceso.
- Instancias de TPU independientes: Es la instancia de TPU en sí.
En los clústeres de GKE y Slurm, el análisis de estado del clúster extrae automáticamente las imágenes de contenedor de diagnóstico que coinciden con tus nodos de GPU o TPU y las programa en el clúster, por lo que no necesitas instalar ningún software en los nodos de procesamiento individuales. En una instancia de TPU independiente, instalas y ejecutas el análisis de estado del clúster directamente en la instancia.
Puedes instalar el analizador de estado del clúster como un paquete de Python o como una imagen de contenedor. Los comandos de chs en el resto de este documento funcionan con cualquiera de las opciones de instalación. Para ver información de uso detallada de cualquier comando, agrega
la marca --help.
Paquete de Python
Crea un entorno virtual de Python y, luego, instala el paquete del verificador de estado del clúster
desde GitHub. En los clústeres de GKE y Slurm, usa Python 3.12
o una versión posterior. En las instancias de TPU independientes (x86_64), debes usar Python 3.12 (con
Python 3.13 o versiones posteriores, pip install no instala las dependencias de comparativas de TPU
y chs run omite la instancia):
python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git
Para instalar una versión específica, agrega @VERSION a la URL del repositorio:
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION
Para obtener una lista de las versiones, consulta las versiones del análisis de estado del clúster en GitHub.
Imagen de contenedor
El análisis de estado del clúster se distribuye como una imagen de contenedor en Artifact Registry. La imagen admite GPU y TPU. Puedes usar la imagen de contenedor para clústeres de GKE y de instancias de TPU independientes, pero no para clústeres de Slurm.
Configura Docker para que se autentique con Artifact Registry y extrae la imagen de contenedor del escáner de estado del clúster:
gcloud auth configure-docker us-docker.pkg.dev docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latestPara extraer una versión específica en lugar de
latest, reemplazalatestpor el número de versión. Por ejemplo,0.3.0para la versiónv0.3.0de GitHub. Para obtener una lista de las versiones, consulta las versiones del análisis de estado del clúster en GitHub.Crea un alias de shell para ejecutar comandos de
chsdirectamente. El alias que crees dependerá de tu entorno:Clústeres de GKE: El alias activa el archivo
kubeconfigy las credenciales de Google Cloud en modo de solo lectura. El alias también almacena el estado de tus ejecuciones en el volumen de Dockerchs-local-statey escribe los archivos de salida en el directoriochs-outputde tu directorio actual:alias chs='docker run --rm -it --network host \ -v ~/.kube:/workspace/.kube:ro \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'Instancias de TPU independientes: En una instancia de TPU que ejecuta Container-Optimized OS, la imagen de contenedor es la única opción de instalación admitida. El alias otorga al contenedor acceso a los dispositivos TPU y al espacio de nombres del PID del host de la instancia, activa el sistema de archivos raíz del host en
/hosty activa tus credenciales de Google Cloud en modo de solo lectura. El alias también almacena el estado de tus ejecuciones en el volumen de Dockerchs-local-statey escribe archivos de salida en el directoriochs-outputde tu directorio actual:alias chs='docker run --rm -it --privileged --pid=host \ -v /:/host \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
Opcional: Configura un bucket de Cloud Storage para los informes
De forma predeterminada, el escáner de estado del clúster guarda los informes y los registros de diagnóstico en un directorio de salida local. Puedes configurar un bucket de Cloud Storage para que también los almacene de forma remota.
Si aún no tienes un bucket para los informes de análisis de estado, crea uno:
gcloud storage buckets create gs://BUCKET_NAME \ --location=BUCKET_LOCATION \ --project=PROJECT_IDOtorga el rol de administrador de objetos de Storage (
roles/storage.objectAdmin) a tu cuenta de usuario o de servicio principal:gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member=PRINCIPAL \ --role=roles/storage.objectAdminEl miembro
PRINCIPALes la principal que escribe el informe. Por ejemplo,user:EMAILoserviceAccount:SERVICE_ACCOUNT_EMAIL.Establece el bucket en el que el escáner de estado del clúster almacena los informes. El bucket ya debe existir, ya que el escáner de estado del clúster no lo crea automáticamente. Solo necesitas ejecutar este comando una vez para cada entorno:
chs configure storage gcs BUCKET_NAMEPara almacenar informes con un prefijo de carpeta en el bucket, agrega el prefijo al nombre del bucket:
chs configure storage gcs BUCKET_NAME/PREFIX
Ejecuta un análisis de estado
En esta sección, se describe cómo verificar que tus nodos estén inactivos, iniciar un análisis y supervisar su progreso.
Verifica que los nodos de destino estén inactivos
El análisis de estado del clúster solo se ejecuta en la capacidad inactiva y no detiene ni expulsa automáticamente tus cargas de trabajo. Antes de iniciar un análisis, vacía o detén las cargas de trabajo que se ejecutan en tus nodos o instancias de destino.
Si el análisis de estado del clúster detecta cargas de trabajo activas en un nodo o una instancia de destino, controla la capacidad de la siguiente manera:
- GPU: El análisis de estado del clúster omite los nodos ocupados y ejecuta el análisis en los nodos inactivos restantes.
- TPU: La forma en que el analizador de estado del clúster controla la capacidad ocupada depende del
entorno:
- Clústeres de GKE: Las pruebas de TPU de varios hosts (
tpu-collectivesytpu-network-stress) requieren una porción inactiva completa, mientras que las pruebas de TPU de host único se pueden ejecutar en nodos inactivos individuales:- Grupos de nodos de porción estática (
--nodepoolso--nodes): Si algunos nodos de un grupo están ocupados cuando ejecutas el paqueteliteostandard, el analizador de estado del clúster registra una advertencia, omite las pruebas de varios hosts y ejecuta las pruebas de TPU de host único en los nodos inactivos restantes. - Grupos de nodos de porción dinámica (
--nodepoolso--nodes): Para orientar un grupo con--nodepools, se requiere que todo el grupo de nodos esté inactivo para que el análisis de estado del clúster pueda aprovisionar un recursoSlicede grupo completo. Si orientas a nodos específicos con--nodes(en la versión1.36.0-gke.3712000o posterior de GKE), el analizador de estado del clúster aprovisiona una porción secundaria2x2x1individual para cada nodo inactivo, omite los nodos ocupados y ejecuta pruebas de TPU de host único en los nodos inactivos.
- Grupos de nodos de porción estática (
- Instancias de TPU independientes: El análisis de estado del clúster no se puede ejecutar si
otro proceso usa los dispositivos de TPU en
/dev/vfio.
- Clústeres de GKE: Las pruebas de TPU de varios hosts (
Para asegurarte de que tu capacidad de destino esté inactiva, sigue los pasos para tu entorno.
Clústeres de GKE
Detén o borra cualquier trabajo o Pod de carga de trabajo activo en el grupo de nodos de destino, o espera a que finalicen las cargas de trabajo en ejecución.
Si usas
kubectl drainpara expulsar cargas de trabajo del grupo de nodos, quita el aislamiento de los nodos antes de iniciar el análisis para que el analizador de estado del clúster pueda programar Pods de diagnóstico en ellos (el analizador de estado del clúster omite los nodos aislados):kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \ --ignore-daemonsets --delete-emptydir-data kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAMEAsegúrate de que no se programen cargas de trabajo nuevas en el grupo de nodos mientras se ejecuta el análisis.
Verifica que no queden Pods de carga de trabajo en el grupo de nodos:
kubectl get pods --all-namespaces -o wide \ --field-selector=status.phase=Running | grep NODE_POOL_NAMELos Pods del sistema, como los que administran los DaemonSets en el espacio de nombres
kube-system, pueden seguir ejecutándose.
Clústeres de Slurm
Verifica si hay trabajos en ejecución en la partición de destino:
squeue --partition=PARTITION_NAMESi se están ejecutando trabajos en la partición, espera a que finalicen o cancélalos con
scancel JOB_ID.Verifica que los nodos de la partición de destino estén en el estado
idle:sinfo --partition=PARTITION_NAME
Instancias de TPU independientes
Verifica que ningún otro proceso esté usando los dispositivos TPU en la instancia:
sudo fuser -v /dev/vfio/*
Si se muestra algún proceso, espera a que finalicen las cargas de trabajo o detén los procesos antes de iniciar un análisis.
Cómo iniciar un análisis
Las marcas que pasas al comando chs run dependen del entorno en el que
ejecutas el escáner de estado del clúster. El analizador de estado del clúster detecta automáticamente
el programador y el tipo de acelerador, por lo que no es necesario que los
especifiques.
Para enumerar los conjuntos de diagnóstico y las pruebas disponibles para un tipo de acelerador, ejecuta los siguientes comandos:
Para las GPU:
chs list suites --gpu chs list tests --gpuPara las TPU:
chs list suites --tpu chs list tests --tpu
Grupos de nodos de GKE
Ejecuta el análisis de estado del clúster desde cualquier máquina que tenga acceso de kubectl a
tu clúster, como tu máquina local o Cloud Shell.
Para iniciar un análisis en uno o más grupos de nodos, ejecuta el siguiente comando:
chs run \
--nodepools=NODE_POOL_NAMES \
--suite=SUITE
Reemplaza lo siguiente:
NODE_POOL_NAMES: Es una lista separada por comas de los grupos de nodos de GPU o TPU que se analizarán. Por ejemplo:a4-pool-1,a4-pool-2otpu7x-pool-1,tpu7x-pool-2. Todos los grupos de nodos de destino deben usar el mismo tipo de máquina.SUITE: Es el paquete de diagnóstico que se ejecutará, ya sealiteostandard. Para obtener más información sobre cada paquete, consulta Paquetes de diagnóstico.
Para ejecutar pruebas específicas en lugar de un kit completo, reemplaza la marca --suite por
la marca --tests y especifica una lista separada por comas de nombres de pruebas:
chs run \
--nodepools=NODE_POOL_NAMES \
--tests=TEST_NAMES
Para analizar nodos específicos en lugar de un grupo de nodos completo, reemplaza la marca --nodepools
por la marca --nodes y especifica una lista separada por comas de nombres de nodos.
Cuando especificas varios grupos de nodos en la marca --nodepools, el verificador de estado del clúster los controla según el tipo de acelerador:
- Grupos de nodos de GPU: Combina todos los nodos de GPU inactivos en los grupos de nodos
especificados en un solo conjunto de destino y ejecuta pruebas de varios nodos (
nccl-clusterynccl-pairwise) en todos ellos juntos. - Grupos de nodos TPU: Evalúa cada grupo de nodos (porción de TPU) de forma independiente y en paralelo dentro de una sola ejecución, sin pruebas entre porciones (Multislice).
Particiones de Slurm
Ejecuta el análisis de estado del clúster en el controlador de Slurm o en el nodo de acceso, donde están disponibles los comandos
sinfo y sbatch. Slurm requiere la opción de instalación
del paquete de Python. Para obtener instrucciones de instalación, consulta Paquete de
Python.
Antes de iniciar un análisis, configura las credenciales de Enroot en el clúster para que los
nodos puedan extraer imágenes de comparativas de us-docker.pkg.dev:
gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF
Inicia un análisis en una o más particiones:
chs run \
--partitions=PARTITION_NAMES \
--suite=SUITE
Reemplaza lo siguiente:
PARTITION_NAMES: Es una lista separada por comas de las particiones de Slurm que se analizarán.SUITE: Es el paquete de diagnóstico que se ejecutará, ya sealiteostandard. Para obtener más información sobre cada paquete, consulta Paquetes de diagnóstico.
Para ejecutar pruebas de GPU específicas en lugar de un kit completo, reemplaza la marca --suite
por la marca --tests y especifica una lista de nombres de pruebas separada por comas (por
ejemplo, nccl-pairwise,gemm o nccl-domain):
chs run \
--partitions=PARTITION_NAMES \
--tests=TEST_NAMES
Instancias de TPU independientes
Ejecuta el análisis de estado del clúster directamente en la instancia de TPU. La instancia de TPU
debe exponer sus dispositivos TPU en /dev/vfio (puedes verificarlo en la
instancia ejecutando ls /dev/vfio).
Si no ejecutas el escáner de estado del clúster como el usuario root, aumenta el
límite de memlock antes de ejecutar las pruebas de TPU:
ulimit -l unlimited
Para iniciar un análisis en la instancia de TPU, ejecuta el siguiente comando:
chs run --suite=SUITE
Reemplaza SUITE por el paquete de diagnóstico que se ejecutará, ya sea lite o standard.
Para obtener más información sobre cada paquete, consulta Paquetes de diagnóstico.
Para ejecutar pruebas de TPU específicas en lugar de un kit completo, reemplaza la marca --suite
por la marca --tests y especifica una lista de nombres de prueba separada por comas (por
ejemplo, tpu-host-device,tpu-hbm-stress):
chs run --tests=TEST_NAMES
Visualiza las ejecuciones y los resultados
El análisis de estado del clúster almacena el historial de ejecución y los parámetros de configuración de forma local
en la máquina cliente en la que ejecutas los comandos de chs (en ~/.local/share/chs/ o
en el volumen de Docker chs-local-state cuando usas la imagen de contenedor). Como resultado, los comandos chs history y chs results solo enumeran las ejecuciones que se iniciaron desde ese entorno.
Para enumerar tus ejecuciones anteriores y sus IDs de ejecución, ejecuta el siguiente comando:
chs history
Para mostrar los resultados de una ejecución y las ubicaciones del informe HTML interactivo (bill_of_health.html) y el informe JSON (bill_of_health.json), ejecuta el
siguiente comando:
chs results RUN_ID
Si omites RUN_ID, el escáner de estado del clúster te solicitará que selecciones una ejecución.
El comando imprime rutas de acceso locales o URIs de Cloud Storage si configuraste
un bucket. Lee los resultados almacenados de una ejecución anterior y no inicia trabajos nuevos
en tu clúster o instancia.
Cómo cancelar un análisis
Para cancelar un análisis, detener sus trabajos y quitar los recursos que creó en tu clúster o instancia, ejecuta uno de los siguientes comandos:
Cancela tu ejecución más reciente:
chs cancelCancela una ejecución específica:
chs cancel RUN_IDCancela cada ejecución del análisis de estado del clúster o la instancia, incluidas las ejecuciones que iniciaron otros usuarios:
chs cancel --all
Interpretar los resultados
Cuando se completa un análisis, el analizador de estado del clúster guarda los siguientes artefactos en tu directorio de salida local y los sube a tu bucket de Cloud Storage si configuraste el almacenamiento:
- Informe HTML interactivo (
bill_of_health.html): Muestra cada prueba, sus métricas medidas y su estado. - Informe JSON (
bill_of_health.json): Contiene los barridos de parámetros y las métricas medidas para cada prueba. - Directorio del espacio de trabajo: Contiene los registros de diagnóstico.
Cómo ver el informe de estado
Para encontrar las rutas de acceso locales exactas o los URI de Cloud Storage
(gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html y
gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json) de los informes de un análisis, ejecuta el
siguiente comando:
chs results RUN_ID
Si configuraste un bucket de Cloud Storage, puedes ver el informe JSON
directamente desde el URI que muestra chs results:
gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json
Contenido del informe
En el informe de estado, se enumeran todos los nodos que probó el escáner de estado del clúster, junto con los resultados de la comparativa de cada nodo. Los análisis de GPU y TPU usan el mismo formato de informe. Cada nodo recibe uno de los siguientes estados:
| Estado | Descripción |
|---|---|
HEALTHY |
Todas las pruebas cumplieron con el rendimiento esperado para el tipo de máquina. |
DEGRADED |
El nodo completó las pruebas, pero uno o más resultados estuvieron por debajo del rendimiento esperado. |
POTENTIALLY DEGRADED |
Una prueba de detección estuvo por debajo del rendimiento esperado y no se ejecutó la prueba de esfuerzo correspondiente para confirmar el resultado. |
INCOMPLETE |
Una o más pruebas no se ejecutaron, se agotó el tiempo de espera, se cancelaron o no informaron métricas en el nodo. |
El archivo bill_of_health.json contiene los siguientes campos de nivel superior:
report_id: Es el identificador único de la ejecución del análisis.chs_version: Es la versión del escáner de estado del clúster que generó el informe.created_at: Es la marca de tiempo en la que se generó el informe.system_info: metadatos sobre el sistema que se está probando, como el tipo de clúster y el tipo de máquina.test_results: Es una lista de objetos de resultados de pruebas. Cada entrada incluye los siguientes campos:test_name: Es el nombre de la prueba de diagnóstico.result_status: Es el resultado de la prueba, comoRESULT_STATUS_SUCCESSoRESULT_STATUS_FAILED.target_resources: Son los nodos (node_nameyinstance_id) en los que se ejecutó la prueba.metrics: Son las métricas medidas y los criterios de validación de la prueba.
El informe de estado usa un formato JSON coherente y estructurado. Puedes cargar informes en BigQuery o en otras herramientas de análisis y comparar informes de análisis sucesivos de la misma capacidad para detectar una desviación gradual del rendimiento.
Corrige los nodos en mal estado
Si el informe de estado identifica un nodo o una instancia con un estado DEGRADED,
POTENTIALLY DEGRADED o INCOMPLETE, sigue estos pasos:
Para descartar un problema transitorio, vuelve a ejecutar el análisis en el grupo de nodos o el nodo de GKE, la partición de Slurm o la instancia de TPU independiente antes de aislar o desviar el nodo (el analizador de estado del clúster omite los nodos de GKE aislados y los nodos de Slurm desviados). Para obtener instrucciones, consulta Inicia un análisis.
Si el problema persiste, evita que se programen cargas de trabajo nuevas en el nodo o la instancia afectados:
Clústeres de GKE: Acordona el nodo en mal estado:
kubectl cordon NODE_NAMEClústeres de Slurm: Desvía el nodo en mal estado:
sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"Instancias de TPU independientes: No inicies cargas de trabajo nuevas en la instancia de TPU hasta que termines de corregir el problema.
Repara o reemplaza el nodo o la instancia con una de las siguientes opciones, según el tipo de acelerador y el entorno:
- GPU:
- Clústeres de GKE: Informa el host defectuoso para que Compute Engine pueda repararlo. Para obtener más información, consulta Informa hosts defectuosos a través de GKE.
- Clústeres de Slurm: Informa el host defectuoso para que Compute Engine pueda repararlo. Para obtener más información, consulta Informa un host defectuoso.
- Para obtener ayuda de Google, comunícate con la Atención al cliente de Cloud.
- TPU (clústeres de GKE e instancias de TPU independientes):
- Si usas TPU en el modo All Capacity, informa el host defectuoso. Para obtener más información, consulta Informa y repara hosts defectuosos en el modo All Capacity.
- Para otros modos de capacidad, consulta Recuperación ante fallas de instancias de TPU.
- Para obtener ayuda de Google, comunícate con el equipo de asistencia de Cloud TPU.
Cuando te comuniques con el equipo de asistencia, adjunta el directorio del lugar de trabajo desde tu directorio de salida local o el bucket de Cloud Storage, que contiene los registros de diagnóstico, y, además, incluye el ID de ejecución.
- GPU:
Después de reparar o reemplazar el nodo o la instancia, vuelve a programarlo para que el escáner de estado del clúster no lo omita y, luego, ejecuta un análisis nuevo para confirmar que la capacidad esté en buen estado:
Clústeres de GKE: Desacordona el nodo y, luego, vuelve a ejecutar el análisis antes de programar cargas de trabajo nuevas:
kubectl uncordon NODE_NAMEClústeres de Slurm: Reanuda el nodo para que vuelva al estado
idley, luego, vuelve a ejecutar el análisis antes de programar trabajos nuevos:sudo scontrol update NodeName=NODE_NAME State=RESUMEInstancias de TPU independientes: Vuelve a ejecutar el análisis en la instancia y, luego, reanuda la ejecución de tus cargas de trabajo una vez que el análisis confirme que la instancia está en buen estado.
Telemetría
El escáner de estado del clúster envía métricas de uso anónimas a Google para ayudar
a mejorar la herramienta y no recopila información de identificación personal (PII).
La telemetría está habilitada de forma predeterminada. Para inhabilitar esta opción, ejecuta chs configure telemetry
disable o configura la variable de entorno CHS_TELEMETRY=0.
¿Qué sigue?
Para resolver problemas habituales con el análisis de estado del clúster, consulta Soluciona problemas del análisis de estado del clúster.