Ejecuta análisis de estado en GPUs y TPUs

El análisis de estado del clúster es una herramienta de diagnóstico de autoservicio que valida la preparación de tu capacidad de GPU y Cloud TPU antes de programar una carga de trabajo. El escáner de estado del clúster ejecuta comparativas que simulan el tráfico de cargas de trabajo real en tus nodos de acelerador para medir el rendimiento de los aceleradores, su memoria y las interconexiones entre ellos. Puedes usar los resultados para identificar y quitar los nodos defectuosos antes de que hagan que tus trabajos de entrenamiento o inferencia dejen de responder, se ejecuten con lentitud o fallen.

En el caso de las TPU, el análisis de estado del clúster complementa la supervisión del estado de las TPU, que informa de forma continua los indicadores de estado del hardware. El escáner de estado del clúster ejecuta cargas de trabajo de forma activa en la capacidad inactiva para medir el rendimiento y exponer las fallas que solo aparecen bajo carga.

El escáner de estado del clúster es completamente de código abierto. Para ver el código fuente, contribuir o informar problemas, consulta el repositorio de GitHub del escáner de estado del clúster.

En este documento, se describe cómo instalar el análisis de estado del clúster, ejecutar un análisis de estado en las reservas de GPU y TPU, interpretar los resultados y corregir los nodos en mal estado.

Entornos compatibles

El análisis de estado del clúster admite los siguientes entornos de implementación:

Entorno Aceleradores compatibles Entorno del cliente Opciones de instalación
Clústeres de Google Kubernetes Engine (GKE) GPU y TPU (grupos de nodos que usan la división estática o dinámica) Una máquina Linux que tenga acceso kubectl al clúster de destino Paquete de Python o imagen de contenedor
Clústeres de Slurm Solo GPU El controlador de Slurm o el nodo de acceso, donde están disponibles los comandos sinfo y sbatch Solo paquete de Python
Instancias de TPU independientes Solo TPU La instancia de TPU en sí Paquete de Python o imagen de contenedor (Container-Optimized OS)

El análisis de estado del clúster admite los siguientes tipos de máquinas de GPU y TPU:

  • Tipos de máquinas con GPU:
    • A5X: a5x-highgpu-4g-metal (solo GKE)
    • A4X Max: a4x-maxgpu-4g-metal
    • A4X: a4x-highgpu-4g
    • A4: a4-highgpu-8g
    • A3 Ultra: a3-ultragpu-8g
    • A3 Mega: a3-megagpu-8g
  • Tipos de máquinas de TPU:

Paquetes de diagnóstico

Puedes instalar el analizador de estado del clúster como un paquete de Python o como una imagen de contenedor. Ambas opciones proporcionan la interfaz de línea de comandos (CLI) de chs y las comparativas de diagnóstico. Ejecutas la CLI desde una máquina con acceso a tu clúster de GKE, en un controlador de Slurm o un nodo de acceso, o directamente en una instancia de TPU independiente. Luego, la CLI ejecuta las pruebas de diagnóstico en los nodos de GPU o TPU de destino.

El análisis de estado del clúster proporciona dos conjuntos de diagnóstico para cada tipo de acelerador:

  • Lite: Ejecuta una verificación de detección rápida. En las GPU y las instancias de TPU independientes, el paquete Lite verifica los hosts individuales. En los grupos de nodo TPU de GKE, también se ejecuta una verificación colectiva rápida (tpu-collectives) en la porción de TPU. Una operación colectiva es un patrón de comunicación en el que todos los aceleradores intercambian datos, como AllReduce, que combina valores de cada acelerador y comparte el resultado con todos los aceleradores. Usa el paquete Lite para realizar verificaciones de estado rápidas o antes de ejecutar cargas de trabajo de un solo host.
  • Estándar: Ejecuta una validación integral en toda tu capacidad objetivo. En las GPU, el paquete Standard ejecuta operaciones colectivas en varios nodos y mide el ancho de banda de la memoria de la GPU. En las TPU, se ejecutan todas las pruebas Lite, además de las pruebas de esfuerzo de procesamiento, memoria y red sostenidas. Usa el paquete Standard antes de ejecutar cargas de trabajo de entrenamiento o inferencia de varios hosts, en las que el rendimiento y la estabilidad de la red bajo una carga sostenida afectan directamente el rendimiento del trabajo.
Paquete Accelerator Pruebas Enfoque
lite GPU nvidia-smi, dcgm, gemm, nccl-single-node Validación rápida del estado de la GPU y el controlador, la capacidad de procesamiento y la comunicación de GPU dentro del nodo.
TPU tpu-info, tpu-gemm, tpu-hbm, tpu-host-device, tpu-collectives Validación rápida del estado del dispositivo, la capacidad de procesamiento, el ancho de banda de la memoria de alto ancho de banda (HBM), el ancho de banda de host a dispositivo y el ancho de banda colectivo de interconexión entre chips (ICI).
standard GPU nvidia-smi, dcgm, gemm, nccl-cluster, nccl-pairwise, stream Validación de red de varios nodos en los nodos de destino, además del ancho de banda de la memoria.
TPU Todas las pruebas de TPU lite, además de tpu-compute-stress, tpu-hbm-stress y tpu-network-stress Pruebas de esfuerzo sostenidas que exponen la inestabilidad, la corrupción de datos silenciosa y los errores de bits de ICI.

La prueba de GPU nccl-domain no forma parte de un paquete. Para ejecutar nccl-domain, usa la marca --tests.

Pruebas y paquetes de GPU

El analizador de estado del clúster proporciona los siguientes conjuntos para los nodos de GPU:

  • Lite: Valida el controlador y el hardware de la GPU, mide la capacidad de procesamiento y ejecuta una prueba de la biblioteca de comunicaciones colectivas de NVIDIA (NCCL) en cada nodo.
  • Estándar: Ejecuta colectivos de NCCL en todos los nodos de destino y entre pares de nodos para medir el rendimiento de la red entre nodos y mide el ancho de banda de la memoria.

En la siguiente tabla, se describe cada prueba de GPU:

Prueba Descripción Paquetes
nccl-single-node Ejecuta pruebas colectivas de NCCL entre las GPU dentro de un solo nodo. lite
nvidia-smi Verifica el estado básico de la GPU y el controlador de GPU con la interfaz de administración del sistema de NVIDIA. lite, standard
dcgm Ejecuta diagnósticos del administrador de GPU del centro de datos de NVIDIA (DCGM) para realizar verificaciones profundas de hardware en cada GPU. lite, standard
gemm Ejecuta multiplicaciones de matrices generales (GEMM) para medir la capacidad de procesamiento de la GPU. lite, standard
nccl-cluster Ejecuta pruebas colectivas de NCCL en todos los nodos de destino para medir el ancho de banda de la red en todo el clúster. standard
nccl-pairwise Ejecuta pruebas de NCCL entre pares de nodos para medir la latencia de nodo a nodo y aislar los nodos o vínculos defectuosos. standard
stream Ejecuta la comparativa de STREAM para medir el ancho de banda de la memoria de la GPU. standard
nccl-domain Ejecuta pruebas colectivas de NCCL dentro de cada dominio de NVLink de varios nodos. Solo se admite en tipos de máquinas con dominios de NVLink de varios nodos. Ninguno (ejecutar con --tests)

Pruebas y paquetes de TPU

El análisis de estado del clúster proporciona los siguientes conjuntos para los nodos TPU:

  • Lite: Valida el rendimiento de los chips TPU y la HBM en cada host, mide el ancho de banda de host a dispositivo y ejecuta una prueba de operaciones colectivas para medir el ancho de banda de ICI.
  • Estándar: Ejecuta operaciones colectivas en los chips TPU de una porción, además de pruebas de esfuerzo sostenidas en los chips TPU, la HBM y los vínculos de ICI.

En la siguiente tabla, se describe cada prueba de TPU:

Prueba Descripción Paquetes
tpu-info Verifica el estado básico de la TPU, incluido el recuento de dispositivos, la versión de LibTPU y el tipo de dispositivo TPU. lite, standard
tpu-gemm Ejecuta multiplicaciones de matrices generales (GEMM) para medir los TFLOPS máximos sostenidos. lite, standard
tpu-hbm Mide el ancho de banda de lectura y escritura de HBM. lite, standard
tpu-collectives Mide el tiempo de las operaciones colectivas, como AllReduce y AllGather, para medir el ancho de banda de ICI (solo clústeres de GKE). lite, standard
tpu-host-device Mide el ancho de banda de host a dispositivo. lite, standard
tpu-compute-stress Ejecuta multiplicaciones de matrices sostenidas para verificar la estabilidad computacional y exponer la corrupción de datos silenciosa. standard
tpu-hbm-stress Somete a estrés la HBM para medir el ancho de banda máximo y validar la integridad de los datos. standard
tpu-network-stress Envía cargas útiles aleatorias grandes a través de vínculos de ICI para medir el ancho de banda sostenido y detectar errores de bits (solo clústeres de GKE). standard

Antes de comenzar

Antes de usar el escáner de estado del clúster, instala las herramientas necesarias, configura los permisos y conéctate a tu clúster o instancia.

Instalaciones

Antes de ejecutar un análisis de estado, completa las instalaciones para tu entorno de implementación.

Clústeres de GKE

Para ejecutar análisis de estado en un clúster de GKE, asegúrate de tener un clúster de destino y de instalar las herramientas necesarias en la máquina en la que planeas ejecutar los análisis:

Clústeres de Slurm

Para ejecutar análisis de estado en un clúster de Slurm, asegúrate de tener un clúster de GPU de destino y de instalar las herramientas necesarias en el controlador de Slurm o en el nodo de acceso, donde están disponibles los comandos sinfo y sbatch:

Para los clústeres de Slurm, usa la opción de instalación del paquete de Python. Slurm no admite la opción de imagen de contenedor.

Instancias de TPU independientes

Para ejecutar análisis de estado en una instancia de TPU independiente, asegúrate de tener una instancia de TPU de destino y de instalar las herramientas necesarias directamente en la instancia:

Roles obligatorios

Para obtener los permisos que necesitas para ejecutar un análisis de estado, pídele a tu administrador que te otorgue el rol roles/compute.viewer en tu proyecto. Este rol permite que el escáner de estado del clúster lea los metadatos de Compute Engine y la información de topología de tus nodos.

También necesitas los siguientes roles de Identity and Access Management (IAM), según tu entorno de implementación:

Entorno Roles obligatorios
Clústeres de GKE Desarrollador de Kubernetes Engine (roles/container.developer)
Clústeres de Slurm
  • Acceso al SO de Compute (roles/compute.osLogin) o Acceso de administrador al SO de Compute (roles/compute.osAdminLogin)
  • Usuario de túnel protegido con IAP (roles/iap.tunnelResourceAccessor), si te conectas a través de Identity-Aware Proxy (IAP)
Instancias de TPU independientes
  • Administrador de TPU (roles/tpu.admin)
  • Usuario de túnel protegido con IAP (roles/iap.tunnelResourceAccessor), si se conecta a través de IAP

Si configuras un bucket de Cloud Storage para los informes, también necesitas el rol de administrador de objetos de almacenamiento (roles/storage.objectAdmin) en el bucket. Este rol permite que el escáner de estado del clúster suba artefactos de resultados, como el informe de estado, al bucket.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Conéctate a tu clúster o instancia

Conéctate al entorno en el que planeas ejecutar los análisis de estado.

Clústeres de GKE

Configura las credenciales predeterminadas de la aplicación (ADC) y kubectl para comunicarte con tu clúster de GKE:

gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID

Clústeres de Slurm

Conéctate al controlador de Slurm o al nodo de acceso con SSH:

gcloud compute ssh SLURM_NODE_NAME \
    --zone=ZONE \
    --project=PROJECT_ID

Instancias de TPU independientes

Conéctate a tu instancia de TPU independiente con SSH:

gcloud compute tpus tpu-vm ssh TPU_NAME \
    --zone=ZONE \
    --project=PROJECT_ID

Instala el escáner de estado del clúster

Instala el analizador de estado del clúster en la máquina en la que ejecutas los análisis, que depende de tu entorno:

  • Clústeres de GKE: Cualquier máquina que tenga acceso de kubectl a tu clúster.
  • Clústeres de Slurm: El controlador de Slurm o el nodo de acceso.
  • Instancias de TPU independientes: Es la instancia de TPU en sí.

En los clústeres de GKE y Slurm, el análisis de estado del clúster extrae automáticamente las imágenes de contenedor de diagnóstico que coinciden con tus nodos de GPU o TPU y las programa en el clúster, por lo que no necesitas instalar ningún software en los nodos de procesamiento individuales. En una instancia de TPU independiente, instalas y ejecutas el análisis de estado del clúster directamente en la instancia.

Puedes instalar el analizador de estado del clúster como un paquete de Python o como una imagen de contenedor. Los comandos de chs en el resto de este documento funcionan con cualquiera de las opciones de instalación. Para ver información de uso detallada de cualquier comando, agrega la marca --help.

Paquete de Python

Crea un entorno virtual de Python y, luego, instala el paquete del verificador de estado del clúster desde GitHub. En los clústeres de GKE y Slurm, usa Python 3.12 o una versión posterior. En las instancias de TPU independientes (x86_64), debes usar Python 3.12 (con Python 3.13 o versiones posteriores, pip install no instala las dependencias de comparativas de TPU y chs run omite la instancia):

python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git

Para instalar una versión específica, agrega @VERSION a la URL del repositorio:

pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION

Para obtener una lista de las versiones, consulta las versiones del análisis de estado del clúster en GitHub.

Imagen de contenedor

El análisis de estado del clúster se distribuye como una imagen de contenedor en Artifact Registry. La imagen admite GPU y TPU. Puedes usar la imagen de contenedor para clústeres de GKE y de instancias de TPU independientes, pero no para clústeres de Slurm.

  1. Configura Docker para que se autentique con Artifact Registry y extrae la imagen de contenedor del escáner de estado del clúster:

    gcloud auth configure-docker us-docker.pkg.dev
    docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latest
    

    Para extraer una versión específica en lugar de latest, reemplaza latest por el número de versión. Por ejemplo, 0.3.0 para la versión v0.3.0 de GitHub. Para obtener una lista de las versiones, consulta las versiones del análisis de estado del clúster en GitHub.

  2. Crea un alias de shell para ejecutar comandos de chs directamente. El alias que crees dependerá de tu entorno:

    • Clústeres de GKE: El alias activa el archivo kubeconfig y las credenciales de Google Cloud en modo de solo lectura. El alias también almacena el estado de tus ejecuciones en el volumen de Docker chs-local-state y escribe los archivos de salida en el directorio chs-output de tu directorio actual:

      alias chs='docker run --rm -it --network host \
          -v ~/.kube:/workspace/.kube:ro \
          -v ~/.config/gcloud:/workspace/.config/gcloud:ro \
          -v chs-local-state:/workspace/.local/share \
          -v "$(pwd)/chs-output":/workspace/chs-output \
          us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
      
    • Instancias de TPU independientes: En una instancia de TPU que ejecuta Container-Optimized OS, la imagen de contenedor es la única opción de instalación admitida. El alias otorga al contenedor acceso a los dispositivos TPU y al espacio de nombres del PID del host de la instancia, activa el sistema de archivos raíz del host en /host y activa tus credenciales de Google Cloud en modo de solo lectura. El alias también almacena el estado de tus ejecuciones en el volumen de Docker chs-local-state y escribe archivos de salida en el directorio chs-output de tu directorio actual:

      alias chs='docker run --rm -it --privileged --pid=host \
          -v /:/host \
          -v ~/.config/gcloud:/workspace/.config/gcloud:ro \
          -v chs-local-state:/workspace/.local/share \
          -v "$(pwd)/chs-output":/workspace/chs-output \
          us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
      

Opcional: Configura un bucket de Cloud Storage para los informes

De forma predeterminada, el escáner de estado del clúster guarda los informes y los registros de diagnóstico en un directorio de salida local. Puedes configurar un bucket de Cloud Storage para que también los almacene de forma remota.

  1. Si aún no tienes un bucket para los informes de análisis de estado, crea uno:

    gcloud storage buckets create gs://BUCKET_NAME \
        --location=BUCKET_LOCATION \
        --project=PROJECT_ID
    
  2. Otorga el rol de administrador de objetos de Storage (roles/storage.objectAdmin) a tu cuenta de usuario o de servicio principal:

    gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
        --member=PRINCIPAL \
        --role=roles/storage.objectAdmin
    

    El miembro PRINCIPAL es la principal que escribe el informe. Por ejemplo, user:EMAIL o serviceAccount:SERVICE_ACCOUNT_EMAIL.

  3. Establece el bucket en el que el escáner de estado del clúster almacena los informes. El bucket ya debe existir, ya que el escáner de estado del clúster no lo crea automáticamente. Solo necesitas ejecutar este comando una vez para cada entorno:

    chs configure storage gcs BUCKET_NAME
    

    Para almacenar informes con un prefijo de carpeta en el bucket, agrega el prefijo al nombre del bucket:

    chs configure storage gcs BUCKET_NAME/PREFIX
    

Ejecuta un análisis de estado

En esta sección, se describe cómo verificar que tus nodos estén inactivos, iniciar un análisis y supervisar su progreso.

Verifica que los nodos de destino estén inactivos

El análisis de estado del clúster solo se ejecuta en la capacidad inactiva y no detiene ni expulsa automáticamente tus cargas de trabajo. Antes de iniciar un análisis, vacía o detén las cargas de trabajo que se ejecutan en tus nodos o instancias de destino.

Si el análisis de estado del clúster detecta cargas de trabajo activas en un nodo o una instancia de destino, controla la capacidad de la siguiente manera:

  • GPU: El análisis de estado del clúster omite los nodos ocupados y ejecuta el análisis en los nodos inactivos restantes.
  • TPU: La forma en que el analizador de estado del clúster controla la capacidad ocupada depende del entorno:
    • Clústeres de GKE: Las pruebas de TPU de varios hosts (tpu-collectives y tpu-network-stress) requieren una porción inactiva completa, mientras que las pruebas de TPU de host único se pueden ejecutar en nodos inactivos individuales:
      • Grupos de nodos de porción estática (--nodepools o --nodes): Si algunos nodos de un grupo están ocupados cuando ejecutas el paquete lite o standard, el analizador de estado del clúster registra una advertencia, omite las pruebas de varios hosts y ejecuta las pruebas de TPU de host único en los nodos inactivos restantes.
      • Grupos de nodos de porción dinámica (--nodepools o --nodes): Para orientar un grupo con --nodepools, se requiere que todo el grupo de nodos esté inactivo para que el análisis de estado del clúster pueda aprovisionar un recurso Slice de grupo completo. Si orientas a nodos específicos con --nodes (en la versión 1.36.0-gke.3712000 o posterior de GKE), el analizador de estado del clúster aprovisiona una porción secundaria 2x2x1 individual para cada nodo inactivo, omite los nodos ocupados y ejecuta pruebas de TPU de host único en los nodos inactivos.
    • Instancias de TPU independientes: El análisis de estado del clúster no se puede ejecutar si otro proceso usa los dispositivos de TPU en /dev/vfio.

Para asegurarte de que tu capacidad de destino esté inactiva, sigue los pasos para tu entorno.

Clústeres de GKE

  1. Detén o borra cualquier trabajo o Pod de carga de trabajo activo en el grupo de nodos de destino, o espera a que finalicen las cargas de trabajo en ejecución.

    Si usas kubectl drain para expulsar cargas de trabajo del grupo de nodos, quita el aislamiento de los nodos antes de iniciar el análisis para que el analizador de estado del clúster pueda programar Pods de diagnóstico en ellos (el analizador de estado del clúster omite los nodos aislados):

    kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \
        --ignore-daemonsets --delete-emptydir-data
    kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAME
    

    Asegúrate de que no se programen cargas de trabajo nuevas en el grupo de nodos mientras se ejecuta el análisis.

  2. Verifica que no queden Pods de carga de trabajo en el grupo de nodos:

    kubectl get pods --all-namespaces -o wide \
        --field-selector=status.phase=Running | grep NODE_POOL_NAME
    

    Los Pods del sistema, como los que administran los DaemonSets en el espacio de nombres kube-system, pueden seguir ejecutándose.

Clústeres de Slurm

  1. Verifica si hay trabajos en ejecución en la partición de destino:

    squeue --partition=PARTITION_NAME
    

    Si se están ejecutando trabajos en la partición, espera a que finalicen o cancélalos con scancel JOB_ID.

  2. Verifica que los nodos de la partición de destino estén en el estado idle:

    sinfo --partition=PARTITION_NAME
    

Instancias de TPU independientes

Verifica que ningún otro proceso esté usando los dispositivos TPU en la instancia:

sudo fuser -v /dev/vfio/*

Si se muestra algún proceso, espera a que finalicen las cargas de trabajo o detén los procesos antes de iniciar un análisis.

Cómo iniciar un análisis

Las marcas que pasas al comando chs run dependen del entorno en el que ejecutas el escáner de estado del clúster. El analizador de estado del clúster detecta automáticamente el programador y el tipo de acelerador, por lo que no es necesario que los especifiques.

Para enumerar los conjuntos de diagnóstico y las pruebas disponibles para un tipo de acelerador, ejecuta los siguientes comandos:

  • Para las GPU:

    chs list suites --gpu
    chs list tests --gpu
    
  • Para las TPU:

    chs list suites --tpu
    chs list tests --tpu
    

Grupos de nodos de GKE

Ejecuta el análisis de estado del clúster desde cualquier máquina que tenga acceso de kubectl a tu clúster, como tu máquina local o Cloud Shell.

Para iniciar un análisis en uno o más grupos de nodos, ejecuta el siguiente comando:

chs run \
    --nodepools=NODE_POOL_NAMES \
    --suite=SUITE

Reemplaza lo siguiente:

  • NODE_POOL_NAMES: Es una lista separada por comas de los grupos de nodos de GPU o TPU que se analizarán. Por ejemplo: a4-pool-1,a4-pool-2 o tpu7x-pool-1,tpu7x-pool-2. Todos los grupos de nodos de destino deben usar el mismo tipo de máquina.
  • SUITE: Es el paquete de diagnóstico que se ejecutará, ya sea lite o standard. Para obtener más información sobre cada paquete, consulta Paquetes de diagnóstico.

Para ejecutar pruebas específicas en lugar de un kit completo, reemplaza la marca --suite por la marca --tests y especifica una lista separada por comas de nombres de pruebas:

chs run \
    --nodepools=NODE_POOL_NAMES \
    --tests=TEST_NAMES

Para analizar nodos específicos en lugar de un grupo de nodos completo, reemplaza la marca --nodepools por la marca --nodes y especifica una lista separada por comas de nombres de nodos.

Cuando especificas varios grupos de nodos en la marca --nodepools, el verificador de estado del clúster los controla según el tipo de acelerador:

  • Grupos de nodos de GPU: Combina todos los nodos de GPU inactivos en los grupos de nodos especificados en un solo conjunto de destino y ejecuta pruebas de varios nodos (nccl-cluster y nccl-pairwise) en todos ellos juntos.
  • Grupos de nodos TPU: Evalúa cada grupo de nodos (porción de TPU) de forma independiente y en paralelo dentro de una sola ejecución, sin pruebas entre porciones (Multislice).

Particiones de Slurm

Ejecuta el análisis de estado del clúster en el controlador de Slurm o en el nodo de acceso, donde están disponibles los comandos sinfo y sbatch. Slurm requiere la opción de instalación del paquete de Python. Para obtener instrucciones de instalación, consulta Paquete de Python.

Antes de iniciar un análisis, configura las credenciales de Enroot en el clúster para que los nodos puedan extraer imágenes de comparativas de us-docker.pkg.dev:

gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF

Inicia un análisis en una o más particiones:

chs run \
    --partitions=PARTITION_NAMES \
    --suite=SUITE

Reemplaza lo siguiente:

  • PARTITION_NAMES: Es una lista separada por comas de las particiones de Slurm que se analizarán.
  • SUITE: Es el paquete de diagnóstico que se ejecutará, ya sea lite o standard. Para obtener más información sobre cada paquete, consulta Paquetes de diagnóstico.

Para ejecutar pruebas de GPU específicas en lugar de un kit completo, reemplaza la marca --suite por la marca --tests y especifica una lista de nombres de pruebas separada por comas (por ejemplo, nccl-pairwise,gemm o nccl-domain):

chs run \
    --partitions=PARTITION_NAMES \
    --tests=TEST_NAMES

Instancias de TPU independientes

Ejecuta el análisis de estado del clúster directamente en la instancia de TPU. La instancia de TPU debe exponer sus dispositivos TPU en /dev/vfio (puedes verificarlo en la instancia ejecutando ls /dev/vfio).

Si no ejecutas el escáner de estado del clúster como el usuario root, aumenta el límite de memlock antes de ejecutar las pruebas de TPU:

ulimit -l unlimited

Para iniciar un análisis en la instancia de TPU, ejecuta el siguiente comando:

chs run --suite=SUITE

Reemplaza SUITE por el paquete de diagnóstico que se ejecutará, ya sea lite o standard. Para obtener más información sobre cada paquete, consulta Paquetes de diagnóstico.

Para ejecutar pruebas de TPU específicas en lugar de un kit completo, reemplaza la marca --suite por la marca --tests y especifica una lista de nombres de prueba separada por comas (por ejemplo, tpu-host-device,tpu-hbm-stress):

chs run --tests=TEST_NAMES

Visualiza las ejecuciones y los resultados

El análisis de estado del clúster almacena el historial de ejecución y los parámetros de configuración de forma local en la máquina cliente en la que ejecutas los comandos de chs (en ~/.local/share/chs/ o en el volumen de Docker chs-local-state cuando usas la imagen de contenedor). Como resultado, los comandos chs history y chs results solo enumeran las ejecuciones que se iniciaron desde ese entorno.

Para enumerar tus ejecuciones anteriores y sus IDs de ejecución, ejecuta el siguiente comando:

chs history

Para mostrar los resultados de una ejecución y las ubicaciones del informe HTML interactivo (bill_of_health.html) y el informe JSON (bill_of_health.json), ejecuta el siguiente comando:

chs results RUN_ID

Si omites RUN_ID, el escáner de estado del clúster te solicitará que selecciones una ejecución. El comando imprime rutas de acceso locales o URIs de Cloud Storage si configuraste un bucket. Lee los resultados almacenados de una ejecución anterior y no inicia trabajos nuevos en tu clúster o instancia.

Cómo cancelar un análisis

Para cancelar un análisis, detener sus trabajos y quitar los recursos que creó en tu clúster o instancia, ejecuta uno de los siguientes comandos:

  • Cancela tu ejecución más reciente:

    chs cancel
    
  • Cancela una ejecución específica:

    chs cancel RUN_ID
    
  • Cancela cada ejecución del análisis de estado del clúster o la instancia, incluidas las ejecuciones que iniciaron otros usuarios:

    chs cancel --all
    

Interpretar los resultados

Cuando se completa un análisis, el analizador de estado del clúster guarda los siguientes artefactos en tu directorio de salida local y los sube a tu bucket de Cloud Storage si configuraste el almacenamiento:

  • Informe HTML interactivo (bill_of_health.html): Muestra cada prueba, sus métricas medidas y su estado.
  • Informe JSON (bill_of_health.json): Contiene los barridos de parámetros y las métricas medidas para cada prueba.
  • Directorio del espacio de trabajo: Contiene los registros de diagnóstico.

Cómo ver el informe de estado

Para encontrar las rutas de acceso locales exactas o los URI de Cloud Storage (gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html y gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json) de los informes de un análisis, ejecuta el siguiente comando:

chs results RUN_ID

Si configuraste un bucket de Cloud Storage, puedes ver el informe JSON directamente desde el URI que muestra chs results:

gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json

Contenido del informe

En el informe de estado, se enumeran todos los nodos que probó el escáner de estado del clúster, junto con los resultados de la comparativa de cada nodo. Los análisis de GPU y TPU usan el mismo formato de informe. Cada nodo recibe uno de los siguientes estados:

Estado Descripción
HEALTHY Todas las pruebas cumplieron con el rendimiento esperado para el tipo de máquina.
DEGRADED El nodo completó las pruebas, pero uno o más resultados estuvieron por debajo del rendimiento esperado.
POTENTIALLY DEGRADED Una prueba de detección estuvo por debajo del rendimiento esperado y no se ejecutó la prueba de esfuerzo correspondiente para confirmar el resultado.
INCOMPLETE Una o más pruebas no se ejecutaron, se agotó el tiempo de espera, se cancelaron o no informaron métricas en el nodo.

El archivo bill_of_health.json contiene los siguientes campos de nivel superior:

  • report_id: Es el identificador único de la ejecución del análisis.
  • chs_version: Es la versión del escáner de estado del clúster que generó el informe.
  • created_at: Es la marca de tiempo en la que se generó el informe.
  • system_info: metadatos sobre el sistema que se está probando, como el tipo de clúster y el tipo de máquina.
  • test_results: Es una lista de objetos de resultados de pruebas. Cada entrada incluye los siguientes campos:
    • test_name: Es el nombre de la prueba de diagnóstico.
    • result_status: Es el resultado de la prueba, como RESULT_STATUS_SUCCESS o RESULT_STATUS_FAILED.
    • target_resources: Son los nodos (node_name y instance_id) en los que se ejecutó la prueba.
    • metrics: Son las métricas medidas y los criterios de validación de la prueba.

El informe de estado usa un formato JSON coherente y estructurado. Puedes cargar informes en BigQuery o en otras herramientas de análisis y comparar informes de análisis sucesivos de la misma capacidad para detectar una desviación gradual del rendimiento.

Corrige los nodos en mal estado

Si el informe de estado identifica un nodo o una instancia con un estado DEGRADED, POTENTIALLY DEGRADED o INCOMPLETE, sigue estos pasos:

  1. Para descartar un problema transitorio, vuelve a ejecutar el análisis en el grupo de nodos o el nodo de GKE, la partición de Slurm o la instancia de TPU independiente antes de aislar o desviar el nodo (el analizador de estado del clúster omite los nodos de GKE aislados y los nodos de Slurm desviados). Para obtener instrucciones, consulta Inicia un análisis.

  2. Si el problema persiste, evita que se programen cargas de trabajo nuevas en el nodo o la instancia afectados:

    • Clústeres de GKE: Acordona el nodo en mal estado:

      kubectl cordon NODE_NAME
      
    • Clústeres de Slurm: Desvía el nodo en mal estado:

      sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"
      
    • Instancias de TPU independientes: No inicies cargas de trabajo nuevas en la instancia de TPU hasta que termines de corregir el problema.

  3. Repara o reemplaza el nodo o la instancia con una de las siguientes opciones, según el tipo de acelerador y el entorno:

    Cuando te comuniques con el equipo de asistencia, adjunta el directorio del lugar de trabajo desde tu directorio de salida local o el bucket de Cloud Storage, que contiene los registros de diagnóstico, y, además, incluye el ID de ejecución.

  4. Después de reparar o reemplazar el nodo o la instancia, vuelve a programarlo para que el escáner de estado del clúster no lo omita y, luego, ejecuta un análisis nuevo para confirmar que la capacidad esté en buen estado:

    • Clústeres de GKE: Desacordona el nodo y, luego, vuelve a ejecutar el análisis antes de programar cargas de trabajo nuevas:

      kubectl uncordon NODE_NAME
      
    • Clústeres de Slurm: Reanuda el nodo para que vuelva al estado idle y, luego, vuelve a ejecutar el análisis antes de programar trabajos nuevos:

      sudo scontrol update NodeName=NODE_NAME State=RESUME
      
    • Instancias de TPU independientes: Vuelve a ejecutar el análisis en la instancia y, luego, reanuda la ejecución de tus cargas de trabajo una vez que el análisis confirme que la instancia está en buen estado.

Telemetría

El escáner de estado del clúster envía métricas de uso anónimas a Google para ayudar a mejorar la herramienta y no recopila información de identificación personal (PII). La telemetría está habilitada de forma predeterminada. Para inhabilitar esta opción, ejecuta chs configure telemetry disable o configura la variable de entorno CHS_TELEMETRY=0.

¿Qué sigue?

Para resolver problemas habituales con el análisis de estado del clúster, consulta Soluciona problemas del análisis de estado del clúster.