Uso de VMs de inicio flexible con el clúster de Slurm

En esta guía, se proporcionan instrucciones para configurar y usar VMs de inicio flexible con Slurm en Gemini Enterprise Agent Platform. Esta integración te permite usar modelos de aprovisionamiento de VM flexibles para tus cargas de trabajo de entrenamiento.

Configuración y creación de clústeres

Antes de crear un clúster que use VMs de inicio flexible, asegúrate de que tu proyecto tenga suficiente cuota de recursos interrumpibles para las CPUs virtuales, la memoria y los aceleradores que solicitan tus grupos de nodos de inicio flexible. Para obtener más información, consulta Cuota de VMs de inicio flexible.

Verifica los permisos del agente de servicio de las APIs de Google

No es necesario que otorgues roles de IAM adicionales a los grupos de instancias administrados que aprovisionan VMs de inicio flexible. Estos grupos usan un agente de servicio administrado por Google que se configura automáticamente cuando habilitas las APIs requeridas. Para habilitar las APIs necesarias, consulta Comienza.

El grupo de instancias administrado para los nodos de acceso de Slurm usa el agente de servicio de las APIs de Google (PROJECT_NUMBER@cloudservices.gserviceaccount.com). Este agente de servicio tiene el rol de Editor (roles/editor) de forma predeterminada. Si tu organización quitó este rol, otorga los siguientes roles al agente de servicio de las APIs de Google para que pueda crear los nodos de acceso:

  • Administrador de instancias de Compute (v1) (roles/compute.instanceAdmin.v1): Permite que el agente de servicio cree, enumere y borre instancias de VM.
  • Usuario de la cuenta de servicio (roles/iam.serviceAccountUser): Permite que el agente de servicio adjunte una cuenta de servicio a las VMs.

Crea un clúster de Slurm con el modelo de aprovisionamiento de inicio flexible

Para crear un clúster de Slurm que use el modelo de aprovisionamiento de Flex Start, debes especificar el provisioning_model dentro de la configuración del grupo de nodos de la especificación del clúster cuando envíes la solicitud de creación del clúster con la API.

Ejemplo de fragmento de configuración: Guarda la siguiente configuración de JSON en un archivo llamado cluster_config.json. En este ejemplo, se usa un slurm_spec de forma explícita. Reemplaza los marcadores de posición (por ejemplo, <project-id>, <region>, <zone>) por tus valores reales.

{
  "display_name": "flexvm",
  "name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
  "network": {
    "network": "projects/<project-id>/global/networks/default",
    "subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": { "machine_type": "n2-standard-8" },
      "scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
      "enable_public_ips": "true",
      "zone": "<zone>",
      "boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
    },
    {
      "id": "a3u",
      "machine_spec": {
        "machine_type": "a3-ultragpu-8g",
        "accelerator_type": "NVIDIA_H200_141GB",
        "accelerator_count": 8
      },
      "provisioning_model": "FLEX_START",
      "flex_start_max_duration": "604800s",
      "scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
      "zone": "<zone>",
      "enable_public_ips": "true",
      "boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
      "partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
      "login_node_pool_id": "login"
    }
  }
}

Sigue los pasos que se indican en Crea un clúster de Slurm para autenticar y enviar la solicitud.

Duración máxima del inicio flexible: De manera opcional, puedes establecer la duración máxima de ejecución para tus instancias de inicio flexible. Usa el campo flex_start_max_duration en la configuración de tu grupo de nodos y especifica el valor como una cadena en segundos, con una "s" al final (por ejemplo, "172800s" para 2 días). Si se omite, el sistema establece el valor predeterminado en 7 días.

Ciclo de vida operativo y resiliencia

Comprender el ciclo de vida de los nodos de Flex Start en un entorno de Slurm en Gemini Enterprise Agent Platform es fundamental para planificar tus trabajos.

Restricciones de Flex Start

Todas las VMs de inicio flexible tienen una duración máxima de ejecución fija, que se define con el parámetro de configuración flex_start_max_duration.

  • Límite de duración: De forma predeterminada, el flex_start_max_duration se establece en 7 días. Puedes anular este límite si especificas un flex_start_max_duration personalizado de entre 10 minutos (600 segundos) y 7 días (604,800 segundos) en la configuración del grupo de nodos para que coincida mejor con los tiempos de ejecución esperados de los trabajos.
  • Finalización: Cuando se alcanza este límite, Compute Engine finaliza la instancia de forma estricta.

Comportamiento del escalamiento de nodos

En las siguientes secciones, se describen las dos estrategias de escalamiento disponibles: estática y dinámica.

Nodo estático

Los nodos estáticos te permiten mantener un grupo fijo de recursos que siempre están disponibles (por ejemplo, min_node_count > 0).

  • Aprovisionamiento: Los nodos se solicitan de inmediato cuando se crea el clúster o se cambia su tamaño para cumplir con la cantidad mínima de nodos.
  • Vencimiento y recuperación: Cuando un nodo estático de Flex Start alcanza su flex_start_max_duration y Compute Engine lo finaliza, el sistema intenta volver a crear el nodo automáticamente para restablecer la capacidad definida del clúster. Este ciclo garantiza que el grupo estático permanezca poblado, sin importar si un trabajo de Slurm está esperando en los nodos.

Nodo dinámico

Los nodos dinámicos permiten que el clúster escale verticalmente solo cuando sea necesario.

  • Aprovisionamiento: Cuando un trabajo se pone en cola (ingresa a un estado PENDING), el programador de Slurm solicita recursos creando un grupo de instancias administrado y emitiendo una solicitud de cambio de tamaño.
  • Vencimiento y recuperación: Tras el vencimiento, el sistema aprovisiona un nuevo nodo de Flex Start solo si hay un trabajo de Slurm pendiente en los nodos.

Resiliencia y reparación automática del clúster

Slurm en Gemini Enterprise Agent Platform supervisa el estado de los nodos en etapas clave del ciclo de vida del trabajo. Las verificaciones de estado se ejecutan antes de que comience un trabajo (el prólogo) y después de que se complete (el epílogo) para ayudar a mantener la estabilidad del trabajo.

  • Manejo de errores de hardware: Si el servicio detecta problemas de hardware críticos (como errores de GPU), está diseñado para reparar automáticamente la VM en mal estado.
  • Reemplazo automático: Si el trabajo aún está en estado PENDING (o se volvió a poner en cola en PENDING debido a la falla del nodo), el sistema aprovisiona automáticamente una nueva instancia de Flex Start para reemplazar la VM en mal estado. Esto permite que tu carga de trabajo continúe en un hardware en buen estado sin intervención manual.