En este documento, se muestra cómo configurar el almacenamiento compartido de Filestore para trabajos de Slurm en Google Kubernetes Engine (GKE). El almacenamiento compartido es fundamental para los clústeres de Slurm, ya que ayuda a garantizar que los nodos de acceso y los nodos trabajadores de Slurm puedan acceder a los mismos archivos de configuración, secuencias de comandos y datos de trabajos.
Antes de leer este documento, asegúrate de conocer el complemento de Slurm Operator para GKE.
Antes de comenzar
Antes de comenzar, asegúrate de haber realizado las siguientes tareas:
- Habilita la API de Cloud Filestore y la API de Google Kubernetes Engine. Habilita las APIs
- Si deseas usar Google Cloud CLI para esta tarea,
instala y, luego,
inicializa
gcloud CLI. Si ya instalaste la gcloud CLI, ejecuta el comando
gcloud components updatepara obtener la versión más reciente. Es posible que las versiones anteriores de gcloud CLI no admitan la ejecución de los comandos que se indican en este documento.
Configura el clúster
Para usar el almacenamiento compartido con Slurm, necesitas un clúster de GKE con el complemento Slurm Operator para GKE habilitado. En esta sección, configurarás un clúster de GKE. También configurarás el Acceso al SO para un acceso seguro y una identificación de usuario coherente en todo el clúster.
Otorga el rol
roles/file.editora la cuenta de servicio que usa tu clúster. Si tus nodos usan la cuenta de servicio predeterminada de Compute Engine, ejecuta el siguiente comando:gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role roles/file.editorReemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto.PROJECT_NUMBER: Es el número de tu proyecto.
Crea un clúster de GKE con el complemento Slurm Operator para GKE y el acceso al SO habilitado. Para crear el clúster, completa los pasos que se indican en Implementa Slurm en GKE.
Habilita el controlador de CSI de Filestore en el clúster:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --update-addons=GcpFilestoreCsiDriver=ENABLEDReemplaza lo siguiente:
CLUSTER_NAME: el nombre del clústerCONTROL_PLANE_LOCATION: Es la ubicación de Compute Engine del plano de control de tu clúster. Proporciona una región para los clústeres regionales o una zona para los clústeres zonales.
Configura Filestore
Para usar Filestore como almacenamiento compartido para tu clúster de Slurm, debes habilitar el controlador de CSI de Filestore y crear un PersistentVolume (PV) y un PersistentVolumeClaim (PVC).
Crea una instancia de Filestore
gcloud filestore instances create INSTANCE_NAME \ --zone=INSTANCE_ZONE \ --tier=BASIC_HDD \ --file-share=name="SHARE_NAME",capacity=1TB \ --network=name="default"Reemplaza lo siguiente:
INSTANCE_NAME: Es el nombre de tu instancia nueva.INSTANCE_ZONE: Es la zona de tu instancia de Filestore. Si usas un clúster regional, usa una zona en su región. Si usas un clúster zonal, usa la misma zona que el clúster.SHARE_NAME: Es el nombre del recurso compartido de archivos.
Anota los valores del campo
INSTANCE_IPque se necesitan para el manifiesto:gcloud filestore instances describe INSTANCE_NAME \ --zone=INSTANCE_ZONE \ --format="table(networks[0].ipAddresses[0])"Reemplaza lo siguiente:
INSTANCE_NAME: Es el nombre de tu instancia de Filestore.INSTANCE_ZONE: Es la zona de tu instancia de Filestore.
El resultado incluye el valor de
INSTANCE_IP. Usa este valor en el manifiesto en el siguiente paso.Para definir el PV y la PVC, crea un archivo de manifiesto llamado
filestore-pvc.yaml:Reemplaza lo siguiente:
PV_NAME: Es el nombre de tu PersistentVolume.PVC_NAME: Es el nombre de tu PersistentVolumeClaim.INSTANCE_ZONE: Es la zona de tu instancia de Filestore.INSTANCE_NAME: Es el nombre de tu instancia de Filestore.SHARE_NAME: Es el nombre del recurso compartido de archivos.INSTANCE_IP: Es la dirección IP de la instancia de Filestore que recuperaste antes.
Crea el espacio de nombres
slurm:kubectl create namespace slurmAplica el manifiesto
kubectl apply -f filestore-pvc.yaml
Usa el almacenamiento compartido en las configuraciones de Slurm
Después de crear tu PVC, puedes configurar los recursos del operador de Slurm para que se monte el almacenamiento compartido.
Configura el nodo de acceso y los nodos trabajadores de Slurm
Busca una etiqueta de imagen disponible:
En la consola de Google Cloud , ve a la página del repositorio de Artifact Registry que incluye el paquete
slinky/slurmd.Anota uno de los valores de la etiqueta de imagen, por ejemplo,
25.11-ubuntu24.04-gke.4. Usarás esta etiqueta en el marcador de posiciónIMAGE_TAGdel siguiente archivo de configuración.
Guarda la siguiente configuración en un archivo llamado
values.yaml:controller: slurmctld: image: repository: gcr.io/gke-release/slinky/slurmctld tag: IMAGE_TAG reconfigure: image: repository: gcr.io/gke-release/slinky/slurmctld tag: IMAGE_TAG restapi: replicas: 1 slurmrestd: image: repository: gcr.io/gke-release/slinky/slurmrestd tag: IMAGE_TAG nodesets: slinky: replicas: 1 slurmd: image: repository: gcr.io/gke-release/slinky/slurmd tag: IMAGE_TAG volumeMounts: - name: home-vol mountPath: /home podSpec: nodeSelector: cloud.google.com/gke-nodepool: NODE_POOL_NAME tolerations: - key: "slurm-worker" operator: "Equal" value: "true" effect: "NoSchedule" volumes: - name: home-vol persistentVolumeClaim: claimName: slurm-shared-storage-pvc loginsets: slinky: enabled: true replicas: 1 login: image: repository: gcr.io/gke-release/slinky/login tag: IMAGE_TAG volumeMounts: - name: home-vol mountPath: /home podSpec: volumes: - name: home-vol persistentVolumeClaim: claimName: slurm-shared-storage-pvcReemplaza lo siguiente:
IMAGE_TAG: Es la etiqueta que anotaste en el paso anterior.NODE_POOL_NAME: Es el nombre del grupo de nodos en el que deseas implementar los Pods de trabajador de Slurm.
Actualiza el gráfico de Slurm con el archivo
values.yaml:helm upgrade slurm oci://ghcr.io/slinkyproject/charts/slurm \ --version 1.0.2 \ --namespace=slurm \ -f values.yaml
Cómo verificar el almacenamiento compartido
Para verificar que el almacenamiento compartido se haya activado correctamente, sigue estos pasos:
Verifica que los PVC y los PV estén vinculados:
kubectl get pvc -n slurmEl resultado debería mostrar el estado de todos los PVC como
Boundpara sus PV.Para conectarte al nodo de acceso de Slurm, completa los pasos que se indican en Configura el Acceso al SO.
En el nodo de acceso, verifica las rutas de activación:
df -h /homeVerifica las rutas de activación en los nodos trabajadores:
srun -N 1 df -h /home
Realiza una limpieza
Sigue las instrucciones de la sección Realiza una limpieza de Implementa un clúster de Slurm en GKE para liberar espacio en el clúster de Slurm y los recursos.
Elimina la instancia de Filestore:
gcloud filestore instances delete INSTANCE_NAME --zone=INSTANCE_ZONE --quietReemplaza
INSTANCE_NAMEpor el nombre de tu instancia de Filestore yINSTANCE_ZONEpor su zona.
¿Qué sigue?
- Obtén más información sobre Filestore en GKE.