GKE 用 Slurm Operator アドオン用に Filestore を構成する

このドキュメントでは、Google Kubernetes Engine(GKE)で Slurm ジョブ用に Filestore 共有ストレージを構成する方法について説明します。共有ストレージは、Slurm ログインノードとワーカーノードが同じ構成ファイル、スクリプト、ジョブデータにアクセスできるようにするために、Slurm クラスタに不可欠です。

このドキュメントを読む前に、GKE 用 Slurm Operator アドオンについて理解しておいてください。

始める前に

作業を始める前に、次のタスクが完了していることを確認してください。

  • Cloud Filestore API と Google Kubernetes Engine API を有効にします。
  • API を有効にする
  • このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化します。gcloud CLI をインストール済みの場合は、gcloud components update コマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。

クラスタを設定する

Slurm で共有ストレージを使用するには、GKE 用 Slurm Operator アドオンが有効になっている GKE クラスタが必要です。このセクションでは、GKE クラスタを設定します。また、クラスタ全体で安全なアクセスと一貫したユーザー識別を実現するために、OS Login を設定します。

  1. クラスタで使用するサービス アカウントに roles/file.editor ロールを付与します。ノードが Compute Engine のデフォルトのサービス アカウントを使用している場合は、次のコマンドを実行します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role roles/file.editor
    

    次のように置き換えます。

    • PROJECT_ID: プロジェクト ID。
    • PROJECT_NUMBER: プロジェクトの番号。
  2. GKE 用 Slurm Operator アドオンと OS Login を有効にして GKE クラスタを作成します。クラスタを作成するには、GKE に Slurm をデプロイするの手順を完了します。

  3. クラスタで Filestore CSI ドライバを有効にします。

      gcloud container clusters update CLUSTER_NAME \
          --location=CONTROL_PLANE_LOCATION \
          --update-addons=GcpFilestoreCsiDriver=ENABLED
    

    次のように置き換えます。

    • CLUSTER_NAME: クラスタの名前。
    • CONTROL_PLANE_LOCATION: クラスタのコントロール プレーンの Compute Engine のロケーション。リージョン クラスタの場合はリージョン、ゾーンクラスタの場合はゾーンを指定します。

Filestore を構成する

Filestore を Slurm クラスタの共有ストレージとして使用するには、Filestore CSI ドライバを有効にして、PersistentVolume(PV)と PersistentVolumeClaim(PVC)を作成する必要があります。

  1. Filestore インスタンスを作成します。

    gcloud filestore instances create INSTANCE_NAME \
        --zone=INSTANCE_ZONE \
        --tier=BASIC_HDD \
        --file-share=name="SHARE_NAME",capacity=1TB \
        --network=name="default"
    

    次のように置き換えます。

    • INSTANCE_NAME: 新しいインスタンスの名前。
    • INSTANCE_ZONE: Filestore インスタンスのゾーン。リージョン クラスタを使用している場合は、そのリージョン内のゾーンを使用します。ゾーンクラスタを使用している場合は、クラスタと同じゾーンを使用します。
    • SHARE_NAME: ファイル共有の名前。
  2. マニフェストに必要な INSTANCE_IP フィールドの値をアノテーションします。

    gcloud filestore instances describe INSTANCE_NAME \
        --zone=INSTANCE_ZONE \
        --format="table(networks[0].ipAddresses[0])"
    

    次のように置き換えます。

    • INSTANCE_NAME: Filestore インスタンスの名前。
    • INSTANCE_ZONE: Filestore インスタンスのゾーン。

    出力には INSTANCE_IP の値が含まれます。この値は、次の手順でマニフェストで使用します。

  3. PV と PVC を定義するには、filestore-pvc.yaml という名前のマニフェスト ファイルを作成します。

    
    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: PV_NAME
    spec:
      storageClassName: ""
      capacity:
        storage: 1Ti
      accessModes:
        - ReadWriteMany
      persistentVolumeReclaimPolicy: Retain
      volumeMode: Filesystem
      csi:
        driver: filestore.csi.storage.gke.io
        volumeHandle: "modeInstance/INSTANCE_ZONE/INSTANCE_NAME/SHARE_NAME"
        volumeAttributes:
          ip: INSTANCE_IP
          volume: SHARE_NAME
    ---
    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: PVC_NAME
      namespace: slurm
    spec:
      accessModes:
        - ReadWriteMany
      storageClassName: ""
      resources:
        requests:
          storage: 1Ti
      volumeName: PV_NAME
    

    次のように置き換えます。

    • PV_NAME: PersistentVolume の名前。
    • PVC_NAME: PersistentVolumeClaim の名前。
    • INSTANCE_ZONE: Filestore インスタンスのゾーン。
    • INSTANCE_NAME: Filestore インスタンスの名前。
    • SHARE_NAME: ファイル共有の名前。
    • INSTANCE_IP: 先ほど取得した Filestore インスタンスの IP アドレス。
  4. slurm 名前空間を作成します。

    kubectl create namespace slurm
    
  5. 次のようにマニフェストを適用します。

    kubectl apply -f filestore-pvc.yaml
    

Slurm 構成で共有ストレージを使用する

PVC を作成したら、共有ストレージをマウントするように Slurm Operator リソースを構成できます。

Slurm ログインノードとワーカーノードを構成する

  1. 使用可能なイメージタグを見つけます。

    1. Google Cloud コンソールで、slinky/slurmd パッケージを含む Artifact Registry リポジトリ ページに移動します。

      Artifact Registry リポジトリに移動

    2. イメージタグ値のいずれかにアノテーションを付けます(例: 25.11-ubuntu24.04-gke.4)。このタグは、次の構成ファイルの IMAGE_TAG プレースホルダで使用します。

  2. 次の構成を values.yaml という名前のファイルに保存します。

    controller:
      slurmctld:
        image:
          repository: gcr.io/gke-release/slinky/slurmctld
          tag: IMAGE_TAG
      reconfigure:
        image:
          repository: gcr.io/gke-release/slinky/slurmctld
          tag: IMAGE_TAG
    
    restapi:
      replicas: 1
      slurmrestd:
        image:
          repository: gcr.io/gke-release/slinky/slurmrestd
          tag: IMAGE_TAG
    
    nodesets:
      slinky:
        replicas: 1
        slurmd:
          image:
            repository: gcr.io/gke-release/slinky/slurmd
            tag: IMAGE_TAG
          volumeMounts:
            - name: home-vol
              mountPath: /home
        podSpec:
          nodeSelector:
            cloud.google.com/gke-nodepool: NODE_POOL_NAME
          tolerations:
            - key: "slurm-worker"
              operator: "Equal"
              value: "true"
              effect: "NoSchedule"
          volumes:
          - name: home-vol
            persistentVolumeClaim:
              claimName: slurm-shared-storage-pvc
    
    loginsets:
      slinky:
        enabled: true
        replicas: 1
        login:
          image:
            repository: gcr.io/gke-release/slinky/login
            tag: IMAGE_TAG
          volumeMounts:
            - name: home-vol
              mountPath: /home
        podSpec:
          volumes:
          - name: home-vol
            persistentVolumeClaim:
              claimName: slurm-shared-storage-pvc
    

    次のように置き換えます。

    • IMAGE_TAG: 前の手順でアノテーションを付けたタグ。
    • NODE_POOL_NAME: Slurm ワーカー Pod をデプロイするノードプールの名前。
  3. values.yaml ファイルを使用して Slurm チャートをアップグレードします。

    helm upgrade slurm oci://ghcr.io/slinkyproject/charts/slurm \
      --version 1.0.2 \
      --namespace=slurm \
      -f values.yaml
    

共有ストレージを確認する

共有ストレージが正しくマウントされていることを確認する手順は次のとおりです。

  1. PVC と PV がバインドされていることを確認します。

    kubectl get pvc -n slurm
    

    出力には、すべての PVC のステータスが PV に対して Bound と表示されます。

  2. OS Login を構成するの手順を完了して、Slurm ログインノードに接続します。

  3. ログインノードで、マウントパスを確認します。

    df -h /home
    
  4. ワーカーノードのマウントパスを確認します。

    srun -N 1 df -h /home
    

クリーンアップ

  1. GKE に Slurm クラスタをデプロイするのクリーンアップ セクションの手順に沿って、Slurm クラスタとリソースをクリーンアップします。

  2. Filestore インスタンスを削除します。

    gcloud filestore instances delete INSTANCE_NAME --zone=INSTANCE_ZONE --quiet
    

    INSTANCE_NAME は Filestore インスタンスの名前に、INSTANCE_ZONE はそのゾーンに置き換えます。

次のステップ