搭配使用 Slurm 叢集與彈性啟動 VM

本指南說明如何在 Gemini Enterprise Agent Platform,設定及使用彈性啟動 VM 搭配 Slurm。這項整合功能可讓您在訓練工作負載中,使用彈性的 VM 佈建模型。

設定及建立叢集

建立使用彈性啟動型 VM 的叢集前,請確認專案有足夠的先占配額,可供彈性啟動型節點集區要求的 vCPU、記憶體和加速器使用。詳情請參閱「彈性啟動型 VM 配額」。

驗證 Google API 服務代理的權限

您不需要為佈建彈性啟動 VM 的代管執行個體群組,授予額外的 IAM 角色。這些群組會使用 Google 代管的服務代理,在您啟用必要的 API 時自動設定。如要啟用必要的 API,請參閱「開始使用」。

Slurm 登入節點的代管執行個體群組會使用 Google API 服務代理 (PROJECT_NUMBER@cloudservices.gserviceaccount.com)。這個服務代理預設具備編輯者角色 (roles/editor)。如果貴組織已移除這個角色,請將下列角色授予 Google API 服務代理,以便建立登入節點:

  • Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1):可讓服務代理建立、列出及刪除 VM 執行個體。
  • 服務帳戶使用者 (roles/iam.serviceAccountUser):可讓服務代理將服務帳戶附加至 VM。

建立採用彈性啟動佈建模式的 Slurm 叢集

如要建立使用彈性啟動佈建模式的 Slurm 叢集,請透過 API 提交叢集建立要求,並在叢集規格的節點集區設定中指定 provisioning_model。

設定程式碼片段範例:將下列 JSON 設定儲存至名為 cluster_config.json 的檔案。這個範例明確使用 slurm_spec。將預留位置 (例如 <project-id>, <region>, <zone>) 替換為實際值。

{
  "display_name": "flexvm",
  "name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
  "network": {
    "network": "projects/<project-id>/global/networks/default",
    "subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": { "machine_type": "n2-standard-8" },
      "scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
      "enable_public_ips": "true",
      "zone": "<zone>",
      "boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
    },
    {
      "id": "a3u",
      "machine_spec": {
        "machine_type": "a3-ultragpu-8g",
        "accelerator_type": "NVIDIA_H200_141GB",
        "accelerator_count": 8
      },
      "provisioning_model": "FLEX_START",
      "flex_start_max_duration": "604800s",
      "scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
      "zone": "<zone>",
      "enable_public_ips": "true",
      "boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
      "partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
      "login_node_pool_id": "login"
    }
  }
}

請按照「建立 Slurm 叢集」中的步驟進行驗證並提交要求。

彈性啟動時間長度上限:您可以視需要設定彈性啟動執行個體的執行時間長度上限。請在節點集區設定中使用 flex_start_max_duration 欄位,將值指定為以秒為單位的字串,並在結尾加上「s」(例如「172800s」代表 2 天)。如未指定,系統預設為 7 天。

作業生命週期和韌性

在 Gemini Enterprise Agent Platform 的 Slurm 環境中,瞭解 Flex Start 節點的生命週期,對於規劃工作至關重要。

彈性啟動限制

所有彈性啟動 VM 都有固定的執行時間長度上限,由 flex_start_max_duration 設定定義。

  • 時間長度限制:flex_start_max_duration 預設為 7 天。您可以在節點集區設定中指定自訂 flex_start_max_duration,覆寫這項限制,範圍介於 10 分鐘 (600 秒) 到 7 天 (604,800 秒) 之間,以更符合預期的工作執行階段。
  • 終止:達到這項限制時,Compute Engine 會嚴格終止執行個體。

節點資源調度行為

以下各節說明兩種可用的調度資源策略:靜態和動態。

靜態節點

靜態節點可讓您維護一組隨時可用的固定資源 (例如 min_node_count > 0)。

  • 佈建:建立叢集或調整叢集大小時,系統會立即要求節點,以達到節點數量下限。
  • 到期與復原:靜態 Flex Start 節點達到 flex_start_max_duration 並由 Compute Engine 終止時,系統會自動嘗試重新建立節點,以還原定義的叢集容量。無論是否有 Slurm 工作在節點上等待,這個週期都能確保靜態集區維持填滿狀態。

動態節點

動態節點可讓叢集只在需要時擴充。

  • 佈建:工作排入佇列 (進入 PENDING 狀態) 時,Slurm 排程器會建立代管執行個體群組並發出大小調整要求,藉此要求資源。
  • 到期與復原:到期後,只有在節點上有待處理的 Slurm 工作時,系統才會佈建新的 Flex Start 節點。

叢集彈性和自動修復

Gemini Enterprise Agent Platform 上的 Slurm 會在工作生命週期的重要階段監控節點健康狀態。系統會在工作開始前 (prolog) 和完成後 (epilog) 執行健康狀態檢查,確保工作穩定。

  • 硬體錯誤處理:如果服務偵測到重大硬體問題 (例如 GPU 錯誤),會自動修復健康狀態不良的 VM。
  • 自動替換:如果工作仍處於 PENDING 狀態 (或因節點故障而重新排入 PENDING 狀態),系統會自動佈建新的 Flex Start 執行個體,替換健康狀態不良的 VM。這樣一來,工作負載就能在健康狀態良好的硬體上繼續執行,不需手動介入。