このガイドでは、Gemini Enterprise Agent Platform で Slurm を使用して Flex Start VM を構成して使用する手順について説明します。この統合により、トレーニング ワークロードに柔軟な VM プロビジョニング モデルを使用できます。
構成とクラスタの作成
Flex Start VM を使用するクラスタを作成する前に、Flex Start ノードプールがリクエストする vCPU、メモリ、アクセラレータに対して、プロジェクトに十分なプリエンプティブル割り当てがあることを確認してください。詳細については、Flex Start VM の割り当てをご覧ください。
Google API サービス エージェントの権限を確認する
Flex Start VM をプロビジョニングするマネージド インスタンス グループに追加の IAM ロールを付与する必要はありません。これらのグループは、必要な API を有効にすると自動的に設定される Google マネージド サービス エージェントを使用します。必要な API を有効にするには、使ってみるをご覧ください。
Slurm ログインノードのマネージド インスタンス グループは、Google API サービス エージェント(PROJECT_NUMBER@cloudservices.gserviceaccount.com)を使用します。このサービス エージェントには、デフォルトで編集者ロール(roles/editor)が付与されています。組織でこのロールを削除した場合は、Google API サービス エージェントに次のロールを付与して、ログインノードを作成できるようにします。
- Compute インスタンス管理者(v1)(
roles/compute.instanceAdmin.v1): サービス エージェントが VM インスタンスを作成、一覧表示、削除できるようにします。 - サービス アカウント ユーザー(
roles/iam.serviceAccountUser): サービス エージェントがサービス アカウントを VM に接続できるようにします。
Flex Start プロビジョニング モデルを使用した Slurm クラスタの作成
Flex Start プロビジョニング モデルを使用する Slurm クラスタを作成するには、API を使用してクラスタ作成リクエストを送信するときに、クラスタ仕様のノードプール構成内で provisioning_model を指定する必要があります。
構成スニペットの例: 次の JSON 構成を cluster_config.json という名前のファイルに保存します。この例では、slurm_spec を明示的に使用しています。プレースホルダ(<project-id>, <region>, <zone> など)を実際の値に置き換えます。
{
"display_name": "flexvm",
"name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
"network": {
"network": "projects/<project-id>/global/networks/default",
"subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
},
"node_pools": [
{
"id": "login",
"machine_spec": { "machine_type": "n2-standard-8" },
"scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
"enable_public_ips": "true",
"zone": "<zone>",
"boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
},
{
"id": "a3u",
"machine_spec": {
"machine_type": "a3-ultragpu-8g",
"accelerator_type": "NVIDIA_H200_141GB",
"accelerator_count": 8
},
"provisioning_model": "FLEX_START",
"flex_start_max_duration": "604800s",
"scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
"zone": "<zone>",
"enable_public_ips": "true",
"boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
}
],
"orchestrator_spec": {
"slurm_spec": {
"home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
"partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
"login_node_pool_id": "login"
}
}
}
Slurm クラスタを作成するの手順に沿って、認証を行い、リクエストを送信します。
Flex Start の最大期間: 必要に応じて、Flex Start インスタンスの最大実行期間を設定できます。ノードプール構成の flex_start_max_duration フィールドを使用し、値を秒単位の文字列として指定します。末尾に「s」を付けます(例: 2 日間の場合は「172800s」)。省略した場合、システムのデフォルトは 7 日になります。
運用ライフサイクルと復元性
Gemini Enterprise Agent Platform 環境の Slurm で Flex Start ノードのライフサイクルを理解することは、ジョブの計画に不可欠です。
Flex Start の制約
すべての Flex Start VM には、flex_start_max_duration 設定で定義された固定の最大実行時間があります。
- 期間の上限: デフォルトでは、
flex_start_max_durationは 7 日間に設定されています。この上限をオーバーライドするには、ノードプール構成で 10 分(600 秒)から 7 日(604,800 秒)のカスタムflex_start_max_durationを指定して、想定されるジョブの実行時間に合わせます。 - 終了: この上限に達すると、Compute Engine はインスタンスを厳密に終了します。
ノードのスケーリング動作
以降のセクションでは、使用可能な 2 つのスケーリング戦略(静的と動的)について説明します。
静的ノード
静的ノードを使用すると、常に使用可能なリソースの固定プール(min_node_count > 0 など)を維持できます。
- プロビジョニング: クラスタの作成またはサイズ変更時に、最小ノード数を満たすようにノードがすぐにリクエストされます。
- 有効期限と復元: 静的 Flex Start ノードが
flex_start_max_durationに達し、Compute Engine によって終了されると、システムは自動的にノードの再作成を試み、定義されたクラスタ容量を復元します。このサイクルにより、Slurm ジョブがノードで待機しているかどうかにかかわらず、静的プールが常に設定されます。
動的ノード
動的ノードを使用すると、クラスタは必要な場合にのみスケールアップされます。
- プロビジョニング: ジョブがキューに入れられると(
PENDING状態になる)、Slurm スケジューラはマネージド インスタンス グループを作成してサイズ変更リクエストを発行することで、リソースをリクエストします。 - 有効期限と復元: 有効期限が切れると、Slurm ジョブがノードで保留中の場合にのみ、システムは新しい Flex Start ノードをプロビジョニングします。
クラスタの復元力と自動修復
Gemini Enterprise Agent Platform の Slurm は、ジョブ ライフサイクルの主要なステージでノードの健全性をモニタリングします。ヘルスチェックは、ジョブの開始前(prolog)と完了後(epilog)の両方で実行され、ジョブの安定性を維持するのに役立ちます。
- ハードウェア エラー処理: サービスが重大なハードウェアの問題(GPU エラーなど)を検出すると、異常な VM が自動的に修復されるように設計されています。
- 自動置換: ジョブがまだ PENDING 状態である場合(またはノード障害により PENDING に再キューイングされた場合)、システムは新しい Flex Start インスタンスを自動的にプロビジョニングして、異常な VM を置き換えます。これにより、手動で介入することなく、正常なハードウェアでワークロードを続行できます。