이 가이드에서는 Gemini Enterprise Agent Platform에서 Slurm을 사용하여 Flex Start VM을 구성하고 사용하는 방법을 안내합니다. 이 통합을 통해 학습 워크로드에 가변형 VM 프로비저닝 모델을 사용할 수 있습니다.
구성 및 클러스터 생성
Flex Start VM을 사용하는 클러스터를 만들기 전에 프로젝트에 Flex Start 노드 풀에서 요청하는 vCPU, 메모리, 가속기에 대한 충분한 선점형 할당량이 있는지 확인하세요. 자세한 내용은 flex-start VM 할당량을 참조하세요.
Google API 서비스 에이전트 권한 확인
Flex-start VM을 프로비저닝하는 관리형 인스턴스 그룹에 추가 IAM 역할을 부여할 필요가 없습니다. 이러한 그룹은 필요한 API를 사용 설정할 때 자동으로 설정되는 Google 관리형 서비스 에이전트를 사용합니다. 필수 API를 사용 설정하려면 시작하기를 참조하세요.
Slurm 로그인 노드의 관리형 인스턴스 그룹은 Google API 서비스 에이전트(PROJECT_NUMBER@cloudservices.gserviceaccount.com)를 사용합니다.
이 서비스 에이전트에는 기본적으로 편집자 역할(roles/editor)이 있습니다. 조직에서 이 역할을 삭제한 경우 로그인 노드를 만들 수 있도록 Google API 서비스 에이전트에 다음 역할을 부여합니다.
- Compute 인스턴스 관리자(v1)(
roles/compute.instanceAdmin.v1): 서비스 에이전트가 VM 인스턴스를 만들고, 나열하고, 삭제할 수 있습니다. - 서비스 계정 사용자(
roles/iam.serviceAccountUser): 서비스 에이전트가 서비스 계정을 VM에 연결할 수 있습니다.
Flex Start 프로비저닝 모델로 Slurm 클러스터 만들기
Flex Start 프로비저닝 모델을 사용하는 Slurm 클러스터를 만들려면 API를 사용하여 클러스터 생성 요청을 제출할 때 클러스터 사양의 노드 풀 구성 내에 provisioning_model를 지정해야 합니다.
구성 스니펫 예시: 다음 JSON 구성을 cluster_config.json라는 파일에 저장합니다. 이 예시에서는 slurm_spec를 명시적으로 사용합니다.
자리표시자(예: <project-id>, <region>, <zone>)를 실제 값으로 바꿉니다.
{
"display_name": "flexvm",
"name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
"network": {
"network": "projects/<project-id>/global/networks/default",
"subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
},
"node_pools": [
{
"id": "login",
"machine_spec": { "machine_type": "n2-standard-8" },
"scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
"enable_public_ips": "true",
"zone": "<zone>",
"boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
},
{
"id": "a3u",
"machine_spec": {
"machine_type": "a3-ultragpu-8g",
"accelerator_type": "NVIDIA_H200_141GB",
"accelerator_count": 8
},
"provisioning_model": "FLEX_START",
"flex_start_max_duration": "604800s",
"scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
"zone": "<zone>",
"enable_public_ips": "true",
"boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
}
],
"orchestrator_spec": {
"slurm_spec": {
"home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
"partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
"login_node_pool_id": "login"
}
}
}
Slurm 클러스터 만들기의 단계에 따라 요청을 인증하고 제출합니다.
최대 Flex Start 기간: 원하는 경우 Flex Start 인스턴스의 최대 실행 기간을 설정할 수 있습니다. 노드 풀 구성에서 flex_start_max_duration 필드를 사용하여 값을 초 단위 문자열로 지정하고 's'를 추가합니다(예: 2일의 경우 '172800s'). 생략하면 시스템 기본값은 7일입니다.
운영 수명 주기 및 복원력
Gemini Enterprise Agent Platform 환경에서 Slurm의 Flex Start 노드 수명 주기를 이해하는 것은 작업을 계획하는 데 매우 중요합니다.
Flex Start 제약 조건
모든 Flex Start VM에는 flex_start_max_duration 설정으로 정의된 고정된 최대 실행 기간이 있습니다.
- 기간 한도: 기본적으로
flex_start_max_duration은 7일로 설정됩니다. 예상 작업 런타임에 더 잘 맞도록 노드 풀 구성에서 10분(600초)에서 7일(604,800초) 사이의 커스텀flex_start_max_duration을 지정하여 이 한도를 재정의할 수 있습니다. - 종료: 이 한도에 도달하면 Compute Engine이 인스턴스를 엄격하게 종료합니다.
노드 확장 동작
다음 섹션에서는 정적 및 동적이라는 두 가지 확장 전략을 설명합니다.
정적 노드
정적 노드를 사용하면 항상 사용할 수 있는 고정된 리소스 풀을 유지할 수 있습니다(예: min_node_count > 0).
- 프로비저닝: 클러스터 생성 또는 크기 조절 시 최소 노드 수를 충족하기 위해 노드가 즉시 요청됩니다.
- 만료 및 복구: 정적 Flex Start 노드가
flex_start_max_duration에 도달하고 Compute Engine에 의해 종료되면 시스템은 정의된 클러스터 용량을 복원하기 위해 노드를 자동으로 다시 만들려고 시도합니다. 이 주기는 Slurm 작업이 노드에서 대기 중인지 여부에 관계없이 정적 풀이 채워진 상태로 유지되도록 합니다.
동적 노드
동적 노드를 사용하면 필요할 때만 클러스터를 확장할 수 있습니다.
- 프로비저닝: 작업이 큐에 추가되면(
PENDING상태로 전환) Slurm 스케줄러는 관리형 인스턴스 그룹을 만들고 크기 조절 요청을 실행하여 리소스를 요청합니다. - 만료 및 복구: 만료 시 시스템은 노드에서 Slurm 작업이 대기 중인 경우에만 새 Flex Start 노드를 프로비저닝합니다.
클러스터 복원력 및 자동 복구
Gemini Enterprise Agent Platform의 Slurm은 작업 수명 주기의 주요 단계에서 노드 상태를 모니터링합니다. 상태 점검은 작업 안정성을 유지하기 위해 작업이 시작되기 전(프롤로그)과 완료된 후(에필로그)에 모두 실행됩니다.
- 하드웨어 오류 처리: 서비스에서 심각한 하드웨어 문제(예: GPU 오류)를 감지하면 비정상 VM을 자동으로 복구하도록 설계되었습니다.
- 자동 교체: 작업이 아직 대기 중 상태이거나 노드 오류로 인해 대기 중 상태로 다시 큐에 추가된 경우 시스템은 비정상 VM을 교체하기 위해 새 Flex Start 인스턴스를 자동으로 프로비저닝합니다. 이렇게 하면 수동 개입 없이 정상 하드웨어에서 워크로드를 진행할 수 있습니다.