GKE의 Slurm 정보

이 문서에서는 Google Kubernetes Engine (GKE)에서 Slurm 클러스터를 배포하고 관리하기 위한 이점, 공동 책임 모델, 워크로드 혼합 옵션을 이해하는 데 도움이 됩니다.

Slurm은 인공지능 (AI), 머신러닝 (ML), 고성능 컴퓨팅 (HPC) 워크로드를 위한 확장성이 뛰어난 오픈소스 워크로드 관리자 및 작업 스케줄러입니다. GKE에서 Slurm을 실행하면 일괄 작업의 Slurm 인터페이스가 GKE의 확장성 및 동적 리소스 관리와 통합됩니다.

이 문서는 GKE용 Slurm 연산자 부가기능으로 Slurm 클러스터를 배포 및 구성하고 Slurm 및 Kubernetes 워크로드 전반에서 컴퓨팅 리소스를 공유하려는 플랫폼 엔지니어를 대상으로 합니다.

GKE에서 Slurm을 사용하는 이유

GKE에서 Slurm을 실행하면 동일한 공유 노드 풀에서 추론 또는 서빙과 같은 다른 Kubernetes 워크로드와 병렬로 Slurm 학습 작업을 실행할 수 있는 환경을 설정할 수 있습니다.

GKE용 Slurm 연산자 부가기능은 Google 권장사항을 따르는 오픈소스 Slinky Slurm 연산자의 관리형 설치를 제공합니다. GKE용 Slurm 연산자 부가기능을 사용하면 Slurm 구성 및 커스텀 컨테이너를 완전히 제어하면서 가속기 및 컴퓨팅 최적화 머신에서 인공지능 (AI), 머신러닝(ML), HPC 워크로드를 실행하는 커스텀 플랫폼을 빌드할 수 있습니다.

GKE용 Slurm 연산자 부가기능에는 다음과 같은 이점이 있습니다.

  • 통합 인프라: HPC 일괄 작업과 마이크로서비스 모두에 단일 GKE 클러스터를 관리할 수 있습니다. 이렇게 하면 운영 사일로가 줄어듭니다.
  • 효율적인 확장: GKE용 Slurm 연산자 부가기능은 GKE의 빠른 노드 프로비저닝 및 효율적인 빈 패킹을 사용하여 리소스 사용률을 최적화합니다.
  • 고성능 하드웨어: Slurm 명령어를 사용하여 Google Cloud's 최신 가속기(예: TPU 및 GPU)에 액세스할 수 있습니다.

인프라 계층 이해

일반적으로 Slurm은 베어메탈 서버 또는 VM에 직접 배포됩니다. 이러한 설정에서 Slurm은 수명 주기 동안 관리하는 비교적 정적인 노드 집합을 가정합니다.

반면 GKE는 기본 VM을 동적 풀의 노드로 표시하여 추상화하는 관리형 서비스입니다. GKE는 이러한 노드의 예약 및 확장을 자동으로 처리합니다.

GKE용 Slurm 연산자 부가기능을 사용하면 Slurm이 GKE 위에 워크로드로 실행됩니다. 이 모델에서 GKE와 Slurm은 다음과 같은 기능을 제공합니다.

  • 인프라 관리자로서의 GKE: GKE는 기본 노드, 네트워킹, 보안을 제공하고 관리합니다.
  • 워크로드 관리자로서의 Slurm: Slurm은 사용자가 일괄 작업을 제출하고 관리할 수 있는 인터페이스를 제공합니다.

이러한 수렴은 Slurm 작업이 추론 또는 서빙과 같은 Kubernetes 애플리케이션과 동일한 기본 하드웨어 (예: GPU 및 TPU)를 공유할 수 있는 이기종 스택을 만듭니다.

Slurm 연산자 부가기능 작동 방식

GKE 클러스터에서 GKE용 Slurm 연산자 부가기능을 사용 설정하면 GKE에서 다음 단계를 수행합니다.

  1. GKE는 Slurm 연산자를 설치하고 호스팅합니다. 이 연산자는 GKE 컨트롤 플레인에서 실행되며 클러스터에 배포된 Slurm 구성요소의 수명 주기를 관리합니다. 이 연산자는 인증서 생성 및 커스텀 리소스 관리와 같은 필수사항을 자동으로 처리합니다.
  2. 연산자가 실행된 후 Kubernetes 커스텀 리소스를 사용하여 Slurm 클러스터 토폴로지를 정의합니다.
  3. 연산자는 워크로드의 사양과 일치하도록 필요한 포드 (예: 컨트롤러, 로그인, 작업자)를 배포합니다.

커스텀 리소스

GKE용 Slurm 연산자 부가기능은 다음 커스텀 리소스를 활용하여 Slurm 클러스터를 관리합니다.

  • NodeSet: 동종 워커 노드 집합을 정의합니다. Slurm 작업자를 특정 GKE 노드 풀 또는 하드웨어 유형에 매핑할 수 있습니다. 예를 들어 H100 GPU용 NodeSet과 TPU용 NodeSet을 만들 수 있습니다.
  • 컨트롤러: 클러스터 상태, 파티션, 작업 예약을 조정하는 Slurm 컨트롤러 (slurmctld) 구성요소를 배포하고 관리합니다.
  • LoginSet: 사용자가 작업을 제출하기 위해 로그인하는 로그인 노드를 정의합니다.
  • Restapi: Slurm 클러스터에 REST API 인터페이스를 제공하는 slurmrestd 구성요소를 배포합니다.
  • 회계: 구성된 경우 slurmdbd 구성요소를 배포하여 작업 회계 및 사용량 추적을 처리합니다. 일반적으로 Cloud SQL 데이터베이스에 연결됩니다.

Slurm 연산자 부가기능의 공동 책임

GKE용 Slurm 오퍼레이터 부가기능을 사용하여 GKE에서 Slurm을 실행하도록 선택하면 Google Cloud 공동 책임을 공유합니다. 이 통합을 통해 Google이 조정 레이어를 관리하는 동안 환경을 유연하게 맞춤설정할 수 있습니다.

Google의 책임

  • 연산자 수명 주기: GKE 컨트롤 플레인에서 Slurm 연산자 및 웹훅을 설치하고 관리합니다.
  • GKE 컨트롤 플레인: GKE 컨트롤 플레인의 안정성과 가동 시간을 관리합니다.
  • Kubernetes CustomResourceDefinition: Slurm에 필요한 CustomResourceDefinitions를 설치하고 관리합니다.
  • 기본 이미지: Slurm 구성요소에 최적화된 Google 소유 컨테이너 이미지를 제공합니다. 이러한 이미지의 사용은 선택사항입니다. Slurm 클러스터를 구성할 때 Google에서 제공하는 이미지를 사용하거나 자체 이미지를 사용할 수 있습니다.

고객의 책임

  • Slurm 구성: Helm 값과 YAML 파일을 사용하여 Slurm 클러스터 토폴로지, 파티션, 한도, 플러그인을 정의합니다.
  • 작업 제출: 사용자 액세스 및 작업 제출 워크플로를 관리합니다.
  • 커스텀 이미지: 기본 Google 이미지가 특정 요구사항을 충족하지 않는 경우 로그인 또는 워커 노드에 사용되는 커스텀 컨테이너 이미지를 유지합니다.
  • 외부 종속 항목: 회계를 위한 Cloud SQL 또는 공유 저장소를 위한 Filestore와 같은 외부 리소스를 관리합니다.

자세한 내용은 GKE 공동 책임을 참고하세요.

GKE의 워크로드 혼합

워크로드 혼합을 사용하면 동일한 클러스터에서 Slurm 일괄 작업과 비 Slurm Kubernetes 워크로드 (예: 추론 또는 서빙) 간에 GPU, TPU, CPU와 같은 GKE 컴퓨팅 리소스를 동적으로 공유할 수 있습니다. Slurm 및 Kubernetes에 대해 별도의 정적으로 분할된 노드 풀을 유지하는 대신 워크로드 요구사항 및 우선순위에 따라 클러스터 용량을 동적으로 재할당하여 가속기 및 컴퓨팅 사용률을 최적화할 수 있습니다.

예약 모델 및 플랫폼 요구사항에 따라 Slurm Bridge 또는 K8s Bridge 를 사용하여 GKE에서 워크로드 혼합을 구현할 수 있습니다.

Slurm Bridge

Slurm Bridge는 공유 리소스에 Slurm을 기본 스케줄러로 사용하는 Slinky 프로젝트의 오픈소스 스케줄러 플러그인입니다. 구성된 네임스페이스에 Kubernetes 워크로드를 제출하면 Slurm Bridge가 포드를 가로채서 Slurm에 외부 작업으로 등록하고 Slurm이 필요한 용량을 할당한 후 포드를 GKE 노드에 바인딩합니다.

사용 사례가 다음 조건을 충족하는 경우 Slurm Bridge를 사용하세요.

  • 전용 또는 정적 노드 풀이 있는 Slurm 우선 환경을 운영합니다.
  • 단일 Slurm 스케줄러가 모든 워크로드를 관리하도록 하려고 합니다.
  • 다중 요소 우선순위, 공정 공유 예약, 백필 예약, 작업 일시중지와 같은 Slurm 예약 기능을 사용합니다.

자세한 내용은 Slurm Bridge 문서를 참조하세요.

K8s Bridge

K8s Bridge는 Slurm 및 Kubernetes 워크로드 전반에서 Kueue를 중앙 허용 컨트롤러 로 사용하는 Google에서 개발한 오픈소스 Kubernetes 컨트롤러입니다. K8s Bridge를 사용하면 심층적인 Kubernetes 개념을 학습하지 않고도 표준 Slurm 명령어 (예: sbatch, salloc, srun)를 사용하여 일괄 작업 및 대화형 작업을 제출할 수 있습니다. 작업이 구성된 Slurm 파티션에 제출되면 K8s Bridge는 이를 Kueue 관리 Kubernetes 워크로드로 변환하고 Kueue가 작업을 허용한 후 공유 노드 풀에 전용 작업자 포드를 프로비저닝하며 작업이 완료되면 리소스를 해제합니다.

K8s Bridge는 Slurm 파티션별로 구성되므로 동일한 클러스터 내에서 전용 Slurm 전용 파티션과 공유 파티션을 결합할 수도 있습니다.

동적 워크로드 혼합 외에도 K8s Bridge는 다음과 같은 GKE 이점을 통해 Slurm 연산자 부가기능을 확장합니다.

  • 통합 할당량, 우선순위, 양방향 선점: Kueue에서 다중 테넌트 할당량, 공정 공유, 우선순위를 중앙에서 관리합니다. 우선순위가 높은 Kubernetes 워크로드 (예: 확장 추론 서비스)는 자동 재대기열을 사용하여 우선순위가 낮은 Slurm 작업을 선점할 수 있습니다. 반대로 우선순위가 높은 Slurm 작업은 우선순위가 낮은 Kubernetes 워크로드를 선점할 수도 있습니다.
  • 큐 기반 및 전부 또는 전무 자동 확장: 전부 또는 전무 프로비저닝을 위한 flex-start 지원을 포함하여 GKE 클러스터 자동 확장 처리로 큐 기반, 토폴로지 및 워크로드 인식 자동 확장을 사용 설정합니다. 작업이 대기열에 추가되면 노드를 자동으로 프로비저닝하고 유휴 상태일 때 0으로 축소할 수 있습니다.
  • 리소스 대체 가능성 및 가용성: ComputeClasses 및 Kueue ResourceFlavor 객체와 MultiKueue를 사용한 멀티 리전 및 다중 클러스터 가용성을 사용하여 머신 유형 및 소비 옵션 (예약, 스팟 VM, flex-start) 전반에서 컴퓨팅 용량의 유연성, 효율성, 가용성을 개선합니다.
  • 작업별 포드 및 사이드카 맞춤설정: Slurm 파티션별로 작업자 포드 템플릿을 맞춤설정하여 컨테이너 이미지, 공유 메모리, 스토리지 마운트 (예: Filestore, Managed Lustre, Cloud Storage FUSE), 작업별 격리된 사이드카 컨테이너를 구성합니다.
  • 통합 GKE 모니터링 가능성: Slurm 작업을 Slurm에 표시된 상태로 유지하면서 콘솔, Cloud Logging, Cloud Monitoring에서 Google Cloud Slurm 및 Kubernetes 워크로드와 클러스터 리소스 모두에 대한 가시성을 중앙 집중화합니다.

다음 단계

GKE용 Slurm 연산자 부가기능을 시작하려면 다음 단계를 따르세요.