이 문서에서는 AI 하이퍼컴퓨터에서 컴퓨팅 리소스를 획득하고 사용하는 다양한 방법(소비 옵션)을 설명합니다. 워크로드, 기간, 비용 요구사항에 가장 적합한 옵션을 선택하세요.
각 소비 옵션은 다음을 지정합니다.
VM 또는 클러스터를 만들기 위해 용량에 액세스하는 방법
VM의 획득 가능성, 수명, 가격을 결정하는 기본 프로비저닝 모델
소비 옵션 비교
다음 표에는 소비 옵션 간 주요 차이점이 요약되어 있습니다.
| 소비 옵션 | AI 하이퍼컴퓨터의 미래용 예약 | 최대 90일까지의 미래형 예약(캘린더 모드) | 유연한 시작 | 스팟 |
|---|---|---|---|---|
| 지원되는 머신 | A4X Max, A4X, A4, A3 Ultra, A3 Mega 또는 A3 High | GPU가 8개인 A4, A3 Ultra, A3 Mega 또는 A3 High | A4X Max 및 A4X를 제외한 모든 GPU 머신 | A4X Max 및 A4X를 제외한 모든 GPU 머신 |
| 수명 | 시간 무관 | 최대 90일 | 최대 7일 | 언제든지 (단, 선점될 수 있음) |
| 선점형 | ||||
| 용량 보장 | 매우 높음. Google Cloud 에서 예약 요청을 승인하면 Compute Engine이 요청된 용량을 프로비저닝할 가능성이 매우 높습니다. | 매우 높음. Google Cloud 에서 예약 요청을 승인하면 Compute Engine이 요청된 용량을 프로비저닝할 가능성이 매우 높습니다. | 최선의 노력을 제공합니다. Compute Engine은 요청된 용량의 프로비저닝을 예약하기 위해 최선을 다합니다. | 최선의 노력을 제공합니다. Compute Engine은 요청된 용량을 프로비저닝하기 위해 최선을 다합니다. |
| 할당량 | 용량이 제공되기 전에 할당량이 자동으로 증가합니다. | 할당량이 청구되지 않습니다. | 선점형 할당량이 청구됩니다. | 선점형 할당량이 청구됩니다. |
| 가격 책정 |
|
|
|
|
| 리소스 할당 | 밀집 | 밀집 |
|
표준(압축 정책 선택사항) |
| 프로비저닝 모델 | 예약에 따름 | 예약에 따름 | 유연한 시작 | 스팟 |
| 생성 방법 | VM을 만들려면 다음을 수행해야 합니다.
|
VM을 만들려면 다음을 수행해야 합니다.
|
VM을 만들려면 다음 방법 중 하나를 사용하세요.
요청된 용량을 사용할 수 있게 되면 Compute Engine에서 프로비저닝합니다. |
배포 옵션 개요에 설명된 방법 중 하나를 사용하여 즉시 VM을 만들 수 있습니다. |
소비 옵션 선택
다음 순서도를 사용하여 워크로드에 가장 적합한 소비 옵션을 선택하세요.
위 다이어그램의 질문은 다음과 같습니다.
90일 이상 용량이 필요하신가요?
예: AI 하이퍼컴퓨터에서 미래용 예약 사용을 참조하세요.
아니요: 질문 2로 이동합니다.
예약된 용량을 사용하시겠어요?
예: 캘린더 모드에서 미래용 예약 사용을 참고하세요.
아니요: 질문 3으로 이동합니다.
워크로드가 내결함성인가요?
아니요: flex-start 사용을 참고하세요.
예: 스팟 사용을 참고하세요.
AI 하이퍼컴퓨터에서 미래용 예약 사용
집중적으로 할당된 리소스가 필요한 장기 실행 대규모 분산 워크로드를 실행하려면 미래의 특정 시간에 컴퓨팅 리소스를 요청하면 됩니다. 해당 기간 동안 예약된 리소스에 독점적으로 액세스할 수 있으며 리소스를 사용하여 VM 또는 클러스터를 만들 수 있습니다. 예약 기간이 끝나면 Compute Engine에서 다음을 수행합니다.
- Compute Engine에서 예약을 삭제합니다.
- VM에 지정된 종료 작업을 기반으로 Compute Engine은 예약을 사용하는 모든 VM을 중지하거나 삭제합니다.
AI 하이퍼컴퓨터의 미래용 예약에 적합한 워크로드
미래용 예약은 다음과 같은 워크로드에 적합합니다.
파운데이션 모델 사전 학습
멀티 호스트 파운데이션 모델 추론
AI 하이퍼컴퓨터의 미래용 예약의 주요 특징
미래용 예약의 특징은 다음과 같습니다.
-
A4X Max, A4X, A4, A3 Ultra, A3 Mega 또는 A3 High (GPU 8개) 머신 유형을 예약할 수 있습니다. 네트워크 지연 시간을 최소화하기 위해 머신이 밀집적으로 할당됩니다.
-
원하는 만큼의 VM을 원하는 기간 동안 미래 날짜에 예약할 수 있습니다. 그런 다음 예약된 리소스를 사용하여 예약 기간이 끝날 때까지 VM을 만들고 실행할 수 있습니다. 1년 이상 리소스를 예약하는 경우 리소스 기반 약정을 구매하여 연결해야 합니다.
-
예약 기간이 시작된 후에는 다음과 같이 자동 생성된 예약을 수정할 수 있습니다.
-
다음과 같은 이점이 있는 예약에 따름 프로비저닝 모델을 사용합니다.
GPU를 확보할 가능성이 높습니다.
VM에 연결된 약정 외에도 vCPU 및 GPU에 최대 53% 할인이 적용됩니다.
AI 하이퍼컴퓨터에서 미래용 예약을 사용하는 방법
미래용 예약을 사용하여 VM 또는 클러스터를 만들려면 다음 단계를 완료해야 합니다.
-
용량 예약 요청 계정팀에 문의하여 예약할 리소스를 지정합니다. Google은 사용 가능 여부에 따라 예약 요청 초안을 만듭니다. 정보가 올바르면 제출하면 됩니다. Google Cloud 에서 예약 요청을 즉시 승인합니다.
자세한 내용은 용량 예약을 참고하세요.
-
예약된 리소스 사용 선택한 예약 기간이 시작되면 예약을 사용하여 VM 또는 클러스터를 만들 수 있습니다.
VM 또는 클러스터를 만드는 다양한 방법은 VM 및 클러스터 생성 개요를 참고하세요.
캘린더 모드에서 미래용 예약 사용
집중적으로 할당된 리소스가 필요한 단기 분산 워크로드를 실행하려면 최대 90일 동안 컴퓨팅 리소스를 요청하면 됩니다. 이 기간 동안 예약된 리소스에 독점적으로 액세스할 수 있으며 리소스를 사용하여 VM 또는 클러스터를 만들 수 있습니다. 예약 기간이 끝나면 Compute Engine에서 다음을 수행합니다.
- Compute Engine에서 예약을 삭제합니다.
- VM에 지정된 종료 작업을 기반으로 Compute Engine은 예약을 사용하는 모든 VM을 중지하거나 삭제합니다.
캘린더 모드의 미래용 예약에 적합한 워크로드
캘린더 모드의 미래용 예약은 다음 워크로드에 적합합니다.
모델 사전 학습
모델 미세 조정
시뮬레이션
추론
캘린더 모드의 미래용 예약의 주요 특징
캘린더 모드의 미래용 예약에는 다음과 같은 특징이 있습니다.
-
A4, A3 Ultra, A3 Mega 또는 A3 High (GPU 8개) 머신 유형을 예약할 수 있습니다. 이러한 머신은 네트워크 지연 시간을 최소화하기 위해 밀집적으로 할당됩니다.
-
리소스의 미래 가용성을 확인한 후 최대 90일 후까지 최대 80개의 VM을 예약할 수 있습니다. 그런 다음 예약 기간이 끝날 때까지 예약된 리소스를 사용하여 VM을 만들 수 있습니다.
-
예약 기간이 시작된 후에는 다음과 같이 자동 생성된 예약을 수정할 수 있습니다.
-
다음과 같은 이점이 있는 예약에 따름 프로비저닝 모델을 사용합니다.
GPU를 확보할 가능성이 높습니다.
vCPU 및 GPU에 최대 53% 할인이 적용됩니다.
캘린더 모드에서 미래용 예약을 사용하는 방법
캘린더 모드에서 미래용 예약을 사용하여 VM 또는 클러스터를 만들려면 다음 단계를 완료해야 합니다.
-
리소스 가용성 보기 예약하려는 리소스의 향후 가용성을 확인할 수 있습니다. 예약 요청을 만들 때 사용 가능한 것으로 확인된 리소스의 수, 유형, 예약 기간을 지정할 수 있습니다. 이렇게 하면 Google Cloud 에서 요청을 승인할 가능성이 높아집니다.
자세한 내용은 리소스의 향후 가용성 보기를 참고하세요.
-
용량 예약 미래의 날짜와 시간에 대한 예약 요청을 만듭니다. Google Cloud 에서 2분 이내에 예약 요청을 승인합니다. 승인되면 Compute Engine에서 용량을 예약합니다. 선택한 제공 날짜에 예약된 리소스를 사용하여 VM 또는 클러스터를 만들 수 있습니다.
자세한 내용은 GPU VM 또는 TPU 예약 요청 만들기를 참고하세요.
-
예약된 리소스 사용 선택한 예약 기간이 시작되면 예약을 사용하여 VM 또는 클러스터를 만들 수 있습니다.
VM 또는 클러스터를 만드는 다양한 방법은 다음을 참고하세요.
- A4, A3 Ultra, A3 Mega 또는 A3 High (8 GPU) VM을 만들려면 VM 및 클러스터 생성 개요를 참고하세요.
- GPUDirect-TCPX가 사용 설정된 A3 Mega 또는 A3 High (8 GPU) VM을 만들려면 GPUDirect-TCPX가 사용 설정된 A3 VM 만들기를 참고하세요.
flex-start 사용
집중적으로 할당된 리소스가 필요한 단기 워크로드를 실행하려면 Flex-start를 사용하여 최대 7일 동안 컴퓨팅 리소스를 요청하면 됩니다. 리소스를 사용할 수 있을 때마다 Compute Engine은 요청된 수의 VM을 만듭니다. 독립형 Flex-start VM은 중지할 수 있지만 관리 인스턴스 그룹 (MIG)이 크기 조절 요청을 통해 만드는 Flex-start VM은 중지할 수 없습니다. Flex-start VM은 사용자가 삭제할 때까지 또는 Compute Engine이 실행 기간이 종료될 때 VM을 삭제할 때까지 존재합니다.
유연한 시작에 적합한 워크로드
flex-start는 다음과 같이 언제든지 시작할 수 있는 워크로드에 적합합니다.
소규모 모델 사전 학습
모델 미세 조정
시뮬레이션
일괄 추론
Flex-start의 주요 특징
유연한 시작에는 다음과 같은 특징이 있습니다.
-
A4X Max 및 A4X를 제외한 모든 GPU 머신 유형을 요청할 수 있습니다. 리소스 할당은 생성 방법에 따라 다릅니다.
- 독립형 flex-start VM의 경우 머신은 표준 배치 방식을 사용합니다. 이 배치는 가용성을 기반으로 머신을 할당하므로 동일한 영역 내에서 VM이 멀리 떨어져 있을 수 있습니다.
- 다른 모든 생성 방법의 경우 네트워크 지연 시간을 최소화하기 위해 머신이 밀집적으로 할당됩니다.
다음과 같은 이점이 있는 flex-start 프로비저닝 모델을 사용합니다.
GPU를 확보할 가능성이 높습니다.
vCPU, 메모리, GPU에 최대 53% 할인이 적용됩니다.
Flex-start 사용 방법
Flex-start를 사용하여 VM 또는 클러스터를 만들려면 다음 옵션 중 하나를 선택하세요.
- 독립형 VM 만들기
- 크기 조절 요청이 있는 MIG 만들기
- Slurm 클러스터 만들기
- GKE 클러스터를 만듭니다.
스팟 사용
내결함성 워크로드를 실행하려면 가용성에 따라 컴퓨팅 리소스를 즉시 확보하면 됩니다. 최저가로 리소스를 이용할 수 있습니다. 하지만 Compute Engine은 언제든지 VM을 선점하여 용량을 확보할 수 있습니다.
스팟에 적합한 워크로드
스팟은 다음과 같이 중단이 허용되는 워크로드에 적합합니다.
일괄 처리
고성능 컴퓨팅(HPC)
지속적 통합 및 지속적 배포(CI/CD)
데이터 분석
미디어 인코딩
온라인 추론
스팟의 주요 특징
스팟의 특징은 다음과 같습니다.
-
A4X Max 및 A4X를 제외한 모든 GPU 머신 유형을 만들 수 있습니다. 밀도 높은 할당은 리소스 가용성에 따라 달라집니다. 더 가까운 할당을 보장하려면 VM에 압축 배치 정책을 적용하면 됩니다.
-
원하는 만큼 VM을 즉시 만들 수 있습니다. VM은 사용자가 중지하거나 삭제할 때까지 또는 Compute Engine이 용량을 확보하기 위해 VM을 선점할 때까지 실행됩니다.
-
다음과 같은 이점이 있는 스팟 프로비저닝 모델을 사용합니다.
GPU를 확보할 가능성이 높습니다.
다양한 머신 유형, GPU, TPU, 로컬 SSD 디스크에 최대 91% 할인이 적용됩니다.
스팟 사용 방법
스팟을 사용하여 VM 또는 클러스터를 만들려면 다음 단계를 완료해야 합니다.
-
선택사항: 압축 배치 정책을 만듭니다. 압축 배치 정책을 만들어 VM을 서로 얼마나 가깝게 배치할지 지정합니다. 선택한 최소 거리는 정책을 적용할 수 있는 VM의 수와 유형에 영향을 미칩니다.
-
스팟 VM 만들기 가용성에 따라 원하는 만큼 VM을 만들 수 있습니다. VM은 사용자가 중지하거나 삭제할 때까지 또는 Compute Engine이 용량을 확보하기 위해 VM을 선점할 때까지 실행됩니다.
자세한 내용은 VM 및 클러스터 생성 개요를 참고하세요.