Cloud TPU 소비 옵션
이 문서에서는 Cloud TPU에서 지원되는 소비 옵션을 설명합니다. 소비 옵션은 용량을 요청하는 방식입니다. 소비 옵션을 선택할 때는 다음과 같은 요소를 고려하세요.
- 용량이 얼마나 빨리 필요한지
- 용량을 얼마나 오래 사용할 것인지
- 용량이 고정된 기간 동안 또는 유동적으로 필요한지
- 용량이 선점될 수 있는지
- 가격 책정
Cloud TPU API를 사용하는 경우 어떤 소비 방식을 선택하든 사용하려는 Cloud TPU 코어 수에 해당하는 주문형 또는 선점형 할당량이 필요합니다. 기본으로 제공되는 주문형 및 선점형 할당량은 TPU 버전마다 다릅니다. 자세한 내용은 Cloud TPU 할당량을 참조하세요.
TPU를 Google Kubernetes Engine(GKE)과 함께 사용하는 경우에는 다른 할당량인 Compute Engine API 할당량을 사용합니다. GKE에서 TPU에 사용하는 할당량에 대한 자세한 내용은 TPU 할당량 확보를 참조하세요.
| 소비 옵션 | 작동 방식 | 최적의 용도 | 지원되는 TPU 버전 및 영역 | Cloud TPU API 할당량 유형 |
|---|---|---|---|---|
| 1년 이상의 미래용 예약 | 사전에 1년 이상 사용할 TPU 리소스를 요청합니다. 이러한 리소스는 해당 기간 동안 독점적으로 사용되도록 예약됩니다. 이 예약은 용량을 정확하게 보장하고 주문형 리소스보다 가격이 저렴하므로 경제적입니다. TPU의 미래용 예약에는 약정 사용 할인(CUD)이 적용됩니다. CUD는 약정 사용 계약을 구입하는 대가로 할인된 가격을 제공합니다. 자세한 내용은 1년 이상의 미래용 예약 요청을 참조하세요. |
1년 이상의 미래용 예약은 장기 실행 학습 작업과 추론 워크로드에 적합합니다. | 모든 TPU 버전: TPU 리전 및 영역 참조 | 주문형 할당량 |
| 최대 90일까지의 미래형 예약(캘린더 모드) (프리뷰) | 시작 시간과 기간(1~90일)을 지정하여 TPU 리소스를 요청합니다. 이러한 리소스는 해당 기간 동안 독점적으로 사용되도록 예약됩니다. 이 예약은 용량을 정확하게 보장하고 주문형 리소스보다 가격이 저렴하므로 경제적입니다. 자세한 내용은 캘린더 모드에서 최대 90일간의 미래용 예약 요청을 참조하세요. |
캘린더 모드의 미래용 예약은 정확한 시작 시간이 필요하고 기간이 정의된 학습 및 실험 워크로드에 적합합니다. | 학습 및 서빙용 v6e(Trillium): asia-northeast1-b, us-east5-a 학습 및 서빙용 v5p: us-east5-a 학습용 v5e: us-west4-a 서빙용 v5e: us-central1-a |
할당량 필요 없음 |
| 주문형 | TPU 리소스를 가능한 한 빠르게 요청하고 원하는 만큼 사용합니다. 주문형은 유연성이 가장 높습니다. 주문형 리소스는 선점되지 않지만 요청을 만족시킬 수 있을 만큼 충분한 TPU 리소스 가용성을 보장하지 않습니다. 주문형은 TPU 리소스를 만들 때의 기본 옵션입니다. 주문형 TPU를 만들고 사용하는 방법에 대한 자세한 내용은 TPU 리소스 관리를 참조하세요. |
주문형은 유연한 종료 시간이 필요한 긴급 작업과 워크로드에 적합합니다. | 모든 TPU 버전: TPU 리전 및 영역 참조 | 주문형 할당량 |
| Flex-start(프리뷰) | 용량을 미리 예약할 필요 없이 특정 기간 동안(최대 7일)의 TPU 리소스를 요청합니다. TPU Flex-start VM은 전용 용량 풀에서 제공되므로 리소스 가용성이 주문형보다 높습니다. TPU Flex-start VM 사용 방법에 대한 자세한 내용은 TPU Flex-start VM 요청을 참조하세요. Google Kubernetes Engine(GKE)에서 TPU Flex-start VM을 사용하는 방법에 대한 자세한 내용은 Flex-start 프로비저닝 모드에서 GPU 및 TPU 프로비저닝 정보를 참조하세요. |
Flex-start는 실험, 소규모 테스트, 추론 워크로드를 위한 TPU 동적 프로비저닝, 모델 미세 조정, 7일 이내의 워크로드 실행에 적합합니다. |
v6e(Trillium): asia-northeast1-b, us-east5-a v5p: us-east5-a v5e: us-west4-a |
선점형 할당량 |
| 스팟 | 선점될 수 있는 TPU 리소스를 요청합니다. 스팟 VM은 주문형 리소스보다 훨씬 저렴합니다. 스팟 VM은 주문형 리소스보다 쉽게 획득할 수 있지만 언제든지 선점(중단)될 수 있습니다. 런타임 기간에는 제한이 없습니다. TPU 스팟 VM에 대한 자세한 내용은 TPU 스팟 VM 관리를 참조하세요. |
스팟은 가용성 중단에 민감하지 않은 모델 사전 학습, 모델 미세 조정, 시뮬레이션 작업과 같은 우선순위가 낮은 워크로드를 예약하는 데 적합합니다. | 모든 TPU 버전: TPU 리전 및 영역 참조 | 선점형 할당량 |
다음 단계
다음을 사용하여 TPU를 시작하세요.