Apache Spark용 서버리스는 고객이 성능 요구사항과 기능 액세스를 최적의 비용으로 조정할 수 있도록 표준 등급과 프리미엄 (고성능) 등급의 두 가지 등급을 제공합니다.
프리미엄 등급의 이점
프리미엄 등급은 추가된 기능으로 표준 등급 과 차별화됩니다. 프리미엄 등급은 복잡하거나 지연 시간에 민감한 워크로드에 필요한 고급 쿼리 가속화, 가속화된 컴퓨팅, 디스크, 메모리 를 제공합니다.
프리미엄 등급 기능
다음 표에서는 Apache Spark용 서버리스의 독점적인 프리미엄 등급 기능에 대해 설명합니다.
| 기능 | 표준 | 프리미엄 |
|---|---|---|
| Lightning Engine (쿼리 가속화) |  |
(기본값: 사용 설정됨(대화형 세션 제외)) |
| 대화형 워크로드 (세션) | |
(기본값: 사용 설정됨) |
| 셔플 집약적 작업 (프리미엄 디스크) | |
(기본값: 사용 중지됨) |
| 메모리 집약적 작업 (확장 메모리) | |
(기본값: 사용 중지됨) |
| GPU 지원 | |
(기본값: 사용 중지됨) |
| 일괄 워크로드 | ||
| 자동 확장 | ||
| 서버리스 Spark UI | ||
| 계보, 보안, 규정 준수 (VPC-SC, CMEK) |
프리미엄 등급 일괄 워크로드 및 세션
다음 워크로드 및 세션에는 프리미엄 등급이 필요합니다.
- Lightning Engine: 프리미엄 등급에서만 사용할 수 있는 Lightning Engine은 최적화된 쿼리 실행을 통해 Spark 성능을 가속화하는 중요한 기능입니다.
dataproc.tier속성을premium으로 설정하여 일괄 워크로드에 프리미엄 등급을 선택하면 기본적으로 사용 설정됩니다. - 대화형 세션: 대화형 세션은 자동으로 가치가 높은 프리미엄 기능으로 취급됩니다. 대화형 세션은 Dataproc 세션 API를 통해 시작되며 프리미엄 DCU 요금으로 청구되어 짧은 지연 시간의 상호작용 및 상태 관리와 같은 기능을 제공합니다. 대화형 세션의 경우
spark.dataproc.engine속성을lightningEngine으로 설정하여 Lightning Engine을 사용 설정합니다. - GPU 지원: GPU 지원은 프리미엄 등급에서만 사용할 수 있습니다. 기본적으로 사용 중지되어 있습니다. 구성 플래그를 통해 사용 설정합니다. GPU 지원은 특수 인프라를 사용하며 추가 컴퓨팅 비용 없이 프리미엄 DCU 요금이 적용됩니다.
예측 가능한 프리미엄 등급 가격 책정 모델
프리미엄 등급은 핵심 기능에 대해 간소화된 포괄적인 가격 책정 모델을 사용합니다. 프리미엄 DCU 요금은 Lightning Engine, 확장 메모리, 셔플 집약적 작업에 필요한 특수 인프라와 같은 가치가 높은 기능에 대한 액세스를 포함합니다. 구성 플래그를 통해 이러한 기능을 사용 설정하면 기본 프리미엄 DCU 요금에 포함되며 추가 컴퓨팅 비용이 발생하지 않습니다. 즉, 프리미엄 등급 고급 기능의 전체 제품군에 액세스하는 데 예측 가능한 단일 프리미엄 요금을 지불합니다.