Serverless para Apache Spark ofrece dos niveles, uno estándar y otro premium (de alto rendimiento), para que los clientes puedan alinear los requisitos de rendimiento y el acceso a las funciones con el costo óptimo.
Beneficios del nivel Premium
El nivel Premium se diferencia del nivel Estándar por sus capacidades y funciones adicionales. El nivel Premium proporciona aceleración avanzada de consultas y aceleración de procesamiento, disco y memoria, que a menudo requieren las cargas de trabajo complejas o sensibles a la latencia.
Funciones y capacidades del nivel Premium
En la siguiente tabla, se destacan las funciones y capacidades exclusivas del nivel premium de Serverless for Apache Spark.
| Función | Estándar | Premium |
|---|---|---|
| Lightning Engine (aceleración de consultas) |  |
(predeterminado: habilitado, excepto para las sesiones interactivas) |
| Cargas de trabajo interactivas (sesiones) | |
(predeterminado: habilitado) |
| Trabajos con uso intensivo de la función de aleatorización (disco Premium) | |
(predeterminado: inhabilitado) |
| Trabajos con uso intensivo de memoria (memoria extendida) | |
(predeterminado: inhabilitado) |
| Compatibilidad con GPU | |
(predeterminado: inhabilitado) |
| Cargas de trabajo por lotes | ||
| Ajuste de escala automático | ||
| IU de Spark sin servidores | ||
| Linaje, Seguridad y cumplimiento (VPC-SC, CMEK) |
Cargas de trabajo y sesiones por lotes del nivel Premium
Las siguientes cargas de trabajo y sesiones requieren el nivel premium:
- Lightning Engine: Disponible exclusivamente en el nivel premium, Lightning Engine es una función fundamental que acelera el rendimiento de Spark a través de la ejecución optimizada de consultas. Se habilita de forma predeterminada cuando seleccionas el nivel premium para las cargas de trabajo por lotes configurando la propiedad
dataproc.tierenpremium. - Sesiones interactivas: Las sesiones interactivas se consideran automáticamente como una función premium de alto valor. Se inician a través de la API de sesiones de Dataproc y se cobran a la tarifa premium de DCU, lo que proporciona capacidades como interactividad de baja latencia y administración de estados. Para las sesiones interactivas, habilita Lightning Engine configurando la propiedad
spark.dataproc.engineenlightningEngine. - Compatibilidad con GPU: La compatibilidad con GPU solo está disponible en el nivel Premium. Está inhabilitado de forma predeterminada. Puedes habilitarlo a través de marcas de configuración. La compatibilidad con GPU usa infraestructura especializada y está cubierta por la tarifa premium de DCU sin costo de procesamiento adicional.
Modelo de precios predecible del nivel Premium
El nivel Premium usa un modelo de precios todo incluido y simplificado para sus capacidades principales. La tarifa premium de DCU cubre el acceso a funciones valiosas, como Lightning Engine, memoria extendida y la infraestructura especializada necesaria para los trabajos que requieren una gran cantidad de aleatorización. Cuando habilitas estas funciones a través de marcas de configuración, se incluyen en la tarifa base premium de la DCU y no generan costos de procesamiento adicionales. Esto significa que pagas una tarifa Premium única y predecible para acceder al conjunto completo de capacidades avanzadas del nivel Premium.