Serverless para Apache Spark ofrece dos niveles, uno estándar y otro premium (de alto rendimiento), para permitir que los clientes alineen los requisitos de rendimiento y el acceso a las funciones con el costo óptimo.
Beneficios del nivel Premium
El nivel Premium se diferencia del nivel Estándar por sus capacidades y funciones adicionales. El nivel Premium proporciona aceleración avanzada de consultas y aceleración de procesamiento, disco y memoria, que a menudo requieren las cargas de trabajo complejas o sensibles a la latencia.
Funciones y capacidades del nivel Premium
En la siguiente tabla, se destacan las funciones y capacidades exclusivas del nivel premium de Serverless for Apache Spark.
| Función | Estándar | Premium |
|---|---|---|
| Lightning Engine (aceleración de consultas) |  |
(predeterminado: habilitado, excepto para las sesiones interactivas) |
| Cargas de trabajo interactivas (sesiones) | |
(predeterminado: habilitado) |
| Trabajos con uso intensivo de la función de aleatorización (disco Premium) | |
(predeterminado: inhabilitado) |
| Trabajos con uso intensivo de memoria (memoria extendida) | |
(predeterminado: inhabilitado) |
| Compatibilidad con GPU | |
(predeterminado: inhabilitado) |
| Cargas de trabajo por lotes | ||
| Ajuste de escala automático | ||
| IU de Spark sin servidores | ||
| Linaje, Seguridad y cumplimiento (VPC-SC, CMEK) |
Cargas de trabajo y sesiones por lotes del nivel Premium
Las siguientes cargas de trabajo y sesiones requieren el nivel premium:
- Lightning Engine: Disponible exclusivamente en el nivel premium, Lightning Engine es una función fundamental que acelera el rendimiento de Spark a través de la ejecución optimizada de consultas. Se habilita de forma predeterminada cuando seleccionas el nivel premium para las cargas de trabajo por lotes configurando la propiedad
dataproc.tierenpremium. - Sesiones interactivas: Las sesiones interactivas se consideran automáticamente como una función premium de alto valor. Se inician a través de la API de sesiones de Dataproc y se cobran a la tarifa premium de DCU, lo que proporciona capacidades como interactividad de baja latencia y administración de estados. Para las sesiones interactivas, habilita Lightning Engine configurando la propiedad
spark.dataproc.engineenlightningEngine. - Compatibilidad con GPU: La compatibilidad con GPU solo está disponible en el nivel Premium. Está inhabilitado de forma predeterminada. Puedes habilitarlo a través de marcas de configuración. La compatibilidad con GPU usa infraestructura especializada y está cubierta por la tarifa premium de DCU sin costo de procesamiento adicional.
Modelo de precios predecible para el nivel Premium
El nivel Premium usa un modelo de precios todo incluido y simplificado para sus capacidades principales. La tarifa premium de DCU cubre el acceso a funciones valiosas, como Lightning Engine, memoria extendida y la infraestructura especializada necesaria para los trabajos que requieren una gran cantidad de aleatorización. Cuando habilitas estas funciones a través de marcas de configuración, se incluyen en la tarifa base premium de la DCU y no generan costos de procesamiento adicionales. Esto significa que pagas una tarifa premium única y predecible para acceder al paquete completo de funciones avanzadas del nivel premium.