Spark sin servidor para Apache ofrece dos niveles: estándar y premium (alto rendimiento), para que los clientes puedan alinear los requisitos de rendimiento y el acceso a las funciones con un coste óptimo.
Ventajas del nivel Premium
El nivel premium se diferencia del estándar por sus funciones y capacidades adicionales. El nivel premium ofrece aceleración de consultas avanzada y computación, disco y memoria acelerados, que suelen ser necesarios para cargas de trabajo complejas o sensibles a la latencia.
Funciones y características del nivel Premium
En la siguiente tabla se destacan las funciones y las capacidades exclusivas del nivel premium de Serverless para Apache Spark.
| Función | Estándar | Premium |
|---|---|---|
| Lightning Engine (aceleración de consultas) |  |
(valor predeterminado: habilitado, excepto en las sesiones interactivas) |
| Cargas de trabajo interactivas (sesiones) | |
(predeterminado: habilitado) |
| Trabajos con uso intensivo de aleatorización (disco premium) | |
(predeterminado: inhabilitado) |
| Tareas que requieren mucha memoria (memoria ampliada) | |
(predeterminado: inhabilitado) |
| Compatibilidad con GPU | |
(predeterminado: inhabilitado) |
| Cargas de trabajo por lotes | ||
| Autoescalado | ||
| Interfaz de usuario de Spark sin servidor | ||
| Linaje, seguridad y cumplimiento (VPC-SC y CMEK) |
Cargas de trabajo y sesiones por lotes del nivel Premium
Las siguientes cargas de trabajo y sesiones requieren el nivel Premium:
- Lightning Engine: disponible exclusivamente en el nivel premium, Lightning Engine es una función fundamental que acelera el rendimiento de Spark mediante la ejecución optimizada de consultas. Se habilita de forma predeterminada cuando seleccionas el nivel premium para las cargas de trabajo por lotes asignando el valor
premiuma la propiedaddataproc.tier. - Sesiones interactivas: las sesiones interactivas se consideran automáticamente una función premium de alto valor. Se inician a través de la API de sesiones de Dataproc y se cobran a la tarifa de DCUs premium, lo que proporciona funciones como la interactividad de baja latencia y la gestión de estados. En las sesiones interactivas, puedes habilitar Lightning Engine asignando el valor
lightningEnginea la propiedadspark.dataproc.engine. - Compatibilidad con GPU: la compatibilidad con GPU solo está disponible en el nivel premium. Está inhabilitada de forma predeterminada. Para habilitarlo, usa las marcas de configuración. La asistencia para GPU usa una infraestructura especializada y se incluye en la tarifa premium de DCU sin ningún coste adicional de computación.
Modelo de precios predecible del nivel Premium
El nivel Premium usa un modelo de precios simplificado que incluye todas sus funciones principales. La tarifa premium de DCUs incluye el acceso a funciones de gran valor, como Lightning Engine, Extended Memory y la infraestructura especializada necesaria para los trabajos que requieren muchos datos aleatorios. Si habilitas estas funciones mediante las marcas de configuración, se incluirán en la tarifa premium básica de DCU y no supondrán ningún coste de computación adicional. Esto significa que pagas una tarifa premium única y predecible para acceder a todas las funciones avanzadas del nivel premium.