Managed Service para Apache Spark ofrece dos niveles: un nivel estándar y un nivel premium (alto rendimiento). Estos niveles te permiten alinear los requisitos de rendimiento y el acceso a las funciones con el costo óptimo.
Beneficios del nivel Premium
El nivel Premium se diferencia del nivel Estándar por sus capacidades y funciones adicionales. El nivel Premium proporciona aceleración de consultas avanzada y procesamiento, disco y memoria acelerados, que suelen requerir las cargas de trabajo complejas o sensibles a la latencia.
Características y funciones del nivel Premium
En la siguiente tabla, se destacan las funciones y capacidades exclusivas del nivel Premium de Managed Service para Apache Spark.
| Función | Estándar | Premium |
|---|---|---|
| Lightning Engine (aceleración de consultas) |  |
(Valor predeterminado: Habilitado, excepto para las sesiones interactivas) |
| Cargas de trabajo interactivas (sesiones) | |
(Predeterminado: Habilitado) |
| Trabajos con uso intensivo de Shuffle (disco premium) | |
(predeterminado: inhabilitado) |
| Trabajos con uso intensivo de memoria (memoria extendida) | |
(predeterminado: inhabilitado) |
| Compatibilidad con GPU | |
(predeterminado: inhabilitado) |
| Cargas de trabajo por lotes | ||
| Escalado automático | ||
| IU de Spark sin servidores | ||
| Linaje, seguridad y cumplimiento (VPC-SC, CMEK) |
Cargas de trabajo por lotes y sesiones del nivel Premium
Las siguientes cargas de trabajo y sesiones requieren el nivel Premium:
- Lightning Engine: Disponible exclusivamente en el nivel Premium, Lightning Engine es una función fundamental que acelera el rendimiento de Spark a través de la ejecución optimizada de consultas. Se habilita de forma predeterminada cuando seleccionas el nivel Premium para las cargas de trabajo por lotes configurando la propiedad
dataproc.tiercomopremium. - Sesiones interactivas: Las sesiones interactivas se tratan automáticamente como una función premium de alto valor. Se inician a través de la API de sesiones de Managed Service para Apache Spark y se cobran con la tarifa de DCU premium, lo que proporciona capacidades como la interactividad de baja latencia y la administración de estado. Para las sesiones interactivas, habilita Lightning Engine configurando la propiedad
spark.dataproc.enginecomolightningEngine. - Compatibilidad con GPU: La compatibilidad con GPU solo está disponible en el nivel Premium. Está inhabilitado de forma predeterminada. Puedes habilitarlo a través de marcas de configuración. La compatibilidad con GPU usa una infraestructura especializada y está cubierta por la tarifa de DCU premium sin costo de procesamiento adicional.
Modelo de precios predecible del nivel Premium
El nivel Premium usa un modelo de precios simplificado y con todo incluido para sus funciones principales. La tarifa de DCU premium cubre el acceso a funciones de alto valor, como Lightning Engine, la memoria extendida y la infraestructura especializada necesaria para los trabajos que requieren un uso intensivo de la redistribución. Cuando habilitas estas funciones a través de marcas de configuración, se incluyen en la tarifa base de DCU premium y no generan costos de procesamiento adicionales. Esto significa que pagas una tarifa premium única y predecible para acceder al conjunto completo de funciones avanzadas del nivel premium.