Serverless para Apache Spark ofrece dos niveles: un nivel estándar y un nivel premium (de alto rendimiento), para permitir que los clientes alineen los requisitos de rendimiento y el acceso a las funciones con el costo óptimo.
Beneficios del nivel Premium
El nivel Premium se diferencia del nivel Estándar por sus capacidades y funciones agregadas. El nivel Premium proporciona aceleración avanzada de consultas, y procesamiento, disco y memoria acelerados que suelen ser necesarios para cargas de trabajo complejas o sensibles a la latencia.
Funciones y capacidades del nivel Premium
En la siguiente tabla, se destacan las funciones y capacidades exclusivas del nivel Premium de Serverless para Apache Spark.
| Función | Estándar | Premium |
|---|---|---|
| Lightning Engine (aceleración de consultas) |  |
(Configuración predeterminada: Habilitado, excepto para las sesiones interactivas) |
| Cargas de trabajo interactivas (sesiones) | |
(Configuración predeterminada: Habilitado) |
| Trabajos con uso intensivo de ordenamiento aleatorio (disco premium) | |
(Configuración predeterminada: Inhabilitado) |
| Trabajos con uso intensivo de memoria (memoria extendida) | |
(Configuración predeterminada: Inhabilitado) |
| Compatibilidad con GPU | |
(Configuración predeterminada: Inhabilitado) |
| Cargas de trabajo por lotes | ||
| Escalado automático | ||
| IU de Spark sin servidores | ||
| Linaje, seguridad y cumplimiento (VPC-SC, CMEK) |
Cargas de trabajo y sesiones por lotes del nivel Premium
Las siguientes cargas de trabajo y sesiones requieren el nivel Premium:
- Lightning Engine: Disponible exclusivamente en el nivel Premium, Lightning Engine es una función fundamental que acelera el rendimiento de Spark a través de la ejecución optimizada de consultas. Se habilita de forma predeterminada cuando seleccionas el nivel Premium para las cargas de trabajo por lotes configurando la propiedad
dataproc.tierenpremium. - Sesiones interactivas: Las sesiones interactivas se tratan automáticamente como una función premium de alto valor. Se inician a través de la API de sesiones de Dataproc y se facturan según la tarifa de DCU premium, lo que proporciona capacidades como la interactividad de baja latencia y la administración de estados. Para las sesiones interactivas, habilita Lightning Engine configurando la propiedad
spark.dataproc.engineenlightningEngine. - Compatibilidad con GPU: La compatibilidad con GPU solo está disponible en el nivel Premium. Está inhabilitada de forma predeterminada. Puedes habilitarla a través de marcas de configuración. La compatibilidad con GPU usa infraestructura especializada y está cubierta por la tarifa de DCU premium sin costo de procesamiento adicional.
Modelo de precios predecible del nivel Premium
El nivel Premium usa un modelo de precios simplificado y todo incluido para sus capacidades principales. La tarifa de DCU premium cubre el acceso a funciones de alto valor, como Lightning Engine, la memoria extendida y la infraestructura especializada necesaria para los trabajos con uso intensivo de ordenamiento aleatorio. Cuando habilitas estas funciones a través de marcas de configuración, se incluyen en la tarifa base de DCU premium y no generan costos de procesamiento adicionales. Esto significa que pagas una tarifa premium única y predecible para acceder al conjunto completo de capacidades avanzadas del nivel Premium.