O Serviço Gerenciado para Apache Spark oferece dois níveis: padrão e premium (alto desempenho). Com esses níveis, é possível alinhar os requisitos de desempenho e o acesso aos recursos com o custo ideal.
Benefícios do nível Premium
O nível Premium se diferencia do Standard pelos recursos adicionais. O nível Premium oferece aceleração de consulta avançada e computação, disco e memória acelerados, geralmente exigidos por cargas de trabalho complexas ou sensíveis à latência.
Recursos e funcionalidades do nível Premium
A tabela a seguir destaca os recursos e as funcionalidades exclusivas do nível Premium do Serviço Gerenciado para Apache Spark.
| Recurso | Padrão | Premium |
|---|---|---|
| Lightning Engine (aceleração de consultas) |  |
(padrão: ativado, exceto para sessões interativas) |
| Cargas de trabalho interativas (sessões) | |
(padrão: ativado) |
| Jobs com uso intensivo de embaralhamento (disco premium) | |
(padrão: desativado) |
| Jobs com uso intensivo de memória (memória estendida) | |
(padrão: desativado) |
| Suporte a GPU | |
(padrão: desativado) |
| Cargas de trabalho em lote | ||
| Escalonamento automático | ||
| Interface do Spark sem servidor | ||
| Linhagem, segurança e conformidade (VPC-SC, CMEK) |
Cargas de trabalho e sessões em lote do nível Premium
As seguintes cargas de trabalho e sessões exigem o nível Premium:
- Lightning Engine:disponível exclusivamente no nível Premium, o Lightning Engine é um recurso essencial que acelera o desempenho do Spark com a execução otimizada de consultas. Ele é ativado por padrão quando você seleciona o nível Premium para cargas de trabalho em lote definindo a propriedade
dataproc.tiercomopremium. - Sessões interativas:são tratadas automaticamente como um recurso premium de alto valor. Elas são iniciadas pela API de sessões do Serviço Gerenciado para Apache Spark e são cobradas pela taxa premium de DCU, oferecendo recursos como interatividade de baixa latência e gerenciamento de estado. Para sessões interativas, ative o Lightning Engine definindo a propriedade
spark.dataproc.enginecomolightningEngine. - Suporte à GPU:disponível apenas no nível Premium. Ela fica desativada por padrão. Para ativar, use as flags de configuração. O suporte à GPU usa uma infraestrutura especializada e é coberto pela taxa premium de DCU sem custo de computação adicional.
Modelo de preços previsível do nível Premium
O nível Premium usa um modelo de preços simplificado e completo para os recursos principais. A taxa premium de DCU cobre o acesso a recursos de alto valor, como o Lightning Engine, a memória estendida e a infraestrutura especializada necessária para jobs com uso intensivo de embaralhamento. Quando você ativa esses recursos usando flags de configuração, eles são incluídos na taxa básica de DCU premium e não geram custos extras de computação. Isso significa que você paga uma taxa premium única e previsível para acessar o pacote completo de recursos avançados do nível Premium.