O sem servidor para Apache Spark oferece dois níveis: standard e premium (alta performance). Assim, os clientes podem alinhar os requisitos de performance e o acesso a recursos com o custo ideal.
Benefícios do nível Premium
O nível Premium se diferencia do Standard pelas funcionalidades e recursos adicionais. O nível Premium oferece aceleração avançada de consultas e computação, disco e memória acelerados, geralmente necessários para cargas de trabalho complexas ou sensíveis à latência.
Recursos e funcionalidades do nível Premium
A tabela a seguir destaca os recursos e as funcionalidades exclusivos do nível premium do Serverless para Apache Spark.
| Recurso | Padrão | Premium |
|---|---|---|
| Lightning Engine (aceleração de consultas) |  |
(padrão: ativado, exceto para sessões interativas) |
| Cargas de trabalho interativas (sessões) | |
(padrão: ativado) |
| Trabalhos com uso intenso de embaralhamento (disco premium) | |
(padrão: desativado) |
| Jobs com uso intensivo de memória (memória estendida) | |
(padrão: desativado) |
| Suporte a GPU | |
(padrão: desativado) |
| Cargas de trabalho em lote | ||
| Escalonamento automático | ||
| Interface do Spark sem servidor | ||
| Linha de execução, segurança e compliance (VPC-SC, CMEK) |
Cargas de trabalho em lote e sessões do nível Premium
As seguintes cargas de trabalho e sessões exigem o nível premium:
- Lightning Engine:disponível exclusivamente no nível premium, o Lightning Engine é um recurso essencial que acelera a performance do Spark com a execução otimizada de consultas. Ela é ativada por padrão quando você seleciona o nível premium para cargas de trabalho em lote definindo a propriedade
dataproc.tiercomopremium. - Sessões interativas:são tratadas automaticamente como um recurso premium de alto valor. Elas são iniciadas pela API de sessões do Dataproc e cobradas pela taxa premium de DCU, oferecendo recursos como interatividade de baixa latência e gerenciamento de estado. Para sessões interativas, ative o Lightning Engine definindo a propriedade
spark.dataproc.enginecomolightningEngine. - Suporte a GPU:disponível apenas no nível Premium. Ela fica desativada por padrão. Ele é ativado por flags de configuração. O suporte a GPU usa infraestrutura especializada e é coberto pela taxa premium de DCU sem custo adicional de computação.
Modelo de preços previsível do nível Premium
O nível Premium usa um modelo de preços simplificado e completo para os recursos principais. A taxa premium de DCU inclui acesso a recursos de alto valor, como o Lightning Engine, a memória estendida e a infraestrutura especializada necessária para trabalhos que exigem muitas operações de embaralhamento. Quando você ativa esses recursos usando flags de configuração, eles são incluídos na taxa básica de DCU premium e não geram custos extras de computação. Isso significa que você paga uma única taxa premium previsível para ter acesso ao pacote completo de recursos avançados do nível premium.