O Serverless para Apache Spark oferece dois níveis, um padrão e um premium (alto desempenho), para que os clientes possam alinhar os requisitos de desempenho e o acesso a recursos com o custo ideal.
Benefícios do nível Premium
O nível Premium se diferencia do padrão por seus recursos e funcionalidades adicionais. Ele oferece aceleração avançada de consultas e computação, disco e memória acelerados geralmente necessários para cargas de trabalho complexas ou sensíveis à latência.
Recursos e funcionalidades do nível Premium
A tabela a seguir destaca os recursos e funcionalidades exclusivos do nível Premium do Serverless para Apache Spark.
| Recurso | Padrão | Premium |
|---|---|---|
| Lightning Engine (aceleração de consultas) |  |
(padrão: ativado, exceto para sessões interativas) |
| Cargas de trabalho interativas (sessões) | |
(padrão: ativado) |
| Jobs com uso intenso de embaralhamento (disco premium) | |
(padrão: desativado) |
| Jobs com uso intenso de memória (memória estendida) | |
(padrão: desativado) |
| Suporte a GPU | |
(padrão: desativado) |
| Cargas de trabalho em lote | ||
| Escalonamento automático | ||
| Interface do Spark sem servidor | ||
| Linha de execução, segurança e conformidade (VPC-SC, CMEK) |
Sessões e cargas de trabalho em lote do nível Premium
As cargas de trabalho e sessões a seguir exigem o nível Premium:
- Lightning Engine: disponível exclusivamente no nível Premium, o Lightning Engine é um recurso essencial que acelera o desempenho do Spark por meio da execução otimizada de consultas. Ele é ativado por padrão quando você seleciona o nível Premium para cargas de trabalho em lote definindo a propriedade
dataproc.tiercomopremium. - Sessões interativas: as sessões interativas são tratadas automaticamente como um recurso premium de alto valor. Elas são iniciadas pela API de sessões do Dataproc e cobradas pela taxa de DCU premium, oferecendo recursos como interatividade de baixa latência e gerenciamento de estado. Para sessões interativas, ative o Lightning Engine definindo a propriedade
spark.dataproc.enginecomolightningEngine. - Suporte a GPU: o suporte a GPU está disponível apenas no nível Premium. Ele fica desativado por padrão. Você pode ativá-lo usando flags de configuração. O suporte a GPU usa infraestrutura especializada e é coberto pela taxa de DCU premium, sem custo adicional de computação.
Modelo de preços previsível do nível Premium
O nível Premium usa um modelo de preços simplificado e inclusivo para seus recursos principais. A taxa de DCU premium abrange o acesso a recursos de alto valor, como o Lightning Engine, a memória estendida e a infraestrutura especializada necessária para jobs com uso intenso de embaralhamento. Quando você ativa esses recursos usando flags de configuração, eles são incluídos na taxa de DCU premium básica e não geram custo adicional de computação. Isso significa que você paga uma taxa premium única e previsível para acessar o conjunto completo de recursos avançados do nível Premium.