O Serviço Gerenciado para Apache Spark oferece dois níveis, um padrão e um premium (de alta performance), para que os clientes possam alinhar os requisitos de performance e o acesso ao recurso com o custo ideal.
Benefícios do nível Premium
O nível Premium se diferencia do padrão pelas funcionalidades e recursos adicionais. Ele oferece aceleração avançada de consultas e computação, disco e memória acelerados, geralmente necessários para cargas de trabalho complexas ou sensíveis à latência.
Recursos e funcionalidades do nível Premium
A tabela a seguir destaca os recursos e funcionalidades exclusivos do nível Premium do Serviço Gerenciado para Apache Spark.
| Recurso | Padrão | Premium |
|---|---|---|
| Lightning Engine (aceleração de consultas) |  |
(Padrão: ativado, exceto para sessões interativas) |
| Cargas de trabalho interativas (sessões) | |
(Padrão: ativado) |
| Jobs com uso intenso de embaralhamento (disco premium) | |
(Padrão: desativado) |
| Jobs com uso intenso de memória (memória estendida) | |
(Padrão: desativado) |
| Suporte a GPU | |
(Padrão: desativado) |
| Cargas de trabalho em lote | ||
| Escalonamento automático | ||
| Interface do Spark sem servidor | ||
| Linha de execução, segurança e conformidade (VPC-SC, CMEK) |
Sessões e cargas de trabalho em lote do nível Premium
As cargas de trabalho e sessões a seguir exigem o nível Premium:
- Lightning Engine:disponível exclusivamente no nível Premium, o Lightning Engine é um recurso essencial que acelera a performance do Spark por meio da execução otimizada de consultas. Ele é ativado por padrão quando você seleciona o nível Premium para cargas de trabalho em lote definindo a propriedade
dataproc.tiercomopremium. - Sessões interativas:as sessões interativas são tratadas automaticamente como um recurso premium de alto valor. Elas são iniciadas pela API de sessões do Serviço Gerenciado para Apache Spark e são cobradas pela taxa de DCU premium, oferecendo recursos como interatividade de baixa latência e gerenciamento de estado. Para sessões interativas, ative o Lightning Engine definindo a propriedade
spark.dataproc.enginecomolightningEngine. - Suporte a GPU:o suporte a GPU está disponível apenas no nível Premium. Ele fica desativado por padrão. Você pode ativá-lo usando flags de configuração. O suporte a GPU usa infraestrutura especializada e é coberto pela taxa de DCU premium, sem custo de computação adicional.
Modelo de preços previsível do nível Premium
O nível Premium usa um modelo de preços simplificado e inclusivo para os principais recursos. A taxa de DCU premium abrange o acesso a recursos de alto valor, como o Lightning Engine, a memória estendida e a infraestrutura especializada necessária para jobs com uso intenso de embaralhamento. Quando você ativa esses recursos usando flags de configuração, eles são incluídos na taxa de DCU premium básica e não geram custos de computação adicionais. Isso significa que você paga uma taxa premium única e previsível para acessar o pacote completo de recursos avançados do nível Premium.