O Serverless para Apache Spark oferece dois níveis, um nível padrão e um nível premium (alto desempenho), para permitir que os clientes alinhem os requisitos de desempenho e o acesso a funcionalidades com o custo ideal.
Vantagens do nível Premium
O nível premium diferencia-se do nível padrão pelas capacidades e funcionalidades adicionais. O nível premium oferece aceleração de consultas avançada e computação, disco e memória acelerados, frequentemente necessários para cargas de trabalho complexas ou sensíveis à latência.
Funcionalidades e capacidades do nível premium
A tabela seguinte realça as funcionalidades e as capacidades exclusivas do nível premium do Serverless for Apache Spark.
| Funcionalidade | Standard | Premium |
|---|---|---|
| Lightning Engine (aceleração de consultas) |  |
(Predefinição: ativada, exceto para sessões interativas) |
| Cargas de trabalho interativas (sessões) | |
(predefinição: ativado) |
| Tarefas com grande volume de dados aleatórios (disco premium) | |
(predefinição: desativado) |
| Tarefas com utilização intensiva de memória (memória expandida) | |
(predefinição: desativado) |
| Apoio técnico de GPU | |
(predefinição: desativado) |
| Cargas de trabalho em lote | ||
| Ajuste de escala automático | ||
| IU do Spark sem servidor | ||
| Origem, segurança e conformidade (VPC-SC, CMEK) |
Sessões e cargas de trabalho em lote do nível Premium
As seguintes cargas de trabalho e sessões requerem o nível premium:
- Lightning Engine: disponível exclusivamente no nível premium, o Lightning Engine é uma funcionalidade crítica que acelera o desempenho do Spark através da execução de consultas otimizada. Está ativada por predefinição quando seleciona o nível premium para cargas de trabalho em lote definindo a propriedade
dataproc.tiercomopremium. - Sessões interativas: as sessões interativas são tratadas automaticamente como uma funcionalidade premium de elevado valor. São iniciadas através da API Dataproc Sessions e são cobradas à taxa de DCU premium, oferecendo capacidades como a interatividade de baixa latência e a gestão de estado. Para sessões interativas, ativa o Lightning Engine definindo a propriedade
spark.dataproc.enginecomolightningEngine. - Suporte de GPU: o suporte de GPU só está disponível no nível premium. Está desativada por predefinição. Ativa-o através de flags de configuração. O suporte de GPU usa infraestrutura especializada e é coberto pela taxa de DCU premium sem custo de computação adicional.
Modelo de preços previsível do nível premium
O nível premium usa um modelo de preços simplificado e tudo incluído para as respetivas capacidades principais. A taxa de DCU premium abrange o acesso a funcionalidades de elevado valor, como o Lightning Engine, a memória expandida e a infraestrutura especializada necessária para tarefas com grande volume de dados. Quando ativa estas funcionalidades através de flags de configuração, são incluídas na taxa de DCU premium base e não incorrem em custos de computação adicionais. Isto significa que paga uma taxa premium única e previsível para aceder ao conjunto completo de capacidades avançadas do nível premium.