Serverless per Apache Spark offre due livelli, uno standard e uno premium (ad alte prestazioni), per consentire ai clienti di allineare i requisiti di prestazioni e l'accesso alle funzionalità con un costo ottimale.
Vantaggi del livello Premium
Il livello Premium si differenzia dal livello Standard per le funzionalità aggiuntive. Il livello Premium offre accelerazione avanzata delle query e calcolo, disco e memoria accelerati, spesso richiesti da workload complessi o sensibili alla latenza.
Funzionalità del livello Premium
La tabella seguente evidenzia le funzionalità del livello Premium esclusive di Serverless per Apache Spark.
| Funzionalità | Standard | Premium |
|---|---|---|
| Lightning Engine (accelerazione delle query) |  |
(Impostazione predefinita: attiva, tranne che per le sessioni interattive) |
| Workload interattivi (sessioni) | |
(Impostazione predefinita: attiva) |
| Job ad alta intensità di shuffle (disco Premium) | |
(Impostazione predefinita: disattivata) |
| Job ad alta intensità di memoria (memoria estesa) | |
(Impostazione predefinita: disattivata) |
| Supporto GPU | |
(Impostazione predefinita: disattivata) |
| Workload batch | ||
| Scalabilità automatica | ||
| UI Spark serverless | ||
| Lignaggio, sicurezza e conformità (Controlli di servizio VPC, CMEK) |
Workload batch e sessioni di livello Premium
I seguenti workload e sessioni richiedono il livello Premium:
- Lightning Engine: disponibile esclusivamente nel livello Premium, Lightning Engine è una funzionalità fondamentale che accelera le prestazioni di Spark tramite l'esecuzione ottimizzata delle query. È attivata per impostazione predefinita quando selezioni il livello Premium per i workload batch impostando la proprietà
dataproc.tiersupremium. - Sessioni interattive: le sessioni interattive vengono trattate automaticamente come una funzionalità Premium di alto valore. Vengono avviate tramite l'API delle sessioni Dataproc e vengono addebitate alla tariffa DCU Premium, fornendo funzionalità come interattività a bassa latenza e gestione dello stato. Per le sessioni interattive, puoi attivare Lightning Engine impostando la proprietà
spark.dataproc.enginesulightningEngine. - Supporto GPU: il supporto GPU è disponibile solo nel livello Premium. È disattivato per impostazione predefinita. Puoi attivarlo tramite i flag di configurazione. Il supporto GPU utilizza un'infrastruttura specializzata ed è coperto dalla tariffa DCU Premium senza costi di calcolo aggiuntivi.
Modello di prezzi del livello Premium prevedibile
Il livello Premium utilizza un modello di prezzi all-inclusive semplificato per le sue funzionalità principali. La tariffa DCU Premium copre l'accesso a funzionalità di alto valore come Lightning Engine, memoria estesa e l'infrastruttura specializzata necessaria per i job ad alta intensità di shuffle. Quando attivi queste funzionalità tramite i flag di configurazione, sono incluse nella tariffa DCU Premium di base e non comportano costi di calcolo aggiuntivi. Ciò significa che paghi una singola tariffa Premium prevedibile per l'accesso alla suite completa di funzionalità avanzate del livello Premium.