Serverless per Apache Spark offre due livelli, uno standard e uno premium (ad alte prestazioni), per consentire ai clienti di allineare i requisiti di prestazioni e l'accesso alle funzionalità al costo ottimale.
Vantaggi del livello Premium
Il livello premium si differenzia da quello standard per le funzionalità aggiuntive. Il livello Premium offre l'accelerazione avanzata delle query e il calcolo, il disco e la memoria accelerati spesso richiesti da workload complessi o sensibili alla latenza.
Caratteristiche e funzionalità del livello Premium
La tabella seguente evidenzia le funzionalità e le capacità esclusive del livello premium di Serverless per Apache Spark.
| Funzionalità | Standard | Premium |
|---|---|---|
| Lightning Engine (accelerazione delle query) |  |
(impostazione predefinita: abilitata, tranne per le sessioni interattive) |
| Workload interattivi (sessioni) | |
(valore predefinito: attivo) |
| Job con rimescolamento intensivo (disco premium) | |
(valore predefinito: disattivato) |
| Job con utilizzo intensivo di memoria (memoria estesa) | |
(valore predefinito: disattivato) |
| Supporto GPU | |
(valore predefinito: disattivato) |
| Batch workloads | ||
| Scalabilità automatica | ||
| UI Spark serverless | ||
| Lignaggio, Sicurezza e conformità (VPC-SC, CMEK) |
Sessioni e workload batch del livello Premium
I seguenti workload e sessioni richiedono il livello premium:
- Lightning Engine:disponibile esclusivamente nel livello Premium, Lightning Engine è una funzionalità fondamentale che accelera le prestazioni di Spark tramite l'esecuzione ottimizzata delle query. È abilitato per impostazione predefinita quando selezioni il livello premium per i carichi di lavoro batch impostando la proprietà
dataproc.tiersupremium. - Sessioni interattive:le sessioni interattive vengono trattate automaticamente come una funzionalità premium di alto valore. Vengono avviate tramite l'API Dataproc Sessions e vengono addebitate alla tariffa DCU premium, fornendo funzionalità come interattività a bassa latenza e gestione dello stato. Per le sessioni interattive, attiva Lightning Engine impostando la proprietà
spark.dataproc.enginesulightningEngine. - Supporto GPU:il supporto GPU è disponibile solo nel livello Premium. È disattivata per impostazione predefinita. Puoi abilitarlo tramite i flag di configurazione. Il supporto GPU utilizza un'infrastruttura specializzata ed è coperto dalla tariffa DCU premium senza costi di calcolo aggiuntivi.
Modello di prezzi del livello Premium prevedibile
Il livello premium utilizza un modello di prezzi semplificato e all-inclusive per le sue funzionalità principali. La tariffa DCU premium copre l'accesso a funzionalità di alto valore come Lightning Engine, Extended Memory e l'infrastruttura specializzata necessaria per i job che richiedono un utilizzo intensivo di shuffle. Quando abiliti queste funzionalità tramite i flag di configurazione, vengono incluse nella tariffa base premium DCU e non comportano costi di calcolo aggiuntivi. Ciò significa che paghi un unico tasso di premio prevedibile per accedere alla suite completa di funzionalità avanzate del livello premium.