Managed Service for Apache Spark offre due livelli, uno standard e uno premium (ad alte prestazioni), per consentire ai clienti di allineare i requisiti di prestazioni e l'accesso alle funzionalità con un costo ottimale.
Vantaggi del livello Premium
Il livello Premium si differenzia dal livello Standard per le funzionalità e le capacità aggiuntive. Il livello Premium offre accelerazione avanzata delle query e calcolo, disco e memoria accelerati, spesso richiesti da workload complessi o sensibili alla latenza.
Funzionalità e capacità del livello Premium
La tabella seguente evidenzia le funzionalità e le capacità del livello Premium esclusivo di Managed Service for Apache Spark.
| Funzionalità | Standard | Premium |
|---|---|---|
| Lightning Engine (accelerazione delle query) |  |
(Impostazione predefinita: attiva, tranne che per le sessioni interattive) |
| Workload interattivi (sessioni) | |
(Impostazione predefinita: attiva) |
| Job ad alta intensità di shuffle (disco Premium) | |
(Impostazione predefinita: disattivata) |
| Job ad alta intensità di memoria (memoria estesa) | |
(Impostazione predefinita: disattivata) |
| Supporto GPU | |
(Impostazione predefinita: disattivata) |
| Workload batch | ||
| Scalabilità automatica | ||
| UI Spark serverless | ||
| Lineage, sicurezza e conformità (Controlli di servizio VPC, CMEK) |
Workload batch e sessioni di livello Premium
I seguenti workload e sessioni richiedono il livello Premium:
- Lightning Engine: disponibile esclusivamente nel livello Premium, Lightning Engine è una funzionalità fondamentale che accelera le prestazioni di Spark tramite l'esecuzione ottimizzata delle query. È attivato per impostazione predefinita quando selezioni il livello Premium per i workload batch impostando la proprietà
dataproc.tiersupremium. - Sessioni interattive: le sessioni interattive vengono trattate automaticamente come una funzionalità Premium di alto valore. Vengono avviate tramite l'API delle sessioni di Managed Service for Apache Spark e vengono addebitate alla tariffa DCU Premium, fornendo funzionalità come interattività a bassa latenza e gestione dello stato. Per le sessioni interattive, puoi attivare Lightning Engine impostando la proprietà
spark.dataproc.enginesulightningEngine. - Supporto GPU: il supporto GPU è disponibile solo nel livello Premium. È disattivato per impostazione predefinita. Puoi attivarlo tramite i flag di configurazione. Il supporto GPU utilizza un'infrastruttura specializzata ed è coperto dalla tariffa DCU Premium senza costi di calcolo aggiuntivi.
Modello di prezzi del livello Premium prevedibile
Il livello Premium utilizza un modello di prezzi all-inclusive semplificato per le sue funzionalità principali. La tariffa DCU Premium copre l'accesso a funzionalità di alto valore come Lightning Engine, memoria estesa e l'infrastruttura specializzata necessaria per i job ad alta intensità di shuffle. Quando attivi queste funzionalità tramite i flag di configurazione, sono incluse nella tariffa DCU Premium di base e non comportano costi di calcolo aggiuntivi. Ciò significa che paghi una singola tariffa Premium prevedibile per l'accesso alla suite completa di funzionalità avanzate del livello Premium.