Managed Service pour Apache Spark propose deux niveaux, Standard et Premium (hautes performances), pour permettre aux clients d'aligner les exigences de performances et l'accès aux fonctionnalités sur un coût optimal.
Avantages du niveau Premium
Le niveau Premium se distingue du niveau Standard par ses fonctionnalités et caractéristiques supplémentaires. Il offre une accélération avancée des requêtes, ainsi qu'une accélération du calcul, du disque et de la mémoire, souvent requises par les charges de travail complexes ou sensibles à la latence.
Fonctionnalités et caractéristiques du niveau Premium
Le tableau suivant met en évidence les fonctionnalités et caractéristiques exclusives du niveau Premium de Managed Service pour Apache Spark.
| Fonctionnalité | Standard | Premium |
|---|---|---|
| Lightning Engine (accélération des requêtes) |  |
(par défaut : activé, sauf pour les sessions interactives) |
| Charges de travail interactives (sessions) | |
(par défaut : activé) |
| Tâches intensives en shuffle (disque Premium) | |
(par défaut : désactivé) |
| Tâches intensives en mémoire (mémoire étendue) | |
(par défaut : désactivé) |
| Compatibilité avec les GPU | |
(par défaut : désactivé) |
| Charges de travail par lot | ||
| Autoscaling | ||
| UI Spark sans serveur | ||
| Lignée, sécurité et conformité (VPC-SC, CMEK) |
Charges de travail par lot et sessions du niveau Premium
Les charges de travail et sessions suivantes nécessitent le niveau Premium :
- Lightning Engine : disponible exclusivement dans le niveau Premium, Lightning Engine est une fonctionnalité essentielle qui accélère les performances Spark grâce à une exécution optimisée des requêtes. Elle est activée par défaut lorsque vous sélectionnez le niveau Premium pour les charges de travail par lot en définissant la propriété
dataproc.tiersurpremium. - Sessions interactives : les sessions interactives sont automatiquement traitées comme une fonctionnalité Premium à forte valeur ajoutée. Elles sont lancées via l'API de sessions Managed Service pour Apache Spark et sont facturées au tarif Premium des DCU, offrant des fonctionnalités telles que l'interactivité à faible latence et la gestion des états. Pour les sessions interactives, vous activez Lightning Engine en définissant la propriété
spark.dataproc.enginesurlightningEngine. - Compatibilité avec les GPU : la compatibilité avec les GPU n'est disponible que dans le niveau Premium. Elle est désactivée par défaut. Vous pouvez l'activer à l'aide d'indicateurs de configuration. La compatibilité avec les GPU utilise une infrastructure spécialisée et est couverte par le tarif Premium des DCU sans frais de calcul supplémentaires.
Modèle de tarification prévisible du niveau Premium
Le niveau Premium utilise un modèle de tarification simplifié et tout compris pour ses fonctionnalités de base. Le tarif Premium des DCU couvre l'accès à des fonctionnalités à forte valeur ajoutée telles que Lightning Engine, la mémoire étendue et l'infrastructure spécialisée nécessaire aux tâches intensives en shuffle. Lorsque vous activez ces fonctionnalités à l'aide d'indicateurs de configuration, elles sont incluses dans le tarif Premium de base des DCU et n'entraînent aucun frais de calcul supplémentaire. Cela signifie que vous payez un tarif Premium unique et prévisible pour accéder à l'ensemble complet des fonctionnalités avancées du niveau Premium.