Serverless pour Apache Spark propose deux niveaux, un niveau Standard et un niveau Premium (hautes performances), afin de permettre aux clients d'aligner les exigences de performances et l'accès aux fonctionnalités sur un coût optimal.
Avantages du niveau Premium
Le niveau Premium se distingue du niveau Standard par ses fonctionnalités et capacités supplémentaires. Il offre une accélération avancée des requêtes , ainsi qu'un calcul, un disque et une mémoire accélérés , souvent requis par les charges de travail complexes ou sensibles à la latence.
Fonctionnalités et capacités du niveau Premium
Le tableau suivant met en évidence les fonctionnalités et capacités exclusives du niveau Premium de Serverless pour Apache Spark.
| Fonctionnalité | Standard | Premium |
|---|---|---|
| Lightning Engine (accélération des requêtes) |  |
(Par défaut : activé, sauf pour les sessions interactives) |
| Charges de travail interactives (sessions) | |
(Par défaut : activé) |
| Tâches nécessitant un shuffle intensif (disque Premium) | |
(Par défaut : désactivé) |
| Tâches nécessitant beaucoup de mémoire (mémoire étendue) | |
(Par défaut : désactivé) |
| Compatibilité avec les GPU | |
(Par défaut : désactivé) |
| Charges de travail par lot | ||
| Autoscaling | ||
| UI Spark sans serveur | ||
| Lignée, sécurité et conformité (VPC-SC, CMEK) |
Charges de travail par lot et sessions du niveau Premium
Les charges de travail et sessions suivantes nécessitent le niveau Premium :
- Lightning Engine : disponible exclusivement dans le niveau Premium, Lightning Engine est une fonctionnalité essentielle qui accélère les performances de Spark grâce à une exécution optimisée des requêtes. Elle est activée par défaut lorsque vous sélectionnez le niveau Premium pour les charges de travail par lot en définissant la propriété
dataproc.tiersurpremium. - Sessions interactives : les sessions interactives sont automatiquement traitées comme une fonctionnalité Premium à forte valeur ajoutée. Elles sont lancées via l'API des sessions Dataproc et sont facturées au tarif Premium des DCU, offrant des fonctionnalités telles que l'interactivité à faible latence et la gestion des états. Pour les sessions interactives, vous activez Lightning Engine en définissant la propriété
spark.dataproc.enginesurlightningEngine. - Compatibilité avec les GPU : la compatibilité avec les GPU n'est disponible que dans le niveau Premium. Elle est désactivée par défaut. Vous pouvez l'activer à l'aide d'indicateurs de configuration. La compatibilité avec les GPU utilise une infrastructure spécialisée et est couverte par le tarif Premium des DCU sans frais de calcul supplémentaires.
Modèle de tarification prévisible du niveau Premium
Le niveau Premium utilise un modèle de tarification simplifié et tout compris pour ses fonctionnalités de base. Le tarif Premium des DCU couvre l'accès à des fonctionnalités à forte valeur ajoutée telles que Lightning Engine, la mémoire étendue et l'infrastructure spécialisée nécessaire pour les tâches nécessitant un shuffle intensif. Lorsque vous activez ces fonctionnalités à l'aide d'indicateurs de configuration, elles sont incluses dans le tarif Premium de base des DCU et n'entraînent aucun frais de calcul supplémentaire. Cela signifie que vous payez un tarif Premium unique et prévisible pour accéder à l'ensemble complet des fonctionnalités avancées du niveau Premium.