Serverless pour Apache Spark propose deux niveaux, Standard et Premium (hautes performances), pour permettre aux clients d'adapter les exigences de performances et l'accès aux fonctionnalités au coût optimal.
Avantages du niveau Premium
Le niveau Premium se distingue du niveau Standard par ses fonctionnalités et capacités supplémentaires. Le niveau Premium offre une accélération avancée des requêtes, ainsi qu'une accélération du calcul, du disque et de la mémoire, souvent requises par les charges de travail complexes ou sensibles à la latence.
Fonctionnalités et capacités du niveau Premium
Le tableau suivant met en évidence les fonctionnalités et les capacités exclusives du niveau Premium de Serverless pour Apache Spark.
| Fonctionnalité | Standard | Premium |
|---|---|---|
| Lightning Engine (accélération des requêtes) |  |
(par défaut : activé, sauf pour les sessions interactives) |
| Charges de travail interactives (sessions) | |
(par défaut : activé) |
| Jobs nécessitant de nombreux remaniements (disque Premium) | |
(par défaut : désactivé) |
| Jobs gourmands en mémoire (mémoire étendue) | |
(par défaut : désactivé) |
| Compatibilité avec les GPU | |
(par défaut : désactivé) |
| Charges de travail par lot | ||
| Autoscaling | ||
| UI Spark sans serveur | ||
| Lignée, sécurité et conformité (VPC-SC, CMEK) |
Charges de travail et sessions par lot du niveau Premium
Les charges de travail et les sessions suivantes nécessitent le niveau Premium :
- Lightning Engine : Lightning Engine est une fonctionnalité essentielle qui accélère les performances de Spark grâce à l'exécution optimisée des requêtes. Elle est disponible exclusivement dans le niveau Premium. Il est activé par défaut lorsque vous sélectionnez le niveau Premium pour les charges de travail par lot en définissant la propriété
dataproc.tiersurpremium. - Sessions interactives : les sessions interactives sont automatiquement traitées comme une fonctionnalité premium à forte valeur ajoutée. Elles sont initiées via l'API Dataproc Sessions et sont facturées au tarif premium des DCU. Elles offrent des fonctionnalités telles que l'interactivité à faible latence et la gestion de l'état. Pour les sessions interactives, vous activez Lightning Engine en définissant la propriété
spark.dataproc.enginesurlightningEngine. - Compatibilité avec les GPU : la compatibilité avec les GPU n'est disponible que dans le niveau Premium. Elle est désactivée par défaut. Vous pouvez l'activer à l'aide d'indicateurs de configuration. L'assistance GPU utilise une infrastructure spécialisée et est couverte par le tarif premium des UDC, sans frais de calcul supplémentaires.
Modèle tarifaire prévisible pour le niveau Premium
Le niveau Premium utilise un modèle de tarification simplifié et tout compris pour ses fonctionnalités de base. Le tarif premium pour les UCR couvre l'accès aux fonctionnalités à forte valeur ajoutée telles que Lightning Engine, l'extension de mémoire et l'infrastructure spécialisée nécessaire pour les jobs intensifs en shuffle. Lorsque vous activez ces fonctionnalités à l'aide de flags de configuration, elles sont incluses dans le taux de base des DCU Premium et n'entraînent aucun coût de calcul supplémentaire. Cela signifie que vous payez un tarif unique et prévisible pour accéder à l'ensemble des fonctionnalités avancées du niveau Premium.