Managed Service pour Apache Spark vous permet de stocker et de traiter les données de charge de travail en utilisant en parallèle le système de fichiers distribué Hadoop (HDFS) et Cloud Storage. Grâce au connecteur Cloud Storage préinstallé, vous pouvez transférer des données vers et depuis vos clusters tout en adaptant le stockage sur disque des VM sous-jacentes aux exigences de performances de vos jobs.
Options de stockage et points à noter
Les fonctionnalités et considérations suivantes peuvent être importantes lors de la sélection des options de calcul et de stockage de données pour les clusters et les jobs Managed Service pour Apache Spark :
- HDFS avec Cloud Storage : Managed Service pour Apache Spark utilise le système de fichiers distribué Hadoop (HDFS) pour le stockage. De plus, Managed Service pour Apache Spark installe automatiquement le connecteur Cloud Storage compatible avec HDFS, ce qui permet d'utiliser Cloud Storage en parallèle avec HDFS. Les données peuvent être transférées vers et depuis un cluster par importation et téléchargement vers HDFS ou Cloud Storage.
- Disques de VM :
- Par défaut, lorsqu'aucun disque SSD local n'est fourni, les données HDFS et les données de brassage intermédiaires sont stockées sur des disques de démarrage de VM, qui sont des disques persistants.
- Si vous utilisez des disques SSD locaux, les données HDFS et les données de brassage intermédiaire sont stockées sur les disques SSD.
- La taille et le type du disque persistant ont une incidence sur les performances et la taille de la VM, que vous utilisiez HDFS ou Cloud Storage pour le stockage des données.
- Les disques de démarrage de VM sont supprimés lors de la suppression du cluster.