Présentation du déploiement de clusters Managed Service pour Apache Spark

Le mode de déploiement de cluster Managed Service pour Apache Spark vous permet de bénéficier d'outils de données Open Source pour le traitement par lot, l'émission de requêtes, le streaming et le machine learning. L'automatisation Managed Service for Apache Spark vous permet de créer des clusters rapidement, de les gérer facilement et de faire des économies en désactivant ceux que vous n'utilisez plus. Vous consacrez moins de temps et d'argent aux fonctions d'administration, ce qui vous permet de vous concentrer sur les tâches et les données.

Avantages du mode de déploiement de cluster Managed Service pour Apache Spark

Par rapport aux produits sur site traditionnels et aux services cloud concurrents, Managed Service pour Apache Spark présente un certain nombre d'avantages uniques pour les clusters de trois à plus de cent nœuds :

  • Faible coût : Managed Service for Apache Spark est facturé à seulement 1 centime par processeur virtuel dans votre cluster et par heure, en plus des autres ressources Cloud Platform que vous utilisez. En plus de ce faible coût, les clusters Managed Service pour Apache Spark peuvent inclure des instances préemptives dont les prix de calcul sont inférieurs, ce qui réduit encore davantage vos coûts. Au lieu d'arrondir votre consommation à l'heure la plus proche, Managed Service pour Apache Spark ne vous facture que ce que vous utilisez réellement avec la facturation à la seconde et une période de facturation minimale d'une minute.
  • Très rapide : sans Managed Service for Apache Spark, la création de clusters Spark et Hadoop sur site ou via des fournisseurs IaaS peut prendre entre cinq et 30 minutes. À titre de comparaison, les clusters Managed Service for Apache Spark démarrent, évoluent et s'arrêtent rapidement, chacune de ces opérations ne prenant en moyenne que 90 secondes. Cela vous permet de passer moins de temps à attendre les clusters et plus de temps à travailler sur vos données.
  • Intégré : le service géré pour Apache Spark est intégré à d'autres services Google Cloud Platform, comme BigQuery, Cloud Storage, Cloud Bigtable, Cloud Logging et Cloud Monitoring. Ainsi, en plus d'un cluster Spark ou Hadoop, vous disposez d'une plate-forme de données complète. Par exemple, vous pouvez utiliser le service géré pour Apache Spark afin d'extraire, de ETL facilement plusieurs téraoctets de données de journaux brutes directement dans BigQuery pour la création de rapports commerciaux.
  • Géré — Utilisez les clusters Spark et Hadoop sans l'assistance d'un administrateur, ni d'un logiciel spécifique. Vous pouvez facilement interagir avec les clusters et les tâches Spark ou Hadoop via la console Google Cloud , le Cloud SDK ou l'API REST Managed Service for Apache Spark. Lorsque vous avez terminé avec un cluster, vous pouvez simplement le désactiver afin de ne pas générer de frais sur un cluster inactif. Vous ne risquez aucune perte de données, car Managed Service for Apache Spark est intégré à Cloud Storage, BigQuery et Cloud Bigtable.
  • Simple et familier : vous n'avez pas besoin d'apprendre de nouveaux outils ou API pour utiliser Managed Service for Apache Spark, ce qui facilite le transfert de projets existants vers Managed Service for Apache Spark sans redéploiement. Spark, Hadoop, Pig et Hive sont mis à jour régulièrement pour vous aider à optimiser votre productivité.

Qu'est-ce qui est inclus dans le mode de déploiement de cluster Managed Service pour Apache Spark ?

Pour obtenir la liste des versions de connecteur Open Source (Hadoop, Spark, Hive et Pig) et Google Cloud compatibles avec le service géré pour Apache Spark, consultez les listes des versions d'image de cluster du service géré pour Apache Spark.

Premiers pas

Pour commencer rapidement, consultez les guides de démarrage rapide de Managed Service for Apache Spark. Vous pouvez accéder au mode de déploiement de cluster Managed Service pour Apache Spark de différentes manières :