Documentation Managed Service pour Apache Spark
Managed Service pour Apache Spark sur les clusters vous permet de bénéficier d'outils de données Open Source pour le traitement par lot, le requêtage, le streaming et le machine learning. L'automatisation Managed Service pour Apache Spark vous permet de créer des clusters rapidement, de les gérer facilement et de faire des économies en désactivant ceux que vous n'utilisez plus. Vous consacrez moins de temps et d'argent aux fonctions d'administration, ce qui vous permet de vous concentrer sur les jobs et les données.
Utilisez Managed Service pour Apache Spark sans serveur pour exécuter des charges de travail par lot Spark sans provisionner ni gérer votre propre cluster. Spécifiez les paramètres de charge de travail, puis envoyez la charge de travail au service Managed Service pour Apache Spark. Le service exécutera la charge de travail sur une infrastructure de calcul gérée en effectuant un autoscaling des ressources selon les besoins. Les frais Managed Service pour Apache Spark ne s'appliquent qu'au moment où la charge de travail est exécutée.
Pour en savoir plus, consultez la page produit Managed Service pour Apache Spark.
Démarrez votre démonstration de faisabilité avec 300 $ de crédits inclus
- Développez des solutions avec nos derniers modèles et outils d'IA générative.
- Utilisez sans frais plus de 20 produits populaires, y compris Compute Engine et les API d'IA.
- Le tout, sans aucuns frais automatiques, ni aucun engagement.
Continuez à explorer avec plus de 20 produits toujours disponibles sans frais.
Accédez à plus de 20 produits disponibles sans frais pour des cas d'utilisation courants, y compris des API d'IA, des VM, des entrepôts de données, et plus encore.
Ressources de documentation
Guides
-
Guides de démarrage rapide : Créer un cluster, Envoyer une charge de travail par lot Apache Spark, ou Exécuter un job Spark sur Google Kubernetes Engine
Ressources associées
Exécuter un job Spark sur Google Kubernetes Engine
Envoyez des tâches Spark à un cluster Google Kubernetes Engine en cours d'exécution à partir de l'API Jobs de Dataproc.
Présentation de Cloud Dataproc : Hadoop et Spark sur Google Cloud
Ce cours combine des présentations, des démonstrations et des ateliers pratiques pour vous apprendre à créer un cluster Dataproc, envoyer une tâche Spark, puis arrêter le cluster.
Machine learning avec Spark sur Dataproc
Ce cours combine des présentations, des démonstrations et des ateliers pratiques pour vous apprendre à mettre en œuvre une régression logistique à l'aide d'une bibliothèque de machine learning pour Apache Spark exécutée sur un cluster Dataproc. L'objectif sera de développer un modèle de données à partir d'un ensemble de données multivariable.
Solutions de planification des workflows
Planifiez des workflows sur Google Cloud.
Migrer des données HDFS sur site vers Google Cloud
Découvrez comment transférer des données depuis un système de fichiers distribués Hadoop (HDFS) vers Google Cloud.
Gérer les dépendances Java et Scala pour Apache Spark
Méthodes recommandées pour inclure des dépendances lorsque vous envoyez une tâche Spark à un cluster Managed Service pour Apache Spark.
Exemples d'API Node.js
Appelez les API Dataproc à partir de Node.js.