Composants de Managed Service pour Apache Spark

Managed Service pour Apache Spark vous permet de personnaliser les environnements de cluster avec les outils et services requis pour vos charges de travail de big data. Ces composants sont classés comme installés, facultatifs ou d'action d'initialisation.

Types de composants

Les clusters Managed Service pour Apache Spark comportent les types de composants suivants :

• Composants installés : composants installés dans l'image et activés lors de la création du cluster.

• Composants facultatifs : composants que vous sélectionnez pour les installer et les utiliser sur votre cluster lorsque vous le créez. Managed Service pour Apache Spark installe et active les composants facultatifs en fonction de la version de l'image du cluster, comme suit :

  • 2.2 et versions d'image antérieures : les composants facultatifs sont installés automatiquement. Les composants facultatifs sélectionnés sont activés et les composants facultatifs non sélectionnés sont désinstallés lors de la création du cluster.

  • 2.3 et versions d'image ultérieures : tous les composants facultatifs sont installés lors de la création du cluster, à l'exception des composants facultatifs Jupyter, Iceberg et Delta Lake, qui sont préinstallés dans 2.3 et les versions d'image ultérieures. Les composants facultatifs préinstallés sont supprimés d'un cluster de version d'image 2.3 ou ultérieure s'ils ne sont pas activés lors de la création du cluster. Pour en savoir plus, consultez Versions de Managed Service pour Apache Spark 2.3.x.

    Pour éviter d'augmenter le temps de démarrage des clusters de version d'image 2.3 et ultérieures, créez une image personnalisée avec des composants facultatifs préinstallés. Pour ce faire, exécutez generate_custom_image.py avec l'option --optional-components.

• Composants d'action d'initialisation : composants installés sur un cluster dans le cadre d'une action d'initialisation que vous spécifiez lors de la création d'un cluster.

Les composants facultatifs sont installés sur un cluster avant l'exécution des actions d'initialisation sur le cluster.

Les pages de version d'image Managed Service pour Apache Spark répertorient les composants et les types de composants disponibles dans les dernières versions d'image Managed Service pour Apache Spark.

Les composants facultatifs présentent les avantages suivants par rapport aux actions d'initialisation utilisées pour installer des composants :

• Les composants facultatifs sont testés pour être compatibles avec des versions spécifiques de Managed Service pour Apache Spark.
• Les composants facultatifs sont activés avec un paramètre de création de cluster, tandis que les actions d'initialisation nécessitent un script.

Composants facultatifs disponibles

Composant facultatif.	Nom du composant dans les commandes Google Cloud CLI et les requêtes API	Version d'image	Phase de version
Delta Lake	DELTA	2.2.46 et versions ultérieures	DG
Docker	DOCKER	1.5 et versions ultérieures	DG
Flink	FLINK	1.5 et versions ultérieures	DG
HBase	HBase	1.5 et versions ultérieures (non disponible dans la version 2.1 et les versions ultérieures)	Obsolète
Hive WebHCat	HIVE_WEBHCAT	1.3 et versions ultérieures	DG
Hudi	HUDI	1.5 et versions ultérieures	DG
Iceberg	ICEBERG	2.2 et versions ultérieures	DG
Notebook Jupyter	JUPYTER	1.3 et versions ultérieures	DG
Pig	PIG	1.5^* et versions ultérieures	DG
Presto	PRESTO	1.3 et versions ultérieures (non disponible dans la version 2.1 et les versions ultérieures)	DG
Ranger	RANGER	1.3 et versions ultérieures	DG
Solr	SOLR	1.3 et versions ultérieures	DG
Trino	TRINO	2.1 et versions ultérieures	DG
Notebook Zeppelin	ZEPPELIN	1.3 et versions ultérieures	DG
ZooKeeper	ZOOKEEPER	1.0 et versions ultérieures	DG

Remarques :

• Apache Pig est un composant facultatif dans les versions d'image 2.3 et ultérieures. Il était préinstallé dans la version d'image 2.2 et les versions antérieures.

Consultez Interfaces Web de clusters pour vous connecter aux interfaces Web des composants exécutés sur les clusters. Consultez également la page Passerelle des composants de Managed Service pour Apache Spark, qui vous permet de vous connecter aux interfaces Web des composants principaux et facultatifs de Managed Service pour Apache Spark, y compris les interfaces utilisateur YARN, HDFS, Jupyter et Zeppelin, sans avoir à utiliser de tunnels SSH ni à modifier les règles de pare-feu pour autoriser le trafic entrant.

Ajouter des composants facultatifs

Remarque : Les exemples d'utilisation suivants s'appliquent aux composants en disponibilité générale.

ConsoleGoogle Cloud

1. Dans la console Google Cloud , ouvrez la page Créer un cluster.
2. Cliquez sur Configuration supplémentaire pour développer cette section.
3. Modifiez les composants facultatifs.
4. Dans le panneau qui s'ouvre, cochez les cases correspondant aux composants facultatifs que vous souhaitez installer sur votre cluster, puis cliquez sur Enregistrer.

gcloud CLI

Pour créer un cluster Managed Service pour Apache Spark et y installer un ou plusieurs composants facultatifs, utilisez la commande gcloud beta dataproc clusters create cluster-name avec l'option --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Les composants facultatifs peuvent être spécifiés via l'API Dataproc à l'aide de SoftwareConfig.Component dans le cadre d'une requête clusters.create.