Vous pouvez installer des composants supplémentaires tels qu'Apache Pig lorsque vous créez un cluster Managed Service pour Apache Spark à l'aide de la fonctionnalité Composants facultatifs. Cette page décrit le composant Pig, une plate-forme Open Source permettant d'analyser de grands ensembles de données.
Installer le composant
Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark.
Apache Pig est un composant facultatif dans les versions d'image Managed Service pour Apache Spark 2.3 et ultérieures.
Consultez Versions de Managed Service pour Apache Spark compatibles pour connaître les versions des composants inclus dans les dernières versions des images Managed Service pour Apache Spark.
ConsoleGoogle Cloud
- Dans la console Google Cloud , ouvrez la page Créer un cluster.
- Cliquez sur Configuration supplémentaire pour développer cette section.
- Modifiez les composants facultatifs.
- Dans le panneau qui s'ouvre, cochez la case Pig, puis cliquez sur Save (Enregistrer).
gcloud CLI
Pour créer un cluster Managed Service pour Apache Spark incluant le composant Pig, utilisez la commande gcloud dataproc clusters create CLUSTER_NAME avec l'option --optional-components (à l'aide de la version d'image 2.3 ou ultérieure).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
API REST
Le composant Pig peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.