Puedes instalar componentes adicionales, como Apache Pig cuando creas un clúster de Managed Service para Apache Spark con la función de componentes opcionales. En esta página, se describe el componente Pig, una plataforma de código abierto para analizar grandes conjuntos de datos.
Instala el componente
Instala el componente cuando crees un clúster de Managed Service para Apache Spark.
Apache Pig es un componente opcional en Managed Service para Apache Spark 2.3 y versiones de imagen posteriores.
Consulta Versiones compatibles de Managed Service para Apache Spark para obtener información sobre las versiones de los componentes incluidas en las versiones de imagen más recientes de Managed Service para Apache Spark.
Google Cloud Consola de
- En la Google Cloud consola, abre la página Crear clúster.
- Haz clic en Configuración adicional para expandir esa sección.
- Edita Componentes opcionales.
- En el panel que se abre, selecciona la casilla de verificación de Pig, y, luego, haz clic en Guardar.
gcloud CLI
Para crear un clúster de Managed Service para Apache Spark que incluya el componente Pig,
usa el
gcloud dataproc clusters create CLUSTER_NAME
comando con la marca --optional-components (con la versión
2.3 o posterior de la imagen).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
API de REST
El componente Pig se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una clusters.create.