É possível instalar componentes adicionais, como o Apache Pig, ao criar um cluster do Serviço Gerenciado para Apache Spark usando o recurso Componentes opcionais. Nesta página, descrevemos o componente Pig, uma plataforma de código aberto para analisar grandes conjuntos de dados.
Instalar o componente
Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark.
O Apache Pig é um componente opcional no Serviço Gerenciado para Apache Spark 2.3 e em versões de imagem mais recentes.
Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para conferir as versões dos componentes incluídas nas versões mais recentes da imagem do Serviço Gerenciado para Apache Spark.
Console doGoogle Cloud
- No console do Google Cloud , abra a página Criar cluster.
- Clique em Configuração adicional para abrir a seção.
- Edite Componentes opcionais.
- No painel que aparece, marque a caixa de seleção Pig e clique em Salvar.
CLI da gcloud
Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Pig, use o comando gcloud dataproc clusters create CLUSTER_NAME com a flag --optional-components (usando a versão 2.3 ou mais recente da imagem).
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --optional-components=PIG \ --image-version=2.3 \ ... other flags
API REST
O componente Pig pode ser especificado por meio da API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.