"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Componente Pig opcional do Managed Service for Apache Spark

O Apache Pig permite analisar grandes conjuntos de dados no Serviço Gerenciado para Apache Spark. É possível instalar essa plataforma de código aberto durante a criação do cluster usando o recurso Componentes opcionais.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark.

O Apache Pig é um componente opcional no Serviço Gerenciado para Apache Spark 2.3 e versões de imagem posteriores.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para saber quais versões de componentes estão incluídas nas versões mais recentes da imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

No console do Google Cloud , abra a página Criar cluster.
Clique em Configuração adicional para abrir a seção.
Edite os Componentes opcionais.
No painel que será aberto, marque a caixa de seleção Pig e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Pig, use o comando gcloud dataproc clusters create CLUSTER_NAME com a flag --optional-components (usando a versão de imagem 2.3 ou posterior).

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --optional-components=PIG \
    --image-version=2.3 \
    ... other flags

API REST

O componente Pig pode ser especificado pela API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.