Atualize um cluster do Dataproc através de um modelo
Esta página mostra como usar um modelo do Explorador de APIs Google para atualizar um cluster do Dataproc e alterar o número de trabalhadores num cluster. Aumentar a escala de um cluster para incluir mais trabalhadores é uma tarefa comum quando são necessários trabalhadores adicionais para processar tarefas maiores.
Para outras formas de atualizar um cluster do Dataproc, consulte:
Antes de começar
Este início rápido pressupõe que já criou um cluster do Dataproc. Pode usar o APIs Explorer, a Google Cloud consola, a CLI gcloud gcloud, ferramenta de linha de comandos, ou os Inícios rápidos com as bibliotecas de cliente do Google Cloud para criar um cluster.Atualize um cluster
Para atualizar o número de trabalhadores no cluster, preencha e execute o modelo Experimentar esta API do Explorador de APIs Google.
Parâmetros do pedido:
- Insira o seu projectId.
- Especifique a região onde o cluster está localizado (confirme ou substitua "us-central1"). A região do cluster é apresentada na página Clusters do Dataproc na Google Cloud consola.
- Especifique o clusterName do cluster existente que está a atualizar (confirme ou substitua "example-cluster").
- updateMask:
"config.worker_config.num_instances". Este é o caminho JSON relativo ao recurso Cluster para o parâmetro
numInstances
a ser atualizado (consulte as instruções do corpo do pedido).
Corpo do pedido:
- config.workerConfig.numInstances: ("3": o novo número de trabalhadores). Pode alterar este valor para adicionar menos ou mais trabalhadores. Por exemplo, se o seu cluster padrão tiver o número predefinido de 2 trabalhadores, especificar "3" adiciona 1 trabalhador; especificar "4" adiciona 2). Um cluster do Dataproc padrão tem de ter, pelo menos, 2 trabalhadores.
Clique em EXECUTE. Quando executar o modelo de API pela primeira vez, pode ser-lhe pedido que escolha e inicie sessão na sua Conta Google e, em seguida, autorize o Google APIs Explorer a aceder à sua conta. Se o pedido for bem-sucedido, a resposta JSON mostra que a atualização do cluster está pendente.
Para confirmar que o número de trabalhadores no cluster foi atualizado, abra a página Clusters do Dataproc na Google Cloud consola e veja a coluna Total worker nodes do cluster. Pode ter de clicar em ATUALIZAR na parte superior da página para ver o valor atualizado após a conclusão da atualização do cluster.
Limpar
Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.
- Se não precisar do cluster para explorar os outros inícios rápidos ou executar outros trabalhos, use o APIs Explorer, a Google Cloud consola, a CLI gcloud gcloud, a ferramenta de linha de comandos, ou os inícios rápidos com as bibliotecas de cliente da Cloud para eliminar o cluster.
O que se segue?
Pode usar este modelo de início rápido para restaurar o valor anterior do cluster.
workerConfig.numInstances
Saiba como escrever e executar uma tarefa Spark Scala.