Depois de criar um cluster, será possível interrompê-lo e reiniciá-lo quando precisar dele. A interrupção de um cluster inativo evita a cobrança e evita ter de excluir um cluster inativo e criar um cluster com a mesma configuração posteriormente.
Observações:
- O recurso de iniciar e parar o cluster está disponível em clusters criados com imagens lançadas nas seguintes versões de imagem ou mais recentes:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- Não é recomendável interromper os nós de cluster individuais porque o status de uma VM interrompida talvez não esteja sincronizado com o status do cluster e isso resulta em erros.
- Os clusters que usam VMs flexíveis não podem usar o recurso de iniciar e parar.
Como interromper um cluster
A interrupção de um cluster interrompe todas as VMs do cluster do Compute Engine. Não há cobrança pelas VMs enquanto elas estão interrompidas. No entanto, você continuará pagando por todos os recursos de cluster associados, como discos permanentes.
Observações:
- Operações em execução:quando há operações em execução em um cluster, como de atualização ou diagnóstico, a solicitação de interrupção falha.
- Jobs em execução : quando há jobs em execução em um cluster, a solicitação de parada é bem-sucedida, as VMs são interrompidas e ocorrem falhas nos jobs em execução.
- Resposta de interrupção:quando a solicitação de parada retorna uma operação de parada, o cluster está no estado
STOPPINGe nenhum outro job pode ser enviado, sendo que as solicitaçõesSubmitJobfalham. - Escalonamento automático: quando você para um cluster com escalonamento automático ativado, o escalonador automático do Serviço Gerenciado para Apache Spark interrompe o escalonamento do cluster. Ele retoma esse escalonamento após a reinicialização do cluster. Quando o escalonamento automático está ativado em um cluster interrompido, a política de escalonamento automático entra em vigor quando o cluster é reiniciado.
Como monitorar a operação de interrupção
É possível executar
gcloud dataproc operations describe operation-id
para monitorar a operação de interrupção de cluster de longa duração. Também é possível usar o
gcloud dataproc clusters describe cluster-name
comando para monitorar a transição do status do cluster de
RUNNING para STOPPING para STOPPED.
Limitações
Não é possível interromper:
- clusters com workers secundários
- clusters com ssds locais
Quando um cluster é interrompido, não é possível:
- atualizar o cluster
- enviar jobs para o cluster
- acessar notebooks em execução no cluster usando o gateway de componentes do Serviço Gerenciado para Apache Spark
Como iniciar um cluster
Quando você reinicia um cluster interrompido, nenhuma ação de inicialização é executada novamente. As ações de inicialização são executadas apenas em nós do cluster quando o cluster é criado ou quando os nós são adicionados quando o cluster é escalonado.
Após a conclusão da operação de início, será possível enviar jobs imediatamente ao cluster. No entanto, a execução dos jobs pode ser atrasada (aproximadamente 30 segundos) para permitir que o HDFS e o YARN entrem em operação.
Como interromper e iniciar um cluster
É possível interromper e iniciar um cluster usando o Google Cloud console, a CLI gcloud ou a API do Serviço Gerenciado para Apache Spark.
Google Cloud Console do
Clique no nome do cluster na página Clusters do Serviço Gerenciado para Apache Spark no Google Cloud console, e clique em PARAR para interromper o cluster e em INICIAR para iniciar.
CLI gcloud
Interromper um cluster
gcloud dataproc clusters stop CLUSTER_NAME \ --region=REGION
Iniciar um cluster
gcloud dataproc clusters start CLUSTER_NAME \ --region=REGION
API REST
Interromper um cluster
Envie uma solicitação clusters.stop.
Iniciar um cluster
Envie uma clusters.start.