Arrestare e avviare i cluster

Dopo aver creato un cluster, puoi arrestarlo e riavviarlo quando ne hai bisogno. L'arresto di un cluster inattivo evita di incorrere in addebiti e di dover eliminare un cluster inattivo, per poi crearne uno con la stessa configurazione in un secondo momento.

Note:

  • La funzionalità di avvio e arresto del cluster è disponibile sui cluster creati con immagini rilasciate a partire dalle seguenti versioni di immagini:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • L'arresto dei singoli nodi del cluster non è consigliato perché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può causare errori.
  • I cluster che utilizzano VM flessibili non possono utilizzare la funzionalità di avvio e arresto.

Arresto di un cluster

L'arresto di un cluster arresta tutte le VM Compute Engine del cluster. Non paghi per le VM mentre sono arrestate. Tuttavia, continui a pagare per le risorse del cluster associate, ad esempio i dischi permanenti.

Note:

  • Operazioni in esecuzione: se un cluster ha operazioni in esecuzione, ad esempio operazioni di aggiornamento o diagnostica, la richiesta di arresto non andrà a buon fine.
  • Job in esecuzione: se un cluster ha job in esecuzione, la richiesta di arresto andrà a buon fine: le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
  • Risposta di arresto: quando la richiesta di arresto restituisce un'operazione di arresto, il cluster sarà in stato STOPPING e non sarà consentito inviare altri job (le richieste SubmitJob non andranno a buon fine).
  • Scalabilità automatica: se arresti un cluster con la scalabilità automatica abilitata, il gestore della scalabilità automatica di Managed Service for Apache Spark interromperà la scalabilità del cluster. Riprenderà la scalabilità del cluster una volta riavviato. Se abiliti la scalabilità automatica su un cluster arrestato, la policy di scalabilità automatica diventerà effettiva una volta riavviato il cluster.

Monitoraggio dell'operazione di arresto

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare l'operazione di arresto del cluster a lunga esecuzione. Puoi utilizzare il gcloud dataproc clusters describe cluster-name comando per monitorare la transizione dello stato del cluster da RUNNING a STOPPING a STOPPED.

Limitazioni

Avvio di un cluster

  • Quando riavvii un cluster arrestato, le azioni di inizializzazione non vengono eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster viene creato o quando vengono aggiunti nodi durante lo scale up del cluster.

  • Al termine dell'operazione di avvio, puoi inviare immediatamente job al cluster. Tuttavia, l'esecuzione dei job può essere ritardata di circa 30 secondi per consentire a HDFS e YARN di diventare operativi.

Come arrestare e avviare un cluster

Puoi arrestare e avviare un cluster utilizzando la Google Cloud console, gcloud CLI o l'API Managed Service for Apache Spark.

Google Cloud Console

Fai clic sul nome del cluster nella pagina Cluster Managed Service for Apache Spark Cluster della Google Cloud console, quindi fai clic su ARRESTA per arrestare e AVVIA per avviare il cluster.

Gcloud CLI

Arresta un cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Avvia un cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

API REST

Arresta un cluster

Invia una clusters.stop.

Avvia un cluster

Invia una clusters.start.