Arresta e avvia i cluster Dataproc

Dopo aver creato un cluster, puoi arrestarlo e riavviarlo quando ne hai bisogno. L'arresto di un cluster inattivo evita di incorrere in addebiti e di dover eliminare un cluster inattivo, quindi creare un cluster con la stessa configurazione in un secondo momento.

Note:

La funzionalità di avvio e arresto del cluster è disponibile sui cluster creati con immagini rilasciate a partire dalle seguenti versioni delle immagini:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
L'arresto dei singoli nodi del cluster non è consigliato perché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può causare errori.

Arresto di un cluster

L'arresto di un cluster arresta tutte le VM Compute Engine del cluster. Non paghi per le VM mentre sono arrestate. Tuttavia, continui a pagare per le risorse del cluster associate, ad esempio i dischi permanenti.

Note:

Operazioni in esecuzione: se un cluster ha operazioni in esecuzione, ad esempio operazioni di aggiornamento o diagnostica, la richiesta di arresto non andrà a buon fine.
Job in esecuzione: se un cluster ha job in esecuzione, la richiesta di arresto andrà a buon fine: le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
Risposta di arresto: quando la richiesta di arresto restituisce un'operazione di arresto, il cluster sarà in stato STOPPING e non sarà consentito inviare altri job (le richieste SubmitJob non andranno a buon fine).
Scalabilità automatica: se arresti un cluster con la scalabilità automatica abilitata, lo strumento di scalabilità automatica di Dataproc interromperà la scalabilità del cluster. Riprenderà la scalabilità del cluster una volta riavviato. Se abiliti la scalabilità automatica su un cluster arrestato, la policy di scalabilità automatica avrà effetto una volta riavviato il cluster.

Monitoraggio dell'operazione di arresto

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare l'operazione di arresto del cluster a lunga esecuzione. Puoi utilizzare il gcloud dataproc clusters describe cluster-name comando per monitorare la transizione dello stato del cluster da RUNNING a STOPPING a STOPPED.

Limitazioni

Non puoi arrestare:
- Cluster con worker secondari
- Cluster con SSD locali
Dopo l'arresto di un cluster, non puoi:
- Aggiornare il cluster
- Inviare job al cluster
- Accedere ai blocchi note in esecuzione sul cluster utilizzando il gateway dei componenti di Dataproc

Avvio di un cluster

Quando riavvii un cluster arrestato, le azioni di inizializzazione non vengono eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster viene creato o quando vengono aggiunti nodi durante lo scale up del cluster.
Al termine dell'operazione di avvio, puoi inviare immediatamente job al cluster. Tuttavia, l'esecuzione dei job può essere ritardata di circa 30 secondi per consentire a HDFS e YARN di diventare operativi.

Come arrestare e avviare un cluster

Puoi arrestare e avviare un cluster utilizzando la Google Cloud console, gcloud CLI o l'API Dataproc.

Google Cloud Console

Fai clic sul nome del cluster nella pagina Cluster Dataproc della Google Cloud console, quindi fai clic su ARRESTA per arrestare e AVVIA per avviare il cluster.

Interfaccia a riga di comando gcloud

Arrestare un cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Avviare un cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

API REST