Arrêter et démarrer des clusters Dataproc

Après avoir créé un cluster, vous pouvez l'arrêter, puis le redémarrer lorsque vous en avez besoin it. L'arrêt d'un cluster inactif évite des frais et la nécessité de supprimer un cluster inactif, puis de créer un cluster avec la même configuration par la suite.

Remarques :

La fonctionnalité de démarrage et d'arrêt du cluster est disponible sur les clusters créés avec des images publiées à partir des versions d'image suivantes :
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
L'arrêt de nœuds de cluster individuels n'est pas recommandé, car l'état d' une VM arrêtée peut ne pas être synchronisé avec l'état du cluster, ce qui peut entraîner des erreurs.

Arrêter un cluster

L'arrêt d'un cluster arrête toutes les VM Compute Engine du cluster. Vous ne payez pas les VM lorsqu'elles sont arrêtées. Toutefois, les ressources du cluster associées, telles que les disques persistants, continuent de vous être facturées.

Remarques :

Opérations en cours d'exécution : si un cluster dispose d'opérations en cours d'exécution (telles que des opérations de mise à jour ou de diagnostic), la requête d'arrêt échoue.
Tâches en cours d'exécution : si un cluster comporte des tâches en cours d'exécution, la requête d'arrêt aboutit, les VM s'arrêtent et les tâches en cours d'exécution échouent.
Réponse à l'arrêt : lorsque la requête d'arrêt renvoie une opération d'arrêt, le cluster se trouve à l'état STOPPING et aucune autre tâche ne peut être envoyée (les requêtes SubmitJob échoueront).
Autoscaling : si vous arrêtez un cluster sur lequel l'autoscaling est activé, l'autoscaler Dataproc arrête le scaling du cluster. Le scaling reprend une fois le cluster redémarré. Si vous activez l'autoscaling sur un cluster arrêté, la règle d'autoscaling prendra effet une fois le cluster redémarré.

Surveiller l'opération d'arrêt

Vous pouvez exécuter gcloud dataproc operations describe operation-id pour surveiller l'opération d'arrêt du cluster de longue durée. Vous pouvez utiliser la gcloud dataproc clusters describe cluster-name commande pour surveiller la transition de l'état du cluster de RUNNING vers STOPPING vers STOPPED.

Limites

Vous ne pouvez pas arrêter :
- les clusters avec nœuds de calcul secondaires ;
- les clusters avec des SSD locaux ;
Une fois le cluster arrêté, vous ne pouvez plus :
- mettre à jour le cluster ;
- envoyer des tâches au cluster ;
- accéder aux notebooks exécutés sur le cluster à l'aide de la passerelle des composants Dataproc.

Démarrer un cluster

Lorsque vous redémarrez un cluster arrêté, les actions d'initialisation ne sont pas réexécutées. Les actions d'initialisation ne sont exécutées sur les nœuds de cluster que lors de la création de celui-ci ou lorsque des nœuds sont ajoutés lors du scaling à la hausse du cluster.
Une fois l'opération de démarrage terminée, vous pouvez envoyer immédiatement des tâches au cluster. Cependant, l'exécution de ces tâches peut être retardée (d'environ 30 secondes) pour permettre à HDFS et à YARN de devenir opérationnels.

Arrêter et démarrer un cluster

Vous pouvez arrêter et démarrer un cluster à l'aide de la Google Cloud console, gcloud CLI ou de l'API Dataproc.

Google Cloud Console

Cliquez sur le nom du cluster sur la page Clusters de Dataproc dans la Google Cloud console, puis cliquez sur ARRÊTER pour arrêter le cluster et sur DÉMARRER pour démarrer le cluster.

CLI gcloud

Arrêter un cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Démarrer un cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

API REST