Clusters à nœud unique

Les clusters à nœud unique sont des clusters Managed Service pour Apache Spark avec un seul nœud. Ce nœud unique agit à la fois en tant que nœud maître et nœud de calcul pour votre cluster Managed Service pour Apache Spark. Bien que les clusters à nœud unique ne comportent qu'un seul nœud, la plupart des concepts et fonctionnalités de Managed Service pour Apache Spark continuent de s'appliquer, à l'exception de ceux répertoriés ci-dessous.

Les clusters Managed Service pour Apache Spark à nœud unique peuvent être utiles dans plusieurs cas, parmi lesquels :

  • Pour essayer de nouvelles versions de Spark et Hadoop ou d'autres composants Open Source.
  • Pour élaborer des démonstrations de faisabilité.
  • Data science légère
  • Pour le traitement de données non critiques à petite échelle.
  • Pour la formation sur l'écosystème Spark et Hadoop.

Sémantique d'un cluster à nœud unique

La sémantique suivante s'applique aux clusters Managed Service pour Apache Spark à nœud unique :

  • Les clusters à nœud unique sont configurés de la même manière que les clusters Managed Service pour Apache Spark multinœuds. Ils incluent des services tels que HDFS et YARN.
  • Les clusters à nœud unique sont signalés en tant que nœuds maîtres pour les actions d'initialisation.
  • Les clusters à nœud unique n'affichent aucun nœud de calcul, car le nœud unique joue lui-même le rôle de nœud maître et de nœud de calcul.
  • Les clusters à nœud unique reçoivent des noms d'hôte qui suivent le modèle clustername-m. Vous pouvez utiliser ce nom d'hôte pour vous connecter en SSH ou à une interface utilisateur Web sur le nœud.
  • Les clusters à nœud unique ne peuvent pas être remplacés par des clusters multinœuds. Une fois créés, les clusters à nœud unique sont limités à un seul nœud. Réciproquement, les clusters multinœuds ne peuvent pas être remplacés par des clusters à nœud unique.

Limites

  • Les clusters à nœud unique ne sont pas recommandés pour le traitement parallèle de données à grande échelle. Si vous dépassez les ressources d'un cluster à nœud unique, il est recommandé d'utiliser un cluster Managed Service pour Apache Spark multinœud.

  • Les clusters à nœud unique ne sont pas compatibles avec la haute disponibilité, car le cluster ne possède qu'un seul nœud.

  • Les clusters à nœud unique ne peuvent pas utiliser de machines virtuelles préemptives.

Créer un cluster à nœud unique

Console

  • Ouvrez la page Créer un cluster.
  • Dans la section Définir la forme de votre cluster, sélectionnez Développement.
  • Sous Configuration supplémentaire, modifiez Nœud pilote, décochez la case Définir par défaut le nœud pilote sur la même configuration que le nœud de calcul principal, puis confirmez ou modifiez les paramètres du nœud pilote.

Commande gcloud

Vous pouvez créer un cluster Managed Service pour Apache Spark à nœud unique à l'aide de l'outil de ligne de commande gcloud. Pour créer un cluster à nœud unique, transmettez l'option --single-node à la commande gcloud dataproc clusters create. 

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API REST

Vous pouvez créer un cluster à nœud unique via l'API REST Dataproc avec une requête clusters.create. Lors de cette requête, pensez à effectuer les actions suivantes :

  1. Ajoutez la propriété "dataproc:dataproc.allow.zero.workers":"true" à l'objet SoftwareConfig de la requête de cluster.
  2. N'envoyez pas de valeurs pour workerConfig et secondaryWorkerConfig (voir ClusterConfig).