Clusters de nœuds à locataire unique

Les clusters Managed Service pour Apache Spark peuvent être créés sur des nœuds à locataire unique Compute Engine. Un nœud à locataire unique est un serveur Compute Engine dédié à l'hébergement des VM de votre projet uniquement. La création d'un cluster Managed Service pour Apache Spark sur un nœud à locataire unique permet de séparer physiquement les VM du cluster de celles d'autres projets. Les clusters fonctionnent comme des clusters Managed Service pour Apache Spark standards, mais avec une isolation matérielle supplémentaire pour répondre aux problèmes de sécurité et de conformité.

Les clusters de nœuds à locataire unique Managed Service pour Apache Spark sont créés dans un groupe de nœuds à locataire unique spécifié par l'utilisateur. Les instances de nœud maître, de nœud de calcul et secondaires de chaque cluster sont créées dans ce groupe de nœuds à locataire unique.

Attention : Managed Service pour Apache Spark utilise par défaut des VM préemptives pour les nœuds de calcul secondaires, qui ne sont pas compatibles avec les nœuds à locataire unique de Compute Engine. Si vous prévoyez d'utiliser des nœuds de calcul secondaires avec votre cluster à locataire unique, en les ajoutant manuellement ou en utilisant une règle d'autoscaling qui effectue un scaling à la hausse des nœuds de calcul secondaires, vous devez définir le type de nœud de calcul secondaire sur "non préemptif".

Premières étapes

1. Consultez la section Avant de commencer.

2. Créez un modèle de nœud à locataire unique.

3. Créez un groupe de nœuds à locataire unique.

   • Utilisez l'autoscaling des groupes de nœuds si vous allez créer des clusters d'autoscaling dans le groupe de nœuds à locataire unique.

     Recommandations relatives à l'autoscaling du groupe de nœuds :

     • Assurez-vous que le champ max-nodes du groupe de nœuds est suffisant pour le type de cluster maxInstances des clusters que vous allez créer dans le groupe de nœuds à locataire unique.
     • Utilisez la stratégie de maintenance par défaut ou de groupe de nœuds migrate-within-node-group. Les VM peuvent être indisponibles pendant une heure avec la stratégie restart-in-place.

Créer un cluster à locataire unique

• Avant de créer un cluster à locataire unique, consultez les restrictions relatives aux VM à nœud de locataire unique.

• Si vous créez un cluster d'autoscaling dans un groupe de nœuds à locataire unique, il est recommandé que le groupe de nœuds utilise également l'autoscaling (consultez la page Recommandations relatives à l'autoscaling de groupe de nœuds).

Commande gcloud

Pour créer un cluster à locataire unique, transmettez l'option --node-group à la commande gcloud dataproc clusters create.

Remarques sur les options :

• --region (obligatoire) : doit correspondre à la région du groupe à locataire unique.
• --node-group (obligatoire) : vous pouvez spécifier le nom du groupe de nœuds à locataire unique ("node-group-name") ou l'URI de ressource du groupe de nœuds à locataire unique ("projects/project-id/"). zones/zone/nodeGroups/node-group-name").
• --zone (obligatoire) : la zone du cluster doit correspondre à la zone du groupe de nœuds à locataire unique.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args
  

API REST

Créer un cluster à locataire unique à l'aide d'une requête clusters.create en spécifiant l'objet NodeGroupAffinity.nodeGroupUri du groupe du nœud à locataire unique.

Remarque : La zone de cluster spécifiée dans le champ zoneUri doit correspondre à la zone du groupe de nœuds à locataire unique.

Pour examiner et créer facilement le corps JSON d'une requête d'API Managed Service pour Apache Spark, ouvrez la page de la console Créer un cluster de Managed Service pour Apache Spark Google Cloud , remplissez les champs applicables sur la page, puis cliquez sur le bouton REST équivalent en bas du panneau de gauche pour afficher la requête POST avec le corps de la requête JSON complété.

Console

Actuellement, il n'est pas possible de créer un cluster Managed Service pour Apache Spark à locataire unique dans la console Google Cloud .