Sélection de zone automatique

Lorsque vous créez un cluster Managed Service pour Apache Spark, vous spécifiez une région Compute Engine comme emplacement du cluster. Vous pouvez également spécifier une zone dans cette région ou omettre la zone de sorte que la fonctionnalité de sélection de zone automatique de Managed Service pour Apache Spark en choisisse une pour vous dans la région spécifiée. Tous les nœuds du cluster sont déployés dans la zone sélectionnée.

Vous pouvez exclure des zones des critères de sélection de zone automatique si la région du cluster inclut au moins deux zones non exclues. Pour en savoir plus, consultez Utiliser la sélection de zone automatique.

Sélection de zone automatique et réservations de ressources

La sélection de zone automatique donne la priorité à la création d'un cluster dans une zone avec des réservations de ressources, comme suit :

  • Si les ressources de cluster demandées peuvent être entièrement satisfaites par des ressources réservées, plus, si nécessaire, des ressources à la demande dans une zone, la sélection de zone automatique consomme les ressources réservées et à la demande, et crée le cluster dans cette zone.

  • La sélection de zone automatique donne la priorité aux zones en fonction du nombre total de réservations de cœurs de processeur (vCPU) dans une zone.

    Exemple : Une requête de création de cluster spécifie 20 n2-standard-2 et 1 n2-standard-64 (40 + 64 vCPUs demandées). La sélection de zone automatique donne la priorité aux zones suivantes en fonction du nombre total de réservations de vCPU disponibles dans la zone :

    1. zone-c réservations disponibles : 3 n2-standard-2 et 1 n2-standard-64 (70 vCPUs)
    2. zone-b réservations disponibles : 1 n2-standard-64 (64 vCPUs)

    3. zone-a réservations disponibles : 25 n2-standard-2 (50 vCPUs)

      En supposant que chacune de ces zones dispose de vCPU à la demande supplémentaires et d'autres ressources suffisantes pour répondre à la requête de cluster, la sélection de zone automatique sélectionne zone-c pour la création du cluster.

  • Si les ressources de cluster demandées ne peuvent pas être entièrement satisfaites par des ressources réservées plus des ressources à la demande dans une zone, la sélection de zone automatique crée le cluster dans une zone qui est la plus susceptible de répondre à la requête à l'aide de ressources à la demande.

Utiliser la sélection de zone automatique

Console

Pour créer un cluster Managed Service pour Apache Spark qui utilise la sélection de zone automatique :

  1. Dans la Google Cloud console, ouvrez la page Créer un cluster Managed Service pour Apache Spark sur Compute Engine. Le panneau Configurer le cluster est sélectionné.
  2. Dans la section Emplacement, procédez comme suit :
    • Sélectionnez une région pour votre cluster.
    • Sous Zone, sélectionnez "Toutes".

Exclure des zones : La spécification de zones à exclure de la sélection de zone automatique n'est pas acceptée dans la Google Cloud console. Cette fonctionnalité est disponible à l'aide de Google Cloud CLI et de l'API REST.

gcloud CLI

Pour créer un cluster Managed Service pour Apache Spark qui utilise la sélection de zone automatique, utilisez la gcloud dataproc clusters create commande. Définissez l'option --region sur une région, puis omettez l'option --zone ou définissez l'option --zone sur une chaîne vide (--zone="").

Au lieu d'utiliser l'option `--zone`, vous pouvez utiliser l'option --auto-zone-exclude-zones pour spécifier une liste de zones séparées par une virgule. La sélection de zone automatique sélectionne une zone dans la région spécifiée, mais exclut les zones listées de ses critères de sélection. Notez qu'au moins deux zones non exclues doivent être disponibles dans la région du cluster.

Exemples :

Utilisation de base de la sélection de zone automatique :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Sélection de zone automatique avec zones exclues :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

API REST

Pour créer un cluster Managed Service pour Apache Spark qui utilise la sélection de zone automatique, créez une requête API clusters.create au format JSON, en laissant le champ gceClusterConfig.zoneUri vide. Dans le point de terminaison REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, insérez un nom de région. La sélection de zone automatique de Managed Service pour Apache Spark choisit une zone pour le cluster dans la région spécifiée.

Pour exclure des zones spécifiques, vous pouvez renseigner le gceClusterConfig.autoZoneExcludeZoneUris avec une liste de noms de zones à exclure. Notez qu'au moins deux zones non exclues doivent être disponibles dans la région du cluster.

Utilisez des noms de ressources courts avec la sélection de zone automatique : lorsque vous spécifiez un URI de ressource, tel que machineTypeUri ou acceleratorTypeUri dans une requête API REST de création de cluster avec la sélection de zone automatique, utilisez un nom de ressource court sans spécification de zone, par exemple, "n1-standard-2" ou "nvidia-tesla-t4".