Disques de démarrage Managed Service pour Apache Spark

Vous pouvez sélectionner des disques persistants standards, SSD ou équilibrés, ou des Google Cloud Hyperdisk équilibrés comme disques de démarrage pour les nœuds de cluster Managed Service pour Apache Spark.

Options de type de disque de démarrage :

  • Vous pouvez sélectionner un disque de démarrage standard, SSD ou disque persistant avec équilibrage pour les nœuds de cluster maître, de calcul principal et de calcul secondaire.

  • Vous pouvez sélectionner hyperdisk-balanced comme disque de démarrage pour les nœuds maître et de calcul principal. Notez que Managed Service pour Apache Spark définit automatiquement le type de disque de démarrage du nœud de calcul secondaire sur "hyperdisk balanced" lorsque le type de disque de démarrage du nœud de calcul principal est défini sur "hyperdisk balanced".

Le type de disque de démarrage persistant par défaut pour les nœuds maîtres et de calcul principaux des clusters Managed Service for Apache Spark est standard (pd-standard). Si le type de machine de la VM n'accepte que le type de disque de démarrage hyperdisk équilibré, le disque de démarrage par défaut est hyperdisk équilibré (hyperdisk-balanced). Le type de disque de démarrage persistant par défaut pour les nœuds de calcul secondaires du cluster est le type de disque de démarrage persistant du nœud de calcul principal.

Sélectionner des types de disques de démarrage persistants pour les nœuds de cluster

Vous pouvez sélectionner le type de disque de démarrage persistant lorsque vous créez un cluster à l'aide de la consoleGoogle Cloud , de la Google Cloud CLI ou de l'API Dataproc.

ConsoleGoogle Cloud

Pour sélectionner les types de disque de démarrage des nœuds de cluster :

  1. Ouvrez la page Créer un cluster de Managed Service pour Apache Spark.
  2. Cliquez sur Configuration supplémentaire pour développer cette section.
  3. Cliquez sur Nœuds de calcul primaires et Nœuds de calcul secondaires pour confirmer ou modifier les paramètres par défaut.
  4. Par défaut, les paramètres du nœud pilote (maître) sont identiques à ceux du nœud de calcul principal. Sous Configuration supplémentaire, vous pouvez cliquer sur Nœud pilote pour décocher la case Définir par défaut le nœud pilote sur la même configuration que le nœud de calcul principal, puis spécifier les paramètres du nœud pilote.

gcloud CLI

Vous pouvez créer un cluster et sélectionner les types de disque de démarrage des nœuds de cluster à l'aide de la commande gcloud dataproc clusters create avec les indicateurs --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type.

Exemple : 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Vous pouvez définir une valeur pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced dans le champ InstanceGroupConfig.DiskConfig.bootDiskType des masterConfig, workerConfig et secondaryWorkerConfig dans le cadre d'une requête d'API cluster.create.

Paramètres Hyperdisk

Lorsque vous créez un cluster avec un volume Hyperdisk Balanced comme disque de démarrage pour un nœud de cluster Managed Service pour Apache Spark, vous pouvez définir les IOPS et le débit provisionnés.

Console

Pour configurer les IOPS et le débit provisionnés :

  1. Ouvrez la page Créer un cluster de Managed Service pour Apache Spark.
  2. Cliquez sur Configuration supplémentaire pour développer cette section.
  3. Cliquez sur Nœud du pilote ou Workers principaux.
  4. Dans le panneau qui s'ouvre, configurez les paramètres de débit et d'IOPS provisionnés, puis cliquez sur Enregistrer.

gcloud CLI

Vous pouvez définir les IOPS et le débit provisionnés pour les nœuds de cluster avec les disques de démarrage Hyperdisk Balanced à l'aide des indicateurs --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput et --worker-boot-disk-provisioned-throughput de la commande gcloud dataproc clusters create.

Exemple : 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

Vous pouvez définir les IOPS et le débit provisionnés pour les nœuds de cluster avec des disques de démarrage Hyperdisk à l'aide des champs InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops et InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput pour les configurations du maître et des nœuds de calcul.