Disques de démarrage Managed Service pour Apache Spark

Vous sélectionnez un disque Persistent Disk standard, SSD ou équilibré, ou un disque Google Cloud Hyperdisk balanced comme disque de démarrage pour les nœuds de cluster Managed Service for Apache Spark.

Options de type de disque de démarrage :

  • Vous pouvez sélectionner un disque de démarrage standard, SSD ou persistant équilibré pour les nœuds de cluster gestionnaire (maître), de calcul principal et de calcul secondaire.

  • Vous pouvez sélectionner Hyperdisk équilibré comme disque de démarrage pour les nœuds gestionnaire (maître) et de calcul principal. Notez que Managed Service for Apache Spark définit automatiquement le type de disque de démarrage du nœud de calcul secondaire sur Hyperdisk équilibré lorsque le type de disque de démarrage du nœud de calcul principal est défini sur Hyperdisk équilibré.

Le type de disque de démarrage persistant par défaut pour le gestionnaire de cluster Managed Service for Apache Spark (maître) et les nœuds de calcul principaux est standard (pd-standard). Si le type de machine VM n'accepte qu'Hyperdisk équilibré comme disque de démarrage, le disque de démarrage par défaut est Hyperdisk équilibré (hyperdisk-balanced). Le type de disque de démarrage persistant par défaut pour les nœuds de calcul secondaires du cluster est le type de disque de démarrage persistant du nœud de calcul principal.

Sélectionner des types de disques de démarrage persistants pour les nœuds de cluster

Vous pouvez sélectionner le type de disque de démarrage persistant lorsque vous créez un cluster à l'aide de la Google Cloud console, de Google Cloud CLI ou de l'API Managed Service for Apache Spark.

Console

Vous pouvez créer un cluster et sélectionner les types de disque de démarrage des nœuds de cluster dans le panneau Configurer les nœuds de la page Managed Service for Apache Spark Créer un cluster de la Google Cloud console.

Gcloud CLI

Vous pouvez créer un cluster et sélectionner les types de disque de démarrage des nœuds de cluster à l'aide de la commande gcloud dataproc clusters create avec les options --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type.

Exemple : 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Vous pouvez définir une valeur pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced dans le InstanceGroupConfig.DiskConfig.bootDiskType champ de masterConfig, workerConfig, et secondaryWorkerConfig dans le cadre d'une cluster.create requête d'API.

Paramètres Hyperdisk

Lorsque vous créez un cluster avec un volume Hyperdisk équilibré comme disque de démarrage pour un nœud de cluster Managed Service for Apache Spark, vous pouvez définir les IOPS et le débit provisionnés.

Console

Vous pouvez définir les IOPS et le débit, ou accepter les valeurs par défaut dans le panneau Configurer les nœuds de la page Managed Service for Apache Spark Créer un cluster.

Gcloud CLI

Vous pouvez définir les IOPS provisionnés et le débit provisionné pour les nœuds de cluster avec les disques de démarrage Hyperdisk équilibrés à l'aide de la commande gcloud dataproc clusters create avec les options --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput et --worker-boot-disk-provisioned-throughput.

Exemple : 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

Vous pouvez définir les IOPS provisionnés et le débit provisionné pour les nœuds de cluster avec les disques de démarrage Hyperdisk à l'aide des champs InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops et InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput pour les configurations du gestionnaire (maître) et du nœud de calcul.