Disques de démarrage Dataproc

Vous sélectionnez un disque persistant standard, SSD ou équilibré , ou Google Cloud Hyperdisk équilibré comme disque de démarrage pour les nœuds de cluster Dataproc.

Sélectionner des types de disques de démarrage persistants pour les nœuds de cluster

Vous pouvez sélectionner le type de disque de démarrage persistant lorsque vous créez un cluster à l'aide de la Google Cloud console, de Google Cloud CLI ou de l'API Dataproc.

Console

Vous pouvez créer un cluster et sélectionner un disque de démarrage persistant standard, SSD ou équilibré, ou Hyperdisk équilibré pour les nœuds de cluster de gestionnaire (maître), de nœud de calcul principal et de nœud de calcul secondaire à partir du panneau Configurer les nœuds de la page Créer un cluster de Dataproc dans la Google Cloud console.

CLI gcloud

Vous pouvez créer un cluster et sélectionner un disque de démarrage persistant standard, SSD ou équilibré, ou Hyperdisk équilibré pour les nœuds de cluster de gestionnaire (maître), de nœud de calcul principal et de nœud de calcul secondaire à l'aide de la commande gcloud dataproc clusters create avec les options --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type.

Le type de disque de démarrage persistant par défaut pour le gestionnaire de cluster Dataproc (maître) et les nœuds de calcul principaux est pd-standard. Si le type de machine VM n'est compatible qu'avec Hyperdisk équilibré comme disque de démarrage, le disque de démarrage par défaut est hyperdisk-balanced. Le type de disque de démarrage persistant par défaut pour les nœuds de calcul secondaires du cluster est le type de disque de démarrage persistant du nœud de calcul principal.

Vous pouvez transmettre une valeur pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced aux --master-boot-disk-type, --worker-boot-disk-type, et --secondary-worker-boot-disk-type options. Vous pouvez définir n'importe quelle valeur de type de disque valide sur n'importe quel type de nœud de cluster.

Exemple :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Vous pouvez définir la taille des disques de démarrage persistants à l'aide des --master-boot-disk-size, --worker-boot-disk-size, et --secondary-worker-boot-disk-size options.

API REST

Le type de disque de démarrage par défaut pour le gestionnaire de cluster Dataproc (maître) et les nœuds de calcul principaux est pd-standard. Si le type de machine VM n'est compatible qu'avec Hyperdisk équilibré comme disque de démarrage, le disque de démarrage par défaut est hyperdisk-balanced. Le type de disque de démarrage par défaut pour les nœuds de calcul secondaires est le type de disque de démarrage du nœud de calcul principal.

Vous pouvez définir une valeur pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced dans le InstanceGroupConfig.DiskConfig.bootDiskType champ de masterConfig, workerConfig, et secondaryWorkerConfig dans le cadre d'une cluster.create requête d'API. Vous pouvez définir n'importe quelle valeur de type de disque de démarrage valide sur n'importe quel type de nœud de cluster.

Remarque : Définissez la taille du disque de démarrage par nœud à l'aide du champ InstanceGroupConfig.DiskConfig.bootDiskSizeGb de la configuration du nœud maître, du nœud de calcul ou du nœud de calcul secondaire.

Paramètres Hyperdisk

Lorsque vous créez un cluster avec un volume Hyperdisk équilibré comme disque de démarrage pour un nœud de cluster Dataproc, vous pouvez définir les IOPS et le débit provisionnés.

Console

Hyperdisk équilibré est sélectionné comme type de disque de démarrage principal par défaut pour les nœuds de cluster de gestionnaire (maître) et de nœud de calcul principal à partir du panneau Configurer les nœuds de la page Créer un cluster de Dataproc dans la Google Cloud console. Vous pouvez définir les IOPS et le débit, ou accepter les valeurs par défaut.

CLI gcloud

Vous pouvez définir les IOPS provisionnés et le débit provisionné pour les nœuds de cluster avec les disques de démarrage Hyperdisk équilibrés à l'aide de la commande gcloud dataproc clusters create avec les options --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput et --worker-boot-disk-provisioned-throughput.

Exemple :

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Les nœuds de calcul secondaires sont configurés avec les paramètres de disque de démarrage du nœud de calcul principal.

API REST

Vous pouvez définir les IOPS provisionnés et le débit provisionné pour les nœuds de cluster avec les disques de démarrage Hyperdisk à l'aide des champs InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops et InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput pour les configurations du gestionnaire (maître) et du nœud de calcul.