Vous sélectionnez un disque Persistent Disk standard, SSD ou avec équilibrage, ou un disque Google Cloud Hyperdisk balanced comme disque de démarrage pour les nœuds de cluster Managed Service for Apache Spark.
Options de type de disque de démarrage :
Vous pouvez sélectionner un disque de démarrage standard, SSD ou disque persistant avec équilibrage pour les nœuds de cluster gestionnaire (maître), nœud de calcul principal et nœud de calcul secondaire.
Vous pouvez sélectionner Hyperdisk avec équilibrage comme disque de démarrage pour les nœuds gestionnaire (maître) et nœud de calcul principal. Notez que Managed Service pour Apache Spark définit automatiquement le type de disque de démarrage du nœud de calcul secondaire sur Hyperdisk avec équilibrage lorsque le type de disque de démarrage du nœud de calcul principal est défini sur Hyperdisk avec équilibrage.
Le type de disque de démarrage persistant par défaut pour le gestionnaire de cluster Managed Service pour Apache Spark
(maître) et les nœuds de calcul principaux est standard (pd-standard). Si le
type de machine
VM n'accepte qu'Hyperdisk avec équilibrage
comme disque de démarrage, le disque de démarrage par défaut est Hyperdisk avec équilibrage (hyperdisk-balanced).
Le type de disque de démarrage persistant par défaut pour les nœuds de calcul secondaires du cluster est le type de disque de démarrage persistant du
nœud de calcul principal.
Sélectionner des types de disques de démarrage persistants pour les nœuds de cluster
Vous pouvez sélectionner le type de disque de démarrage persistant lorsque vous créez un cluster à l'aide de la Google Cloud console, de Google Cloud CLI ou de l'API Managed Service pour Apache Spark.
Console
Vous pouvez créer un cluster et sélectionner les types de disque de démarrage des nœuds de cluster dans le Configurer les nœuds panneau de la page Managed Service for Apache Spark Créer un cluster de la Google Cloud console.
gcloud CLI
Vous pouvez créer un cluster et sélectionner les types de disque de démarrage des nœuds de cluster à l'aide de la
commande gcloud dataproc clusters create
avec les options --master-boot-disk-type,
--worker-boot-disk-type et
--secondary-worker-boot-disk-type.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
API REST
Vous pouvez définir une valeur pd-standard, pd-ssd,
pd-balanced, ou hyperdisk-balanced dans le
InstanceGroupConfig.DiskConfig.bootDiskType
champ de masterConfig, workerConfig, et
secondaryWorkerConfig dans le cadre d'une
cluster.create
requête d'API.
Paramètres Hyperdisk
Lorsque vous créez un cluster avec un volume Hyperdisk avec équilibrage comme disque de démarrage pour un nœud de cluster Managed Service pour Apache Spark, vous pouvez définir les IOPS et le débit provisionnés.
Console
Vous pouvez définir les IOPS et le débit, ou accepter les valeurs par défaut dans le panneau Configurer les nœuds de la page Créer un cluster de Managed Service pour Apache Spark.
gcloud CLI
Vous pouvez définir les IOPS provisionnés et le débit provisionné pour les nœuds de cluster avec les
disques de démarrage Hyperdisk avec équilibrage à l'aide de la
commande gcloud dataproc clusters create
avec les options --master-boot-disk-provisioned-iops,
--worker-boot-disk-provisioned-iops,
--master-boot-disk-provisioned-throughput et
--worker-boot-disk-provisioned-throughput.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
API REST
Vous pouvez définir les IOPS provisionnés et le débit provisionné pour les nœuds de cluster avec
les disques de démarrage Hyperdisk à l'aide des champs InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops et InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput pour
les configurations du gestionnaire (maître) et du nœud de calcul.