Bootlaufwerke für Managed Service for Apache Spark

Sie können Persistent Disk (Standard, SSD oder Balanced) oder Google Cloud Hyperdisk Balanced als Bootlaufwerke für Managed Service for Apache Spark-Clusterknoten auswählen.

Optionen für den Bootlaufwerktyp:

  • Sie können einen Standard-, SSD- oder abgestimmten nichtflüchtigen Speicher als Bootlaufwerk für Manager- (Master-), primäre Worker- und sekundäre Worker-Clusterknoten auswählen.

  • Sie können Hyperdisk Balanced als Bootlaufwerk für Manager- (Master-) und primäre Worker-Knoten auswählen. Hinweis: Wenn der Bootlaufwerktyp des primären Workers auf „Hyperdisk Balanced“ festgelegt ist, wird der Bootlaufwerktyp des sekundären Workers im Managed Service for Apache Spark automatisch auf „Hyperdisk Balanced“ festgelegt.

Der standardmäßige nichtflüchtige Bootlaufwerktyp für Master- und primäre Worker-Knoten von Managed Service for Apache Spark-Clustern ist Standard (pd-standard). Wenn der Maschinentyp der VM nur Hyperdisk Balanced als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk Hyperdisk Balanced (hyperdisk-balanced). Der standardmäßige nichtflüchtige Bootlaufwerktyp für sekundäre Worker-Knoten von Clustern ist der nichtflüchtige Bootlaufwerktyp des primären Worker-Knotens.

Nichtflüchtige Bootlaufwerkstypen für Clusterknoten auswählen

Sie können den Typ des nichtflüchtigen Bootlaufwerks auswählen, wenn Sie einen Cluster mit derGoogle Cloud Console, der Google Cloud CLI oder der Managed Service for Apache Spark API erstellen.

Console

Sie können einen Cluster erstellen und Bootlaufwerktypen für Clusterknoten im Bereich Knoten konfigurieren auf der Seite Cluster erstellen für Managed Service for Apache Spark in der Google Cloud Console auswählen.

gcloud-CLI

Über den Befehl gcloud dataproc clusters create mit den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type können Sie einen Cluster erstellen und Bootlaufwerktypen für Clusternodes auswählen.

Beispiel: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Sie können im Feld InstanceGroupConfig.DiskConfig.bootDiskType in den masterConfig-, workerConfig- und secondaryWorkerConfig-Parametern im Rahmen einer cluster.create-API-Anfrage einen Wert von pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced festlegen.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk Balanced-Volume als Bootlaufwerk für einen Managed Service for Apache Spark-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Console

Sie können IOPS und Durchsatz festlegen oder die Standardwerte aus dem Bereich Knoten konfigurieren auf der Seite Cluster erstellen für Managed Service for Apache Spark übernehmen.

gcloud-CLI

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit den Bootlaufwerken vom Typ „Hyperdisk abgestimmt“ mit den Flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput des Befehls gcloud dataproc clusters create festlegen.

Beispiel: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusternodes mit Hyperdisk-Bootlaufwerken mit den Feldern InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Manager- (Master-) und Worker-Konfigurationen festlegen.