Bootlaufwerke für Managed Service for Apache Spark

Sie können Persistent Disk (Standard, SSD oder Balanced) oder Google Cloud Hyperdisk Balanced als Bootlaufwerke für Clusterknoten von Managed Service for Apache Spark auswählen.

Optionen für den Bootlaufwerktyp:

  • Sie können einen nichtflüchtigen Standardspeicher, einen nichtflüchtigen SSD-Speicher oder einen nichtflüchtigen Speicher mit ausgewogener Leistung als Bootlaufwerk für Manager- (Master-), primäre Worker- und sekundäre Worker-Clusterknoten auswählen.

  • Sie können Hyperdisk Balanced als Bootlaufwerk für Manager- (Master-) und primäre Worker-Knoten auswählen. Hinweis: Managed Service for Apache Spark legt den Bootlaufwerktyp des sekundären Workers automatisch auf „Hyperdisk Balanced“ fest, wenn der Bootlaufwerktyp des primären Workers auf „Hyperdisk Balanced“ festgelegt ist.

Der standardmäßige nichtflüchtige Bootlaufwerktyp für Master- und primäre Worker-Knoten des Managed Service for Apache Spark-Clustermanagers ist standard (pd-standard). Wenn der Maschinentyp der VM nur Hyperdisk Balanced als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk Hyperdisk Balanced (hyperdisk-balanced). Der standardmäßige nichtflüchtige Bootlaufwerktyp für sekundäre Worker-Knoten des Clusters ist der nichtflüchtige Bootlaufwerktyp des primären Worker-Knotens.

Typen von nichtflüchtigen Bootlaufwerken für Clusterknoten auswählen

Sie können den Typ des nichtflüchtigen Bootlaufwerks auswählen, wenn Sie einen Cluster mit derGoogle Cloud Console, der Google Cloud CLI oder der Managed Service for Apache Spark API erstellen.

Console

Sie können einen Cluster erstellen und Bootlaufwerktypen für Clusterknoten im Bereich Knoten konfigurieren auf der Seite Cluster erstellen von Managed Service for Apache Spark in der Google Cloud Console auswählen.

gcloud-CLI

Über den Befehl gcloud dataproc clusters create mit den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type können Sie einen Cluster erstellen und Bootlaufwerktypen für Clusternknoten auswählen.

Beispiel: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Sie können im Feld InstanceGroupConfig.DiskConfig.bootDiskType in den masterConfig-, workerConfig- und secondaryWorkerConfig-Parametern einen Wert von pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced als Teil einer cluster.create-API-Anfrage festlegen.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk Balanced-Volume als Bootlaufwerk für einen Knoten des Managed Service for Apache Spark-Clusters erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Console

Sie können IOPS und Durchsatz festlegen oder die Standardwerte aus dem Bereich Knoten konfigurieren auf der Seite Cluster erstellen von Managed Service for Apache Spark übernehmen.

gcloud-CLI

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit den Bootlaufwerken „Hyperdisk abgestimmt“ mit den Flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput des Befehls gcloud dataproc clusters create festlegen.

Beispiel: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit Hyperdisk-Bootlaufwerken mit den Feldern InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Manager- (Master-) und Worker-Konfigurationen festlegen.