Dataproc-Bootlaufwerke

Sie können nichtflüchtige Standardspeicher, nichtflüchtige SSD-Speicher, nichtflüchtige Balanced-Speicher oder Google Cloud Hyperdisk Balanced als Bootlaufwerke für Dataproc-Clusterknoten auswählen.

Optionen für den Bootlaufwerktyp:

• Sie können einen nichtflüchtigen Standardspeicher, einen nichtflüchtigen SSD-Speicher oder einen nichtflüchtigen Speicher mit ausgewogener Leistung als Bootlaufwerk für Manager- (Master-), primäre Worker- und sekundäre Worker-Clusterknoten auswählen.

• Sie können Hyperdisk Balanced als Bootlaufwerk für Manager- (Master-) und primäre Worker-Knoten auswählen. Hinweis: Dataproc legt den Bootlaufwerktyp des sekundären Workers automatisch auf „Hyperdisk Balanced“ fest, wenn der Bootlaufwerktyp des primären Workers auf „Hyperdisk Balanced“ festgelegt ist.

Der standardmäßige nichtflüchtige Bootlaufwerktyp für Dataproc-Clustermanager (Master) und primäre Worker-Knoten ist Standard (pd-standard). Wenn der Maschinentyp der VM nur Hyperdisk Balanced als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk Hyperdisk Balanced (hyperdisk-balanced). Der standardmäßige nichtflüchtige Bootlaufwerktyp für sekundäre Worker-Knoten des Clusters ist der nichtflüchtige Bootlaufwerktyp des primären Worker-Knotens.

Typen von nichtflüchtigen Bootlaufwerken für Clusterknoten auswählen

Sie können den Typ des persistenten Bootlaufwerks auswählen, wenn Sie einen Cluster mit derGoogle Cloud -Konsole, der Google Cloud CLI oder der Dataproc API erstellen.

Console

Sie können einen Cluster erstellen und Bootlaufwerktypen für Clusterknoten im Bereich Knoten konfigurieren auf der Dataproc-Seite Cluster erstellen der Google Cloud Console auswählen.

gcloud-CLI

Über den Befehl gcloud dataproc clusters create mit den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type können Sie einen Cluster erstellen und Bootlaufwerktypen für Clusternknoten auswählen.

Beispiel:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...

p

Sie können die Größe von nichtflüchtigen Bootlaufwerken mit den Flags --master-boot-disk-size, --worker-boot-disk-size und --secondary-worker-boot-disk-size festlegen.

REST API

Sie können im Feld InstanceGroupConfig.DiskConfig.bootDiskType in den masterConfig-, workerConfig- und secondaryWorkerConfig-Parametern einen Wert von pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced als Teil einer cluster.create-API-Anfrage festlegen.

Hinweis: Die Größe des Bootlaufwerks pro Knoten muss in der Master-, Worker- oder sekundären Worker-Konfiguration mit dem Feld InstanceGroupConfig.DiskConfig.bootDiskSizeGb festgelegt werden.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk Balanced-Volume als Bootlaufwerk für einen Dataproc-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Console

Sie können IOPS und Durchsatz festlegen oder die Standardwerte im Bereich Knoten konfigurieren auf der Dataproc-Seite Cluster erstellen übernehmen.

gcloud-CLI

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit den Bootlaufwerken „Hyperdisk abgestimmt“ mit den Flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput des Befehls gcloud dataproc clusters create festlegen.

Beispiel:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

REST API

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusternodes mit Hyperdisk-Bootlaufwerken über die Felder InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Manager- (Master-) und Worker-Konfigurationen festlegen.