Dataproc-Bootlaufwerke

Sie wählen nichtflüchtigen Standardspeicher, nichtflüchtigen SSD-Speicher, nichtflüchtigen Speicher vom Typ „Ausgeglichen“ Persistent Disk, oder Google Cloud Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerke für Dataproc-Clusterknoten aus.

Nichtflüchtige Bootlaufwerkstypen für Clusterknoten auswählen

Sie können den nichtflüchtigen Bootlaufwerkstyp auswählen, wenn Sie einen Cluster über die Google Cloud Console, die Google Cloud CLI oder die Dataproc API erstellen.

Console

Sie können einen Cluster erstellen und ein nichtflüchtiges Standard-Bootlaufwerk, ein nichtflüchtiges SSD-Bootlaufwerk, ein nichtflüchtiges Bootlaufwerk vom Typ „Ausgeglichen“, oder Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerk für Managerknoten (Master), primäre Worker-Knoten und sekundäre Worker-Knoten im Bereich Knoten konfigurieren auf der Dataproc-Seite Cluster erstellen des Google Cloud Console auswählen.

gcloud-CLI

Sie können einen Cluster erstellen und ein nichtflüchtiges Standard-Bootlaufwerk, ein nichtflüchtiges SSD-Bootlaufwerk, ein nichtflüchtiges Bootlaufwerk vom Typ „Ausgeglichen“ oder Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerk für Managerknoten (Master), primäre Worker-Knoten und sekundäre Worker-Knoten mit dem Befehl gcloud dataproc clusters create und den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type auswählen.

Der standardmäßige nichtflüchtige Bootlaufwerkstyp für Dataproc-Cluster-Managerknoten (Master) und primäre Worker-Knoten ist pd-standard. Wenn der VM Maschinentyp nur Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk hyperdisk-balanced. Der standardmäßige nichtflüchtige Bootlaufwerkstyp für Cluster sekundäre Worker-Knoten ist der nichtflüchtige Bootlaufwerkstyp des primären Worker-Knotens.

Sie können den --master-boot-disk-type, --worker-boot-disk-type, und --secondary-worker-boot-disk-type Flags einen Wert von pd-standard, pd-ssd, pd-balanced, oder hyperdisk-balanced übergeben. Jeder der gültigen Werte für den Laufwerkstyp kann für jeden Clusterknotentyp festgelegt werden.

Beispiel:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Sie können die Größe von nichtflüchtigen Bootlaufwerken mit den --master-boot-disk-size, --worker-boot-disk-size, und --secondary-worker-boot-disk-size Flags festlegen.

REST API

Der standardmäßige Bootlaufwerkstyp für Dataproc-Cluster-Managerknoten (Master) und primäre Worker Knoten ist pd-standard. Wenn der VM-Maschinentyp nur Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk hyperdisk-balanced. Der standardmäßige Bootlaufwerkstyp für sekundäre Worker Knoten ist der Bootlaufwerkstyp des primären Worker-Knotens.

Sie können in einer cluster.create API-Anfrage im InstanceGroupConfig.DiskConfig.bootDiskType Feld in den masterConfig, workerConfig und secondaryWorkerConfig einen Wert von pd-standard, pd-ssd, pd-balanced, oder hyperdisk-balanced festlegen. Jeder der gültigen Werte für den Bootlaufwerkstyp kann für jeden Clusterknotentyp festgelegt werden.

Hinweis: Die Größe des Bootlaufwerks pro Knoten muss in der Master-, Worker- oder sekundären Worker-Konfiguration mit dem Feld InstanceGroupConfig.DiskConfig.bootDiskSizeGb festgelegt werden.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerk für einen Dataproc-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den bereitgestellten Durchsatz festlegen.

Console

Hyperdisk vom Typ „Ausgeglichen“ ist als standardmäßiger primärer Bootlaufwerkstyp für Managerknoten (Master) und primäre Worker-Knoten im Bereich Knoten konfigurieren auf der Dataproc-Seite Cluster erstellen in der Google Cloud Console ausgewählt. Sie können IOPS und Durchsatz festlegen oder die Standard werte übernehmen.

gcloud-CLI

Sie können die bereitgestellten IOPS und den bereitgestellten Durchsatz für Clusterknoten mit den Hyperdisk vom Typ „Ausgeglichen“ als Bootlaufwerk mit dem gcloud dataproc clusters create Befehl --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput Flags festlegen.

Beispiel:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Sekundäre Worker werden mit den Bootlaufwerkseinstellungen des primären Workers konfiguriert.

REST API

Sie können die bereitgestellten IOPS und den bereitgestellten Durchsatz für Clusterknoten mit Hyperdisk als Bootlaufwerk mit den Feldern InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Manager- (Master-) und Worker-Konfigurationen festlegen.