Bootlaufwerke für Managed Service for Apache Spark

Sie wählen für die Clusterknoten von Managed Service for Apache Spark nichtflüchtigen Standardspeicher, nichtflüchtigen SSD-Speicher, abgestimmten nichtflüchtigen Speicher, oder abgestimmten Google Cloud Hyperdisk-Speicher als Bootlaufwerke aus.

Optionen für den Bootlaufwerktyp:

  • Sie können für Masterknoten, primäre Worker-Knoten und sekundäre Worker-Knoten des Clusters ein Standard-Bootlaufwerk, ein SSD-Bootlaufwerk oder ein abgestimmtes Bootlaufwerk auswählen.

  • Sie können abgestimmten Hyperdisk-Speicher als Bootlaufwerk für Masterknoten und primäre Worker-Knoten auswählen. Wenn der Bootlaufwerktyp des primären Worker-Knotens auf „abgestimmter Hyperdisk-Speicher“ festgelegt ist, wird der Bootlaufwerktyp des sekundären Worker-Knotens automatisch auf „abgestimmter Hyperdisk-Speicher“ festgelegt.

Der standardmäßige nichtflüchtige Bootlaufwerktyp für Managed Service for Apache Spark-Cluster Masterknoten und primäre Worker-Knoten ist Standard (pd-standard). Wenn der VM Maschinentyp nur abgestimmten Hyperdisk-Speicher als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk abgestimmter Hyperdisk-Speicher (hyperdisk-balanced). Der standardmäßige nichtflüchtige Bootlaufwerktyp für sekundäre Worker-Knoten des Clusters ist der nichtflüchtige Bootlaufwerktyp des primären Worker-Knotens.

Nichtflüchtige Bootlaufwerktypen für Clusterknoten auswählen

Sie können den nichtflüchtigen Bootlaufwerktyp auswählen, wenn Sie einen Cluster über die Google Cloud Console, die Google Cloud CLI oder die Dataproc API erstellen.

Google Cloud Console

So wählen Sie Bootlaufwerktypen für Clusterknoten aus:

  1. Öffnen Sie die Seite Managed Service for Apache Spark Cluster erstellen.
  2. Klicken Sie auf Zusätzliche Konfiguration , um den Bereich zu maximieren.
  3. Klicken Sie auf Primäre Worker und Sekundäre Worker , um die Standardeinstellungen zu bestätigen oder zu ändern.
  4. Standardmäßig sind die Einstellungen für den Treiberknoten (Masterknoten) mit den Einstellungen für den primären Worker identisch. Unter Zusätzliche Konfiguration können Sie auf Treiberknoten klicken, um das Kästchen Treiberknoten standardmäßig auf primären Worker festlegen zu deaktivieren und dann die Einstellungen für den Treiberknoten anzugeben.

gcloud CLI

Sie können einen Cluster erstellen und Bootlaufwerktypen für Clusterknoten auswählen. Verwenden Sie dazu den gcloud dataproc clusters create Befehl mit den --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type Flags.

Beispiel : 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Sie können in der masterConfig, workerConfig, und secondaryWorkerConfig im InstanceGroupConfig.DiskConfig.bootDiskType Feld im Rahmen einer cluster.create API-Anfrage einen Wert von pd-standard, pd-ssd, pd-balanced, oder hyperdisk-balanced festlegen.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem abgestimmten Hyperdisk-Volume als Bootlaufwerk für einen Managed Service for Apache Spark-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Console

So konfigurieren Sie die bereitgestellten IOPS und den Durchsatz:

  1. Öffnen Sie die Seite Managed Service for Apache Spark Cluster erstellen.
  2. Klicken Sie auf Zusätzliche Konfiguration , um den Bereich zu maximieren.
  3. Klicken Sie auf Treiberknoten oder Primäre Worker.
  4. Konfigurieren Sie im daraufhin geöffneten Steuerfeld die Einstellungen für die bereitgestellten IOPS und den Durchsatz und klicken Sie dann auf Speichern.

gcloud CLI

Sie können die bereitgestellten IOPS und den bereitgestellten Durchsatz für Clusterknoten mit den abgestimmten Hyperdisk-Bootlaufwerken mit dem gcloud dataproc clusters create Befehl --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput Flags festlegen.

Beispiel : 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Sie können die bereitgestellten IOPS und den bereitgestellten Durchsatz für Clusterknoten mit Hyperdisk-Bootlaufwerken mit den Feldern InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Master- und Worker-Konfigurationen festlegen.