Bootlaufwerke für Managed Service for Apache Spark

Sie können Persistent Disk (Standard, SSD oder Balanced) oder Google Cloud Hyperdisk Balanced als Bootlaufwerke für Managed Service for Apache Spark-Clusterknoten auswählen.

Optionen für den Bootlaufwerktyp:

  • Sie können ein Standard-, SSD- oder ausgewogenes nichtflüchtiges Laufwerk als Bootlaufwerk für Master-, primäre Worker- und sekundäre Worker-Clusterknoten auswählen.

  • Sie können Hyperdisk Balanced als Bootlaufwerk für Master- und primäre Worker-Knoten auswählen. Hinweis: Wenn der Bootlaufwerktyp des primären Workers auf „Hyperdisk Balanced“ festgelegt ist, wird der Bootlaufwerktyp des sekundären Workers im Managed Service for Apache Spark automatisch auf „Hyperdisk Balanced“ festgelegt.

Der standardmäßige nichtflüchtige Bootlaufwerktyp für Master- und primäre Worker-Knoten von Managed Service for Apache Spark-Clustern ist Standard (pd-standard). Wenn der Maschinentyp der VM nur Hyperdisk Balanced als Bootlaufwerk unterstützt, ist das Standard-Bootlaufwerk Hyperdisk Balanced (hyperdisk-balanced). Der standardmäßige nichtflüchtige Bootlaufwerktyp für sekundäre Worker-Knoten von Clustern ist der nichtflüchtige Bootlaufwerktyp des primären Worker-Knotens.

Nichtflüchtige Bootlaufwerkstypen für Clusterknoten auswählen

Sie können den Typ des nichtflüchtigen Bootlaufwerks auswählen, wenn Sie einen Cluster mit derGoogle Cloud -Konsole, der Google Cloud CLI oder der Dataproc API erstellen.

Google Cloud Console

So wählen Sie Bootlaufwerktypen für Clusterknoten aus:

  1. Öffnen Sie die Seite Cluster erstellen für Managed Service for Apache Spark.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Klicken Sie auf Primäre Worker und Sekundäre Worker, um die Standardeinstellungen zu bestätigen oder zu ändern.
  4. Standardmäßig sind die Einstellungen für den Treiberknoten (Master) mit den Einstellungen für den primären Worker identisch. Klicken Sie unter Zusätzliche Konfiguration auf Treiberknoten, um das Kästchen Treiberknoten standardmäßig auf primären Worker festlegen zu deaktivieren, und geben Sie dann die Einstellungen für den Treiberknoten an.

gcloud-CLI

Über den Befehl gcloud dataproc clusters create mit den Flags --master-boot-disk-type, --worker-boot-disk-type und --secondary-worker-boot-disk-type können Sie einen Cluster erstellen und Bootlaufwerktypen für Clusternodes auswählen.

Beispiel: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Sie können im Feld InstanceGroupConfig.DiskConfig.bootDiskType in den masterConfig-, workerConfig- und secondaryWorkerConfig-Parametern im Rahmen einer cluster.create-API-Anfrage einen Wert von pd-standard, pd-ssd, pd-balanced oder hyperdisk-balanced festlegen.

Hyperdisk-Einstellungen

Wenn Sie einen Cluster mit einem Hyperdisk Balanced-Volume als Bootlaufwerk für einen Managed Service for Apache Spark-Clusterknoten erstellen, können Sie die bereitgestellten IOPS und den Durchsatz festlegen.

Console

So konfigurieren Sie bereitgestellte IOPS und den Durchsatz:

  1. Öffnen Sie die Seite Cluster erstellen für Managed Service for Apache Spark.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Klicken Sie auf Driver-Knoten oder Primäre Worker.
  4. Konfigurieren Sie im geöffneten Bereich die Einstellungen für bereitgestellte IOPS und Durchsatz und klicken Sie dann auf Speichern.

gcloud-CLI

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusterknoten mit den Bootlaufwerken vom Typ „Hyperdisk abgestimmt“ mit den Flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput und --worker-boot-disk-provisioned-throughput des Befehls gcloud dataproc clusters create festlegen.

Beispiel: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Sie können bereitgestellte IOPS und bereitgestellten Durchsatz für Clusternodes mit Hyperdisk-Bootlaufwerken mit den Feldern InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops und InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput für die Master- und Worker-Konfigurationen festlegen.