Lokale SSDs in Managed Service for Apache Spark

Als Ergänzung zum Bootlaufwerk können Sie lokale SSDs (Solid State Drive) an Master-, primäre Worker- und sekundäre Worker-Knoten in Ihrem Cluster anhängen. Wenn dem Cluster lokale SSDs bereitgestellt werden, verwenden sowohl HDFS- als auch Scratch-Daten wie Shuffle-Ausgaben die lokalen SSDs anstelle des nichtflüchtigen Bootlaufwerks.

  • Im Vergleich zu nichtflüchtigem Speicher bieten lokale SSDs schnellere Lese- und Schreibzeiten (siehe Leistung lokaler SSDs).
  • Die Größe 375 GB der einzelnen lokalen SSDs ist fest vorgegeben. Sie können jedoch mehrere lokale SSDs anhängen, um den SSD-Speicher zu erhöhen (siehe Lokale SSDs).
  • Jede lokale SSD wird auf Managed Service for Apache Spark-Clusterknoten unter /mnt/<id> bereitgestellt.
  • Für lokale SSDs wird ext4 als Standarddateisystem verwendet.

Lokale SSDs verwenden

Google Cloud Console

So erstellen Sie einen Cluster und hängen lokale SSDs an die Knoten an:

  1. Öffnen Sie die Seite Cluster erstellen für Managed Service for Apache Spark.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Bearbeiten Sie Primäre Worker und Sekundäre Worker, um die Einstellungen für lokale SSDs zu konfigurieren.
  4. Standardmäßig sind die Einstellungen für den Treiberknoten (Master) mit den Einstellungen für den primären Worker identisch. Klicken Sie unter Zusätzliche Konfiguration auf Treiberknoten, um das Kästchen Treiberknoten standardmäßig auf primären Worker festlegen zu deaktivieren, und geben Sie dann die Einstellungen für den Treiberknoten an.

gcloud CLI-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --num-master-local-ssds, --num-workers-local-ssds und --num-secondary-worker-local-ssds, um lokale SSDs jeweils den Masterknoten sowie primären und sekundären Worker-Knoten des Clusters hinzuzufügen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Managed Service for Apache Spark-VMs angehängt werden (siehe Leistung lokaler SSDs). Die Standardschnittstelle für lokale SSDs von VMs in Managed Service for Apache Spark-Clustern ist die SCSI-Schnittstelle. Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --master-local-ssd-interface, --worker-local-ssd-interface und --secondary-worker-local-ssd-interface, um die lokale SSD-Schnittstelle für Master-, primäre und sekundäre Worker-Knoten anzugeben.

Beispiel:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Legen Sie das Feld numLocalSsds in den InstanceGroupConfig masterConfig, workerConfig und secondaryWorkerConfig der API-Anfrage cluster.create fest, um lokale SSDs jeweils an den Masterknoten sowie an primäre und sekundäre Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Managed Service for Apache Spark-VMs angehängt werden (siehe Leistung lokaler SSDs). Die Standardschnittstelle für lokale SSDs von VMs in Managed Service for Apache Spark-Clustern ist die SCSI-Schnittstelle. Legen Sie das Feld localSsdInterface in den InstanceGroupConfig masterConfig, workerConfig und secondaryWorkerConfig der API-Anfrage cluster.create fest, um die Schnittstelle „SCSI“ oder „NVME“ anzugeben, mit der lokale SSDs an den Masterknoten sowie an primäre und sekundäre Worker-Knoten des Clusters angehängt werden.