SSD locali di Managed Service per Apache Spark

Per integrare il disco di avvio, puoi collegare unità SSD locali ai nodi master, worker principali e worker secondari del cluster. Quando le unità SSD locali vengono fornite al cluster, sia i dati HDFS che i dati temporanei, come gli output di shuffle, utilizzano le unità SSD locali anziché il disco permanente di avvio.

  • Le unità SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto al disco permanente (vedi Prestazioni degli SSD locali).
  • La dimensione di 375 GB di ogni unità SSD locale è fissa, ma puoi collegare più unità SSD locali per aumentare lo spazio di archiviazione SSD (vedi Informazioni sugli SSD locali).
  • Ogni unità SSD locale è montata su /mnt/<id> nei nodi del cluster Managed Service for Apache Spark.
  • Le unità SSD locali utilizzano ext4 come file system predefinito.

Utilizzare le unità SSD locali

Google Cloud Console

Crea un cluster e collega le unità SSD locali ai nodi:

  1. Apri la pagina Crea cluster di Managed Service for Apache Spark.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Modifica Worker principali e Worker secondari per configurare le impostazioni degli SSD locali.
  4. Per impostazione predefinita, le impostazioni del nodo driver (master) sono le stesse dei worker principali. In Configurazione aggiuntiva, puoi fare clic su Nodo driver per deselezionare la casella di controllo Imposta il nodo driver come il worker principale, quindi specificare le impostazioni del nodo driver.

Comando gcloud CLI

Utilizza il gcloud dataproc clusters create comando con i flag --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, worker principali e worker secondari del cluster.

Le unità SSD locali possono essere collegate alle VM di Managed Service for Apache Spark utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (vedi Prestazioni degli SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Managed Service for Apache Spark è l'interfaccia SCSI. Utilizza il comando gcloud dataproc clusters create con i flag --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface per specificare l'interfaccia SSD locale per i nodi master, worker principali e worker secondari.

Esempio:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Imposta il numLocalSsds campo in masterConfig, workerConfig, e secondaryWorkerConfig InstanceGroupConfig in una richiesta API cluster.create per collegare le unità SSD locali ai nodi master, worker principali e worker secondari del cluster.

Le unità SSD locali possono essere collegate alle VM di Managed Service for Apache Spark utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (vedi Prestazioni degli SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Managed Service for Apache Spark è l'interfaccia SCSI. Imposta il localSsdInterface campo in masterConfig, workerConfig, e secondaryWorkerConfig InstanceGroupConfig in una cluster.create richiesta API per specificare l'interfaccia"SCSI " o"NVME" per collegare le unità SSD locali ai nodi master, worker principali e worker secondari del cluster.