SSD locali Dataproc

Per integrare il disco di avvio, puoi collegare unità SSD locali ai nodi master, worker primari e worker secondari del cluster. Quando le unità SSD locali vengono fornite al cluster, sia i dati HDFS che i dati temporanei, come gli output di shuffle, utilizzano le unità SSD locali anziché il disco permanente di avvio.

  • Le unità SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto ai dischi permanenti (vedi Prestazioni degli SSD locali).
  • La dimensione di 375 GB di ogni unità SSD locale è fissa, ma puoi collegare più unità SSD locali per aumentare lo spazio di archiviazione SSD (vedi Informazioni sugli SSD locali).
  • Ogni unità SSD locale è montata su /mnt/<id> nei nodi del cluster Dataproc.
  • Le unità SSD locali utilizzano ext4 come file system predefinito.

Utilizzare le unità SSD locali

Comando g-cloud

Utilizza il gcloud dataproc clusters create comando con i flag --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, worker primari e worker secondari del cluster.

Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (vedi Prestazioni degli SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Dataproc è l'interfaccia SCSI. Utilizza il comando gcloud dataproc clusters create con i flag --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface per specificare l'interfaccia SSD locale per i nodi master, worker primari e worker secondari.

Esempio:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Imposta il numLocalSsds campo in masterConfig, workerConfig, e secondaryWorkerConfig InstanceGroupConfig in una cluster.create richiesta API per collegare le unità SSD locali ai nodi master, worker primari e worker secondari del cluster.

Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (vedi Prestazioni degli SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Dataproc è l'interfaccia SCSI. Imposta il localSsdInterface campo in masterConfig, workerConfig, e secondaryWorkerConfig InstanceGroupConfig in una cluster.create richiesta API per specificare l'interfaccia"SCSI " o"NVME" per collegare le unità SSD locali ai nodi master, worker primari e worker secondari del cluster.

Console

Crea un cluster e collega le unità SSD locali ai nodi master, worker primari e worker secondari dal riquadro Configura nodi della pagina Crea un cluster di Dataproc della Google Cloud console.