Para complementar el disco de arranque, puedes conectar unidades de estado sólido locales (SSD locales) a los nodos trabajadores principales, primarios y secundarios de tu clúster. Cuando se proporcionan SSD locales al clúster, tanto los datos de HDFS como los temporales, como los resultados de shuffle, usan las SSD locales en lugar del disco persistente de arranque.
- Las SSD locales pueden proporcionar tiempos de lectura y escritura más rápidos que disco persistente (consulta Rendimiento de SSD locales).
- El tamaño de 375 GB de cada SSD local es fijo, pero puedes conectar varias SSD locales para aumentar el almacenamiento SSD (consulta Acerca de las SSD locales).
- Cada SSD local se activa en
/mnt/<id>en los nodos del clúster de Managed Service para Apache Spark. - Las SSD locales usan
ext4como el sistema de archivos predeterminado.
Usa SSD locales
Consola deGoogle Cloud
Crea un clúster y adjunta SSD locales a los nodos:
- Abre la página Crear clúster de Managed Service para Apache Spark.
- Haz clic en Configuración adicional para expandir esa sección.
- Edita Trabajadores principales y Trabajadores secundarios para establecer la configuración de SSD locales.
- De forma predeterminada, la configuración del nodo del controlador (principal) es la misma que la del trabajador principal. En Configuración adicional, puedes hacer clic en Nodo controlador para borrar la casilla de verificación Nodo controlador predeterminado igual que el trabajador principal y, luego, especificar la configuración del nodo controlador.
Comando de gcloud CLI
Usa el comando
gcloud dataproc clusters create
con las marcas --num-master-local-ssds,
--num-workers-local-ssds y
--num-secondary-worker-local-ssds para conectar SSD locales
a los nodos trabajadores principales, primarios y secundarios
del clúster.
Las SSD locales se pueden conectar a las VMs de Managed Service para Apache Spark con una interfaz SCSI
(interfaz de sistema de computación pequeña) o NVME (memoria no volátil rápida) (consulta
Rendimiento de SSD locales).
La interfaz de SSD local de la VM del clúster de Managed Service para Apache Spark predeterminada es la interfaz SCSI. Usa el
comando gcloud dataproc clusters create
con las marcas --master-local-ssd-interface,
--worker-local-ssd-interface y
--secondary-worker-local-ssd-interface
para especificar la interfaz de SSD local para los nodos trabajadores principales, primarios y secundarios.
Ejemplo:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API de REST
Establece el
campo numLocalSsds
en masterConfig, workerConfig y
secondaryWorkerConfig
InstanceGroupConfig
en una
solicitud a la API de
cluster.create
para adjuntar SSD locales a los nodos trabajadores principales, primarios y
secundarios del clúster.
Las SSD locales se pueden conectar a las VMs de Managed Service para Apache Spark con una interfaz SCSI
(interfaz de sistema de computación pequeña) o NVME (memoria no volátil rápida) (consulta
Rendimiento de SSD locales).
La interfaz de SSD local de la VM del clúster de Managed Service para Apache Spark predeterminada es la interfaz SCSI. Establece el campo
localSsdInterface
en masterConfig, workerConfig y
secondaryWorkerConfig
InstanceGroupConfig
en una solicitud a la API
cluster.create
para especificar la interfaz "SCSI" o "NVME" para conectar SSD locales a los nodos trabajadores principales,
primarios y secundarios del clúster.