Almacenamiento en caché del clúster

El almacenamiento en caché de clústeres de Managed Service para Apache Spark te permite acelerar la ejecución de trabajos almacenando los datos de Cloud Storage a los que se accede con frecuencia de forma local en los nodos del clúster. Esta caché local reduce la latencia de lectura y minimiza las solicitudes a la API de Cloud Storage para cargas de trabajo repetitivas.

Cuando habilitas el almacenamiento en caché de clústeres de Managed Service para Apache Spark, el clúster almacena en caché los datos de Cloud Storage a los que tus trabajos de Spark acceden con frecuencia.

Beneficios

• Rendimiento mejorado: El almacenamiento en caché puede mejorar el rendimiento de los trabajos, ya que reduce la cantidad de tiempo que se dedica a recuperar datos del almacenamiento.
• Costos de almacenamiento reducidos: Como los datos activos se almacenan en caché en el disco local, se realizan menos llamadas a la API al almacenamiento para recuperar datos.
• Aplicabilidad de los trabajos de Spark: Cuando el almacenamiento en caché del clúster está habilitado en un clúster, se aplica a todos los trabajos de Spark que se ejecutan en el clúster, ya sea que se envíen al Managed Service para Apache Spark o se ejecuten de forma independiente en el clúster.

Limitaciones y requisitos

• El almacenamiento en caché solo se aplica a los trabajos de Managed Service para Apache Spark.
• Solo se almacenan en caché los datos de Cloud Storage.
• El almacenamiento en caché solo se aplica a los clústeres que cumplen con los siguientes requisitos:
  • El clúster tiene un nodo principal y n trabajadores (no se admiten los clústeres de alta disponibilidad [HA] ni de un solo nodo).
  • Esta función está disponible en las versiones de imagen 2.0.72+, 2.1.20+ y 2.2.0+ de Managed Service para Apache Spark.
  • Cada nodo del clúster debe tener SSD locales conectadas con la interfaz NVME (Non-Volatile Memory Express) (no se admiten discos persistentes [PD]). Los datos se almacenan en caché solo en SSD locales de NVMe.
  • El clúster usa la cuenta de servicio de VM predeterminada para la autenticación. No se admiten las cuentas de servicio de VM personalizadas.

Habilita el almacenamiento en caché del clúster

Puedes habilitar el almacenamiento en caché del clúster cuando creas un clúster de Managed Service para Apache Spark con la consola de Google Cloud , Google Cloud CLI o la API de Dataproc.

Consola deGoogle Cloud

1. Abre la página Crear clúster de la consola de Google Cloud .
2. Haz clic en Configuración adicional para expandir esa sección.
3. Edita Personalización y otros.
4. En el panel que se abre, en la sección Propiedades del clúster, haz clic en + Agregar propiedades.
5. Selecciona dataproc en la lista Prefijo y, luego, agrega la clave dataproc.cluster.caching.enabled y el valor true.

gcloud CLI

Ejecuta el comando gcloud dataproc clusters create de forma local en una ventana de terminal o en Cloud Shell con la propiedad de clúster dataproc:dataproc.cluster.caching.enabled=true.

Ejemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...
  

API de REST

Establece SoftwareConfig.properties para incluir la propiedad del clúster "dataproc:dataproc.cluster.caching.enabled": "true" como parte de una solicitud clusters.create.