Managed Service para Apache Spark te permite almacenar y procesar datos de cargas de trabajo con el sistema de archivos distribuido de Hadoop (HDFS) y Cloud Storage en paralelo. Con el conector de Cloud Storage preinstalado, puedes transferir datos hacia y desde tus clústeres mientras adaptas el almacenamiento en disco de la VM subyacente a los requisitos de rendimiento de tu trabajo.
Opciones y consideraciones de almacenamiento
Las siguientes funciones y consideraciones pueden ser importantes cuando se seleccionan opciones de procesamiento y almacenamiento de datos para los clústeres y trabajos de Managed Service para Apache Spark:
- HDFS con Cloud Storage: Managed Service para Apache Spark usa el sistema de archivos distribuido de Hadoop (HDFS) para el almacenamiento. Además, Managed Service para Apache Spark instala automáticamente el conector de Cloud Storage compatible con HDFS, lo que permite el uso de Cloud Storage en paralelo con HDFS. Los datos se pueden mover dentro y fuera de un clúster a través de la carga y descarga en HDFS o Cloud Storage.
- Discos de VM:
- De forma predeterminada, cuando no se proporcionan SSD locales, los datos de HDFS y los datos aleatorios intermedios se almacenan en los discos de arranque de VM, que son discos persistentes.
- Si usas SSD locales, los datos de HDFS y los datos aleatorios intermedios se almacenan en los SSD.
- El tamaño y el tipo de disco persistente (PD) afectan el rendimiento y el tamaño de la VM, ya sea que se use HDFS o Cloud Storage para el almacén de datos.
- Los discos de arranque de VM se borran cuando se borra el clúster.