"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google uses AI technology to translate content into your preferred language. AI translations can contain errors.
Almacenamiento de datos en Hadoop
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Managed Service para Apache Spark se integra con Apache Hadoop y el sistema de archivos distribuidos de Hadoop (HDFS). Las siguientes características y consideraciones pueden ser importantes cuando se seleccionan opciones de procesamiento y almacenamiento de datos para clústeres y trabajos de Managed Service para Apache Spark:
HDFS con Cloud Storage: Managed Service para Apache Spark usa el sistema de archivos distribuidos de Hadoop (HDFS) para el almacenamiento. Además, Managed Service para Apache Spark instala automáticamente el conector de Cloud Storage compatible con HDFS, que permite el uso de Cloud Storage en paralelo con HDFS. Se pueden ingresar y extraer datos de un clúster a través de cargas y descargas en HDFS o Cloud Storage.
Discos de VM:
De forma predeterminada, cuando no se proporcionan SSD locales, los datos de HDFS y los datos aleatorios intermedios se almacenan en los discos de arranque de VM, que son discos persistentes.
Si usas SSD locales, los datos de HDFS y los datos aleatorios intermedios se almacenan en los SSD.
El tamaño y el tipo de disco persistente (PD) afectan el rendimiento y el tamaño de la VM, ya sea que uses HDFS o Cloud Storage para el almacenamiento de datos.
Los discos de arranque de VM se borran cuando se borra el clúster.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2026-06-04 (UTC)"],[],[]]
