"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google uses AI technology to translate content into your preferred language. AI translations can contain errors.
Armazenamento de dados Hadoop
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O Serviço Gerenciado para Apache Spark se integra ao Apache Hadoop e ao Hadoop Distributed
File System (HDFS). Os seguintes recursos e considerações podem ser importantes
ao selecionar opções de computação e armazenamento de dados para clusters e jobs do Serviço Gerenciado para Apache Spark:
HDFS com Cloud Storage:
o Serviço Gerenciado para Apache Spark usa o
Hadoop Distributed File System (HDFS) para armazenamento. Além disso,
o Serviço gerenciado para Apache Spark instala automaticamente o
conector do Cloud Storage
compatível com o HDFS, que permite o uso do Cloud Storage
em paralelo com o HDFS. Os dados podem ser movidos para
dentro e para fora de um cluster por meio de upload e download para o HDFS ou o Cloud Storage.
Discos de VM:
Por padrão, quando nenhum SSD local é fornecido, os dados HDFS e dados de embaralhamento intermediários
são armazenados em discos de inicialização de VMs, que são
discos permanentes.
Se você usar SSDs locais,
os dados do HDFS e os dados aleatórios intermediários serão armazenados nos SSDs.
O tamanho e o tipo do disco permanente (DP) afetam o desempenho e o tamanho da VM, seja usando HDFS ou Cloud Storage
para armazenamento de dados.
Os discos de inicialização de VM são excluídos quando o cluster é excluído.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2026-06-04 UTC."],[],[]]
