"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google uses AI technology to translate content into your preferred language. AI translations can contain errors.
Armazenamento de dados Hadoop
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O Serviço Gerenciado para Apache Spark se integra ao Apache Hadoop e ao Hadoop Distribued File System (HDFS). Os seguintes recursos e considerações podem ser importantes ao selecionar opções de computação e armazenamento de dados para clusters e jobs do Serviço Gerenciado para Apache Spark:
HDFS com Cloud Storage: o Serviço Gerenciado para Apache Spark usa o Hadoop Distribued File System (HDFS) para armazenamento. Além disso,
o Serviço Gerenciado para Apache Spark instala automaticamente o conector do
Cloud Storage compatível com o HDFS,
que permite o uso do Cloud Storage
em paralelo com o HDFS. Os dados podem ser movidos para dentro e para fora de um cluster por upload e download para o HDFS ou o Cloud Storage.
Discos de VM:
Por padrão, quando nenhum SSD local é fornecido, os dados HDFS e dados de embaralhamento intermediários
são armazenados em discos de inicialização de VMs, que são
discos permanentes.
Se você usar SSDs locais,
os dados do HDFS e os dados aleatórios intermediários serão armazenados nos SSDs.
O tamanho e o tipo de disco permanente (DP) afetam o desempenho e o tamanho da VM, seja usando HDFS ou Cloud Storage para armazenamento de dados.
Os discos de inicialização de VM são excluídos quando o cluster é excluído.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2026-07-22 UTC."],[],[]]
