"Serviço gerenciado para Apache Spark" é o novo nome do produto antes conhecido como "Dataproc no Compute Engine" (implantação de cluster) e "Google Cloud Serverless para Apache Spark" (implantação sem servidor).
Armazenamento de dados Hadoop
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O serviço gerenciado para Apache Spark se integra ao Apache Hadoop e ao Hadoop Distributed
File System (HDFS). Os seguintes recursos e considerações podem ser importantes
ao selecionar opções de computação e armazenamento de dados para clusters e jobs do Serviço Gerenciado para Apache Spark:
HDFS com Cloud Storage:
o Managed Service for Apache Spark usa o
Hadoop Distributed File System (HDFS) para armazenamento. Além disso,
o Managed Service para Apache Spark instala automaticamente o
conector do Cloud Storage
compatível com o HDFS, que permite o uso do Cloud Storage
em paralelo com o HDFS. Os dados podem ser movidos para
dentro e para fora de um cluster por meio de upload e download para o HDFS ou o Cloud Storage.
Discos de VM:
Por padrão, quando nenhum SSD local é fornecido, os dados HDFS e dados de embaralhamento intermediários
são armazenados em discos de inicialização de VMs, que são
discos permanentes.
Se você usar SSDs locais,
os dados do HDFS e os dados aleatórios intermediários serão armazenados nos SSDs.
O tamanho e o tipo do disco permanente (DP) afetam o desempenho e o tamanho da VM, seja usando HDFS ou Cloud Storage
para armazenamento de dados.
Os discos de inicialização de VM são excluídos quando o cluster é excluído.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2026-04-11 UTC."],[],[]]
