O Serviço Gerenciado para Apache Spark permite armazenar e processar dados de carga de trabalho usando o Hadoop Distributed File System (HDFS) e o Cloud Storage em paralelo. Com o conector do Cloud Storage pré-instalado, é possível transferir dados para dentro e fora dos clusters, além de adaptar o armazenamento em disco da VM aos requisitos de desempenho do job.
Opções e considerações de armazenamento
Os seguintes recursos e considerações podem ser importantes ao selecionar opções de recursos computacionais e repositório de dados para clusters e jobs do Serviço Gerenciado para Apache Spark:
- HDFS com Cloud Storage: o Serviço Gerenciado para Apache Spark usa o sistema de arquivos distribuídos do Hadoop (HDFS) para armazenamento. Além disso, o Serviço Gerenciado para Apache Spark instala automaticamente o conector do Cloud Storage compatível com HDFS, que permite o uso do Cloud Storage em paralelo com o HDFS. Os dados podem ser movidos para dentro e para fora de um cluster por meio de upload e download para o HDFS ou o Cloud Storage.
- Discos de VM:
- Por padrão, quando nenhum SSD local é fornecido, os dados HDFS e dados de embaralhamento intermediários são armazenados em discos de inicialização de VMs, que são discos permanentes.
- Se você usar SSDs locais, os dados do HDFS e os dados aleatórios intermediários serão armazenados nos SSDs.
- O tamanho e o tipo do disco permanente (DP) afetam o desempenho e o tamanho da VM, seja usando o HDFS ou o Cloud Storage para repositório de dados.
- Os discos de inicialização de VM são excluídos quando o cluster é excluído.