Hadoop 数据存储

借助 Managed Service for Apache Spark，您可以同时使用 Hadoop 分布式文件系统 (HDFS) 和 Cloud Storage 来存储和处理工作负载数据。借助预安装的 Cloud Storage 连接器，您可以将数据传入和传出集群，同时根据作业性能要求定制底层虚拟机磁盘存储。

存储选项和注意事项

为 Managed Service for Apache Spark 集群和作业选择计算和数据存储区选项时，以下功能和注意事项可能很重要：

  • HDFS 与 Cloud Storage：Managed Service for Apache Spark 使用 Hadoop 分布式文件系统 (HDFS) 进行存储。此外，Managed Service for Apache Spark 还会自动安装与 HDFS 兼容的 Cloud Storage 连接器，以便与 HDFS 并行使用 Cloud Storage。通过将数据上传和下载到 HDFS 或 Cloud Storage，您可将数据移入和移出集群。
  • 虚拟机磁盘：
    • 默认情况下，如果未提供本地 SSD，则 HDFS 数据和中间 Shuffle 会存储在虚拟机启动磁盘（即永久性磁盘）上。
    • 如果您使用本地 SSD，则 HDFS 数据和中间 Shuffle 数据会存储在 SSD 上。
    • 无论您是使用 HDFS 还是 Cloud Storage 来存储数据，永久性磁盘 (PD) 大小和类型都会影响性能和虚拟机大小。
    • 集群删除后，虚拟机启动磁盘也会被删除。