Hadoop 資料儲存空間

Managed Service for Apache Spark 可讓您同時使用 Hadoop 分散式檔案系統 (HDFS) 和 Cloud Storage，儲存及處理工作負載資料。透過預先安裝的 Cloud Storage 連接器，您可以將資料移入及移出叢集，同時根據工作效能需求調整基礎 VM 磁碟儲存空間。

儲存空間選項和注意事項

為 Managed Service for Apache Spark 叢集和工作選取運算和資料儲存選項時，下列特色和考量事項可能十分重要：

  • HDFS 搭配 Cloud Storage：Managed Service for Apache Spark 使用 Hadoop 分散式檔案系統 (HDFS) 進行儲存作業。此外，Managed Service for Apache Spark 會自動安裝與 HDFS 相容的 Cloud Storage 連接器，讓 Cloud Storage 能與 HDFS 並行使用。您可以透過 HDFS 或 Cloud Storage 的資料上傳和下載作業，將資料移入或移出叢集。
  • VM 磁碟：
    • 根據預設，如果沒有提供本機 SSD，HDFS 資料和中繼重組資料會儲存在 VM 開機磁碟 (即永久磁碟)。
    • 如果您使用本機 SSD，HDFS 資料和中繼重組資料會儲存在 SSD。
    • 無論是使用 HDFS 或 Cloud Storage 儲存資料，永久磁碟 (PD) 大小和類型都會影響效能和 VM 大小。
    • 刪除叢集時，系統會一併刪除 VM 開機磁碟。