效能等級

Google Cloud Managed Lustre 提供不同效能層級,可滿足特定工作負載需求和預算。您可以選擇為整個檔案系統提供持續且可預測效能的層級,也可以選擇動態層級,針對大型部分活躍資料集自動最佳化儲存空間成本。

可用的等級

下表彙整了 Managed Lustre 可用的效能層級。

級別 最低容量 最大容量 移動增量大小
每 TiB 1000 MB/秒 9,000 GiB 10,008,000 GiB (9.5 PiB) 儲存空間容量最高 1,530,000 GiB:9,000 GiB
儲存空間容量超過 1,530,000 GiB:72,000 GiB
每 TiB 500 MB/秒 18,000 GiB 20,016,000 GiB (19.1 PiB) 儲存空間容量最高 3,060,000 GiB:18,000 GiB
儲存空間容量超過 3,060,000 GiB:144,000 GiB
每 TiB 250 MB/秒 36,000 GiB 40,032,000 GiB (38.2 PiB) 儲存空間容量最高 6,120,000 GiB:36,000 GiB
儲存空間容量超過 6,120,000 GiB:288,000 GiB
每 TiB 125 MB/秒 72,000 GiB 12,240,000 GiB (11.7 PiB) 72,000 GiB
動態 (每 TiB 25 MB/秒) 472,000 GiB 84,016,000 GiB (80.1 PiB) 472,000 GiB

當執行個體大小達到特定門檻時,步長就會改變。

執行個體建立後,您可以增加儲存空間容量,但不得超過效能層級和步距允許的最大值。如果您在層級的較小步距範圍內建立執行個體,之後就無法將執行個體大小增加到步距門檻以上。詳情請參閱「增加容量的限制」。

編號層級

編號層級提供一致的高速效能。這些層級非常適合需要高處理量和低延遲的資料存取權工作負載。

建立執行個體時,您可以選擇特定效能等級,系統會為整個檔案系統提供一致的輸送量。效能會隨著您佈建的儲存空間量呈線性變化。除了原始總處理量,IOPS 和中繼資料效能也會隨著執行個體佈建的容量和總處理量而擴展。

  • 每 TiB 1,000 MB/秒:建議用於重視處理量的高效能工作負載和 AI/機器學習訓練。
  • 每 TiB 500 MBps:如要執行處理量高的嚴苛 AI/機器學習工作負載、複雜 HPC 應用程式和資料密集型數據分析,同時兼顧成本效益,這是最理想的選擇。
  • 每 TiB 250 MBps:適用於各種 HPC 工作負載、AI/機器學習推論、資料前處理,以及需要比傳統 NFS 更優異效能的應用程式,而且價格實惠。
  • 每 TiB 125 MBps:專為滿足大容量和平行檔案系統存取需求而設計。適合 I/O 限制較少的平行處理工作。

動態等級

動態層級是經濟實惠的解決方案,可根據資料存取模式自動調整效能,因應不斷成長的 AI 和 HPC 資料集。這項服務提供單一統一的命名空間,規模可達 PB 級,能以高速存取儲存在高效能快取中的現用資料,同時降低大型資料集的總持有成本。執行個體可用的匯總處理量會以每 TiB 25 MBps 的速度擴充。

系統會使用自動化政策智慧管理資料放置位置,確保常用資料維持高效能。使用者和應用程式與檔案系統互動時,會將其視為單一掛接點,因此這個程序對他們來說是透明的,不需要手動遷移資料或管理額外負擔。

主要優點

  • 降低儲存空間費用:將大部分資料儲存在經濟實惠的磁碟區儲存空間,即可降低大型資料集的每位元組價格。
  • PB 級單一命名空間:將大量不斷成長的資料集整合至單一掛接點,不必在不同儲存系統之間手動遷移或分層資料。
  • 智慧型自動化:透明的區塊層級快取系統可確保高效能儲存空間用於最重要資料。
  • 混合效能:為活躍資料提供毫秒以下的延遲時間,並為資料集中較少存取的部分提供數十毫秒的延遲時間。

詳細的效能規格

請遵循「效能考量」一節中的最佳做法,協助執行個體達到這些 IOPS 和中繼資料效能數字。

IOPS

每佈建 1 TiB 的執行個體容量,IOPS 上限就會線性增加。

處理量層級 讀取 IOPS (每 TiB) 寫入 IOPS (每 TiB)
125 MBps per TiB 725 700
250 MBps per TiB 1,450 1,400
500 MBps per TiB 2,900 2,800
1000 MBps per TiB 5,800 5,600
Dynamic 145 140

中繼資料作業數

中繼資料作業上限會根據容量逐步增加。

每個執行個體都會以最小執行個體大小 (小於標準容量步驟) 接收中繼資料效能的第一個步驟。

如果是較大的執行個體,每當總容量超過步距的倍數,效能就會提升。

效能級別 容量步階 (GiB) 每個步驟都會新增檔案統計資料 每個步驟新增的檔案建立次數 每個步驟新增的檔案刪除作業
每 TiB 1000 MB/秒 72,000 每秒 41 萬次 每秒 115,000 次 每秒 95,000 次
每 TiB 500 MB/秒 144,000
每 TiB 250 MBps 288,000
每 TiB 125 MB/秒 576,000
動態 3,776,000 每秒 275,000 次 每秒 115,000 次 每秒 130,000 個

示例:在每 TiB 1000 MBps 的層級中,容量步階大小為 72,000 GiB。如果您建立 153,000 GiB 的執行個體,您會收到 3 個步驟的中繼資料效能:

  • 步驟 1:以最小執行個體大小授予。
  • 步驟 2:容量超過 72,000 GiB 時授予。
  • 步驟 3:容量超過 144,000 GiB 時授予。
  • 步驟 4:未送達。容量超過 216,000 GiB 時授予。

由於 153,000 GiB 介於 144,000 GiB 和 216,000 GiB 之間,因此執行個體可獲得三階段的效能:每秒最多 1,230,000 個檔案統計資料 (3 * 410,000)。

後續步驟