Google Cloud Managed Lustre 提供不同效能層級,可滿足特定工作負載需求和預算。您可以選擇為整個檔案系統提供持續且可預測效能的層級,也可以選擇動態層級,針對大型部分活躍資料集自動最佳化儲存空間成本。
可用的等級
下表彙整了 Managed Lustre 可用的效能層級。
| 級別 | 最低容量 | 最大容量 | 移動增量大小 |
|---|---|---|---|
| 每 TiB 1000 MB/秒 | 9,000 GiB | 10,008,000 GiB (9.5 PiB) | 儲存空間容量最高 1,530,000 GiB:9,000 GiB 儲存空間容量超過 1,530,000 GiB:72,000 GiB |
| 每 TiB 500 MB/秒 | 18,000 GiB | 20,016,000 GiB (19.1 PiB) | 儲存空間容量最高 3,060,000 GiB:18,000 GiB 儲存空間容量超過 3,060,000 GiB:144,000 GiB |
| 每 TiB 250 MB/秒 | 36,000 GiB | 40,032,000 GiB (38.2 PiB) | 儲存空間容量最高 6,120,000 GiB:36,000 GiB 儲存空間容量超過 6,120,000 GiB:288,000 GiB |
| 每 TiB 125 MB/秒 | 72,000 GiB | 12,240,000 GiB (11.7 PiB) | 72,000 GiB |
| 動態 (每 TiB 25 MB/秒) | 472,000 GiB | 84,016,000 GiB (80.1 PiB) | 472,000 GiB |
當執行個體大小達到特定門檻時,步長就會改變。
執行個體建立後,您可以增加儲存空間容量,但不得超過效能層級和步距允許的最大值。如果您在層級的較小步距範圍內建立執行個體,之後就無法將執行個體大小增加到步距門檻以上。詳情請參閱「增加容量的限制」。
編號層級
編號層級提供一致的高速效能。這些層級非常適合需要高處理量和低延遲的資料存取權工作負載。
建立執行個體時,您可以選擇特定效能等級,系統會為整個檔案系統提供一致的輸送量。效能會隨著您佈建的儲存空間量呈線性變化。除了原始總處理量,IOPS 和中繼資料效能也會隨著執行個體佈建的容量和總處理量而擴展。
- 每 TiB 1,000 MB/秒:建議用於重視處理量的高效能工作負載和 AI/機器學習訓練。
- 每 TiB 500 MBps:如要執行處理量高的嚴苛 AI/機器學習工作負載、複雜 HPC 應用程式和資料密集型數據分析,同時兼顧成本效益,這是最理想的選擇。
- 每 TiB 250 MBps:適用於各種 HPC 工作負載、AI/機器學習推論、資料前處理,以及需要比傳統 NFS 更優異效能的應用程式,而且價格實惠。
- 每 TiB 125 MBps:專為滿足大容量和平行檔案系統存取需求而設計。適合 I/O 限制較少的平行處理工作。
動態等級
動態層級是經濟實惠的解決方案,可根據資料存取模式自動調整效能,因應不斷成長的 AI 和 HPC 資料集。這項服務提供單一統一的命名空間,規模可達 PB 級,能以高速存取儲存在高效能快取中的現用資料,同時降低大型資料集的總持有成本。執行個體可用的匯總處理量會以每 TiB 25 MBps 的速度擴充。
系統會使用自動化政策智慧管理資料放置位置,確保常用資料維持高效能。使用者和應用程式與檔案系統互動時,會將其視為單一掛接點,因此這個程序對他們來說是透明的,不需要手動遷移資料或管理額外負擔。
主要優點
- 降低儲存空間費用:將大部分資料儲存在經濟實惠的磁碟區儲存空間,即可降低大型資料集的每位元組價格。
- PB 級單一命名空間:將大量不斷成長的資料集整合至單一掛接點,不必在不同儲存系統之間手動遷移或分層資料。
- 智慧型自動化:透明的區塊層級快取系統可確保高效能儲存空間用於最重要資料。
- 混合效能:為活躍資料提供毫秒以下的延遲時間,並為資料集中較少存取的部分提供數十毫秒的延遲時間。
詳細的效能規格
請遵循「效能考量」一節中的最佳做法,協助執行個體達到這些 IOPS 和中繼資料效能數字。
IOPS
每佈建 1 TiB 的執行個體容量,IOPS 上限就會線性增加。
| 處理量層級 | 讀取 IOPS (每 TiB) | 寫入 IOPS (每 TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1,450 | 1,400 |
500 MBps per TiB |
2,900 | 2,800 |
1000 MBps per TiB |
5,800 | 5,600 |
Dynamic |
145 | 140 |
中繼資料作業數
中繼資料作業上限會根據容量逐步增加。
每個執行個體都會以最小執行個體大小 (小於標準容量步驟) 接收中繼資料效能的第一個步驟。
如果是較大的執行個體,每當總容量超過步距的倍數,效能就會提升。
| 效能級別 | 容量步階 (GiB) | 每個步驟都會新增檔案統計資料 | 每個步驟新增的檔案建立次數 | 每個步驟新增的檔案刪除作業 |
|---|---|---|---|---|
| 每 TiB 1000 MB/秒 | 72,000 | 每秒 41 萬次 | 每秒 115,000 次 | 每秒 95,000 次 |
| 每 TiB 500 MB/秒 | 144,000 | |||
| 每 TiB 250 MBps | 288,000 | |||
| 每 TiB 125 MB/秒 | 576,000 | |||
| 動態 | 3,776,000 | 每秒 275,000 次 | 每秒 115,000 次 | 每秒 130,000 個 |
示例:在每 TiB 1000 MBps 的層級中,容量步階大小為 72,000 GiB。如果您建立 153,000 GiB 的執行個體,您會收到 3 個步驟的中繼資料效能:
- 步驟 1:以最小執行個體大小授予。
- 步驟 2:容量超過 72,000 GiB 時授予。
- 步驟 3:容量超過 144,000 GiB 時授予。
- 步驟 4:未送達。容量超過 216,000 GiB 時授予。
由於 153,000 GiB 介於 144,000 GiB 和 216,000 GiB 之間,因此執行個體可獲得三階段的效能:每秒最多 1,230,000 個檔案統計資料 (3 * 410,000)。