Hyperdisk Exapools 已正式發布,但僅限允許清單中的使用者存取。如要使用這項功能,請與帳戶團隊聯絡。
Hyperdisk Exapools 的適用時機
Exapool 適用於大規模工作負載,單一區域內有數萬個磁碟,需要 500 TiB 到 2.5 EiB 的耐久區塊儲存空間。如果工作負載的容量或效能需求較低,請使用 Hyperdisk 儲存空間集區,或在集區外建立磁碟。
Exapool 提供 Compute Engine 中規模最大的儲存空間和效能,同時讓您佈建超出需求的效能和容量,但只須支付實際用量費用,因此可節省成本。
Hyperdisk Exapools 非常適合大規模 AI、機器學習 (ML) 和大型分散式平行檔案系統工作負載。以下是一些工作負載範例:
Hyperdisk Exapool 的工作負載範例:
- AI/ML 工作負載涵蓋 4,000 個 TPU VM,並使用 2 PiB 的 Hyperdisk Balanced,佈建的效能為 20,000,000 IOPS 和 3 TiB/s 的處理量,可達到 500 GiB/s 的並行匯總尖峰處理量。
- 使用 Hyperdisk Balanced 做為開機和暫存磁碟,以 15,000 個 GPU 執行個體進行 AI/ML 訓練工作負載,總容量為 8 PiB,並行匯總尖峰處理量為 1 TiB/秒。
- 容量達 6 PiB 以上的平行檔案系統,且讀取密集型處理量的並行匯總尖峰值為 800 GiB/s。
Exapool 的運作方式
您可以使用區域內所有工作負載磁碟所需的總容量和效能,建立 Exapool,然後視需要建立集區中的磁碟。您可以在 Exapool 中使用磁碟,做為 Compute Engine 執行個體和容器的開機磁碟或資料磁碟。
在 Exapool 中建立磁碟時,您會將集區的部分資源 (大小和效能) 分配給磁碟。刪除集區中的磁碟時,分配給該磁碟的資源會回歸集區,供其他磁碟使用。
舉例來說,假設您建立的 Hyperdisk Balanced Exapool 容量為 50 PiB。
如果在集區中建立 100 個 10 TiB 的磁碟,集區的剩餘可用容量就會減少 1,000 TiB。
Exapool 類型
建立 Exapool 時,您必須為集區中的磁碟選擇 Hyperdisk 類型。可用類型如下:
如要進一步瞭解如何選擇 Hyperdisk 類型,請參閱「為工作負載選擇 Hyperdisk 類型」。
支援機器系列
Hyperdisk Throughput Exapools 和 Hyperdisk Balanced Exapools 支援的機器系列,分別與 Hyperdisk Throughput 和 Hyperdisk Balanced 相同。如需支援的機器系列清單,請參閱「支援 Hyperdisk Throughput 的機器系列」和「支援 Hyperdisk Balanced 的機器系列」。
Exapool 的效能和容量佈建
集區的佈建類型會決定集區中的磁碟如何耗用資源。
Exapool 會針對容量和效能使用進階佈建功能,可節省最多成本和時間。
進階容量佈建
所有 Exapool 都使用進階容量佈建,可提供下列優點:
- 自動精簡配置:Compute Engine 會視需要將資料分配給集區中的磁碟,而不是在佈建磁碟時分配。
- 超額佈建:您可以在集區中佈建的磁碟容量,最多可達您為 Exapool 購買容量的 50 倍。這可簡化容量規劃,並避免手動調整磁碟大小時發生停機。
如要詳細瞭解進階容量佈建功能,請參閱「進階容量佈建」。
進階效能佈建
Exapool 使用進階效能佈建功能,可提供下列優點:
- 自動精簡配置:Compute Engine 會視需要將效能資源分配給集區中的磁碟。只有 Exapool 中磁碟使用的 IOPS 和輸送量會耗用效能。
- 超額佈建:集區中所有磁碟的總效能,最高可達集區佈建寫入效能的 50 倍。
- 共用效能:Exapool 中的磁碟會共用集區的佈建效能,直到達到每個磁碟的上限為止,因此可為尖峰使用時間不同的磁碟節省成本。
如要詳細瞭解進階效能佈建,請參閱進階效能佈建。
Exapool 的佈建效能 (也就是可分配給集區內磁碟的 IOPS 和輸送量) 取決於下列因素:
容量單位的運作方式
容量單位包括 1 GiB 的容量,以及每 GiB 的固定效能 (IOPS 和處理量)。舉例來說,如要為集區新增 1 PiB 的容量,請購買 1,048,576 個容量單位 (1,048,576 GiB = 1 PiB)。Exapools 提供三種容量單位類型供您選擇。加入集區的效能數量取決於容量單位的類型:
- 容量最佳化單元:提供讀取和寫入的平衡 IOPS 和處理量速率。
- 讀取最佳化單位:每 GiB 提供最高的讀取作業率和處理量。
- 寫入最佳化單位:每 GiB 提供最高的寫入作業率和處理量。
如果工作負載的讀取作業多於寫入作業,或需要比寫入總處理量更高的讀取總處理量,建議購買讀取最佳化單位,以獲得最高價值。
您可以在佈建或擴充 Exapool 時,合併使用不同類型的容量單位。您為集區購買的容量單位類型和數量,稱為「容量單位組合」。
Exapool 的單元組合不會影響 Exapool 中磁碟的效能。混合單位只會影響下列因素:
- Exapool 的計費方式。
- Exapool 的佈建效能上限。
為 Exapool 選擇容量單位組合
為以最具成本效益的方式滿足工作負載需求,請與帳戶團隊合作,選擇最適合工作負載的容量單位組合。舉例來說,您可以為專案中所有讀取密集型磁碟建立 Exapool,並使用大量讀取最佳化單位。
Hyperdisk Throughput Exapool 的容量單位比率
Hyperdisk Throughput Exapool 的效能比例取決於購買的容量大小,如下所示:
| 容量單位類型 |
購買的容量單位 |
Exapool 容量 (TiB) |
讀取處理量 (MiB/秒) |
寫入處理量 (MiB/秒) |
| 容量最佳化 |
1,024 |
1 |
0.97 |
0.10 |
| 讀取最佳化 |
1,024 |
1 |
3.38 |
0.10 |
| 寫入最佳化 |
1,024 |
1 |
0.97 |
1.84 |
Hyperdisk Balanced Exapool 的容量單位比率
Hyperdisk Balanced Exapools 的效能比率取決於購買的容量大小,如下所示:
| 容量單位類型 |
購買的容量單位 |
Exapool 容量 (TiB) |
讀取處理量 (MiB/秒) |
寫入處理量 (MiB/秒) |
讀取 IOPS |
寫入 IOPS |
| 容量最佳化 |
1,024 |
1 |
5.12 |
1.02 |
275 |
102 |
| 讀取最佳化 |
1,024 |
1 |
378.88 |
30.72 |
21,311 |
3,072 |
| 寫入最佳化 |
1,024 |
1 |
220.16 |
71.68 |
12,288 |
6,656 |
Exapool 的容量單位組合不會影響 Exapool 中磁碟的效能消耗量。系統不會針對集區中磁碟的個別讀取和寫入作業,以不同方式計費。購買特定類型的單位不會將磁碟限制為固定數量的讀取或寫入 IOPS。此外,在 Exapool 中建立磁碟時,您不會指定讀取 IOPS 或寫入 IOPS 限制,只會指定佈建的 IOPS 限制。
舉例來說,假設有兩個 Hyperdisk Balanced Exapool,分別是 Pool-1 和 Pool-2.,兩者都有 100,000,000 個容量最佳化單元。Pool-1 也有 5,000,000 個寫入最佳化單元,而 Pool-2 則有 5,000,000 個讀取最佳化單元。
由於這兩個集區的總單位數都是 105,000,000,因此總容量相同,都是 100.1 PiB (105,000,000 GiB)。不過,由於容量單位類型不同,這兩個集區的最大效能限制和成本也不同。兩個集區的磁碟效能沒有差異。
範例
假設 Hyperdisk Balanced Exapool 有 12,400,000 個容量單位,包括:
- 5,000,000 個容量最佳化單位
- 2,400,000 個讀取最佳化單位
- 5,000,000 個寫入最佳化單位
Exapool 的容量為 12,109.4 TiB (每 1,024 個單位為 1 TiB)。
Exapool 的 IOPS 為 151,488,476,計算方式如下:
5,000,000 個容量最佳化單位的 IOPS:1,840,820 (1,342,773 個讀取 IOPS + 498,047 個寫入 IOPS)
2,400,000 個讀取最佳化單位的 IOPS:57,147,656
(49,947,656 個讀取 IOPS + 7,200,000 個寫入 IOPS)
5,000,000 個寫入最佳化單位的 IOPS:92,500,000
(60,000,000 個讀取 IOPS + 32,500,000 個寫入 IOPS)
Compute Engine 提供可用於監控 Exapool 的指標。這些指標可解答下列問題:
- Exapool 還剩多少讀取和寫入 IOPS?
- Exapool 中已分配給磁碟的容量是多少?
- Exapool 中有多少磁碟?
您可以在 Cloud Monitoring 中查看這些指標。詳情請參閱「監控 Hyperdisk 集區」。
Hyperdisk Exapools 的大小和效能限制
本節列出各 Exapool 類型的限制。
| 屬性 |
Hyperdisk Balanced Exapool |
Hyperdisk Throughput Exapools |
| 容量下限 |
500 TiB |
500 PiB |
| 容量上限 |
1 EiB |
5 EiB |
| 總處理量下限 |
1 TiB/秒 |
250 GiB/秒 |
| 總處理量上限 |
10 TiB/秒 |
10 TiB/秒 |
| 每個集區的磁碟數量上限 |
500,000 |
500,000 |
| 容量增量 |
1 TiB |
1 PiB |
| 每個可用區每項專案的 Exapool 數量上限 |
1 |
1 |
| 績效比率 |
讀取和寫入處理量的 I/O 大小為 32 KB;讀取和寫入 IOPS 的 I/O 大小為 4 KB |
讀取的 I/O 大小為 1 MB,寫入的 I/O 大小為 256 KB |
Exapool 內磁碟的大小和效能限制
Exapool 中的磁碟大小和效能限制與非集區磁碟相同,如下所示:
| Hyperdisk 類型 |
每個磁碟可佈建的最高效能 |
可自訂的處理量 |
可自訂 IOPS |
| Hyperdisk Balanced |
160,000 IOPS; 2,400 MiB/s 處理量 |
是 |
是 |
| Hyperdisk Throughput |
2,400 MiB/秒的處理量 |
是 |
否;每 MiB/秒的總處理量為 4 IOPS,最多 9,600 IOPS |
您可以在建立磁碟時指定磁碟的效能上限,並在磁碟使用期間修改效能上限。
如要瞭解大小和效能限制的詳細資料,請參閱「Hyperdisk Throughput 的大小和效能限制」和「Hyperdisk Balanced 的大小和效能限制」。
區域可用性
所有可用區都提供 Hyperdisk Balanced Exapools 和 Hyperdisk Throughput Exapools。
加密
在 Hyperdisk 集區中加密磁碟的方式,與在集區外加密磁碟的方式相同。
詳情請參閱「關於磁碟加密」一文。
定價
系統會根據您為集區購買的容量和效能單位數量和類型,向您收取 Exapool 費用。您不必為集區中建立的磁碟佈建 IOPS、處理量或容量支付費用。
Hyperdisk Exapools 適用依資源計算的承諾使用折扣 (CUD),最低承諾使用期限為 1 年,最長為 3 年。購買 1 年或 3 年期 Exapool 後,您會自動符合資格,取得 1 年或 3 年期承諾使用合約的資源型 CUD。
詳情請參閱「磁碟定價」。
限制
Exapool 有以下限制。
- 如要建立、修改或刪除 Hyperdisk Exapool,請與帳戶團隊聯絡。
- 您可以為 Exapool 佈建的效能數量,取決於 Exapool 的容量單元類型和數量。不過,在 Exapool 中建立的磁碟效能與集區的容量單元組合無關。
- 您無法在 Exapool 中,對 Hyperdisk Balanced 磁碟區使用機密模式。
- Exapool 只會使用進階容量和進階效能佈建,不支援標準容量或標準效能佈建。
- Exapool 不會使用資料壓縮功能。
- Exapool 不支援效能或容量的自動成長功能。您必須自行監控 Exapool 的效能和容量使用率。如要提高集區的效能或容量,請與帳戶團隊聯絡。
- 您無法將現有磁碟移入或移出 Exapool。您必須建立磁碟的標準快照,然後使用該快照建立新磁碟。
後續步驟