TPU 資料的儲存空間選項

本文說明在 TPU VM 上訓練模型時可用的資料儲存選項。

在 TPU VM 上執行的工作負載需要資料儲存空間，才能執行下列工作：

  • 下載及預先處理資料集
  • 主機輸入管道處理
  • 模型訓練輸入內容
  • 模型訓練輸出內容
  • 查核點
  • 模型權重
  • 鍵/值快取卸載

您可以在 TPU VM 中使用下列儲存空間選項：

耐用的區塊儲存空間

持久區塊儲存空間 (也稱為「磁碟」或「磁碟區」) 可用於儲存資料，以便在停止、暫停或刪除 TPU VM 後保留資料。即使 TPU VM 發生當機或故障，您仍可使用耐久型區塊儲存空間。您可以使用 TPU VM 開機磁碟，或將其他區塊儲存空間連結至 TPU。

在下列情況下，您可能需要連接額外磁碟：

  • 訓練資料集大小超過 TPU 開機磁碟大小。
  • 您擁有唯讀資料，並想使用 Hyperdisk ML 磁碟區加快讀取存取速度。

TPU 代別和支援的磁碟類型

下表列出各代 TPU 支援的磁碟類型：

TPU 代別 支援的磁碟類型
TPU7x Hyperdisk Balanced、Hyperdisk ML
v6e Hyperdisk Balanced、Hyperdisk ML
v5p 平衡型永久磁碟、Hyperdisk ML
v5e 平衡型永久磁碟、Hyperdisk ML
v4 平衡型永久磁碟
v3 平衡型永久磁碟
v2 平衡型永久磁碟

TPU VM 開機磁碟

根據預設，每個 TPU VM 都有一個 10 GB 的開機磁碟。建立 VM 時，您可以設定較大的開機磁碟。詳情請參閱「建立自訂開機磁碟」。開機磁碟包含作業系統、TPU 驅動程式和程式庫。只要資料總大小不超過開機磁碟的可用空間，開機磁碟也可以暫時儲存下載的資料集，以進行預先處理，以及儲存模型輸入和輸出資料。

如果應用程式需要的儲存空間超出開機磁碟預設大小，您可以為 TPU VM 執行個體新增耐久性磁碟，或調整開機磁碟大小。詳情請參閱下列資源：

如要瞭解自訂 TPU VM 開機磁碟的最佳做法，請參閱「自訂 TPU VM 開機磁碟」。

附加的儲存空間

Google Cloud Hyperdisk 和永久磁碟都是耐用的網路儲存裝置，可供 VM 執行個體存取，就像是桌上型電腦或伺服器中的實體磁碟。這兩種磁碟都是獨立於 VM 執行個體建立，因此即使刪除 VM，資料也不會遺失。

與永久磁碟相比，Hyperdisk 的優點包括可自訂效能、更高的 IOPS 和總處理量上限。如要進一步瞭解 Hyperdisk 和永久磁碟，請參閱「選擇磁碟類型」。

將磁碟連接至具有多主機 TPU VM 區塊的 MIG 時，系統會將磁碟連接至該 TPU 區塊中的每個 VM。如要避免兩部以上的 TPU VM 同時寫入磁碟，您必須將連接至多主機 TPU 配量的所有磁碟設為唯讀。唯讀磁碟可用於儲存資料集，以便在 TPU 節點上處理。由於 Hyperdisk Balanced 不支援唯讀模式，因此您只能將 Hyperdisk Balanced 磁碟區連接至單一 TPU VM 執行個體。

如要進一步瞭解如何使用耐久型區塊儲存空間，請參閱「將永久磁碟新增至 VM」和「新增 Hyperdisk」。

磁碟備份

如果 TPU VM 處於不明狀態，或您不慎刪除資料，很難從開機磁碟復原資料。使用其他儲存空間選項備份資料，例如 Cloud Storage 值區。

如果您將資料儲存在連結的磁碟上，可以使用磁碟快照，以增量方式備份磁碟上的資料。TPU VM 開機磁碟不支援磁碟快照。詳情請參閱「關於磁碟快照」一文。

Cloud Storage

Cloud Storage 是一種物件儲存系統，專為儲存及處理需要 PB 級規模和大量頻寬的大型資料集 (例如圖片、文字和影片檔案) 而設計。這項服務不僅經濟實惠，還具備高擴充性和高韌性。使用 Cloud Storage 時，您會將資料儲存為容器中的物件，這些容器稱為值區。Cloud Storage 值區的效能取決於您選取的儲存空間級別，以及值區相對於 TPU VM 執行個體的位置。

使用 Cloud Storage 時，請根據處理量、規模、費用和資料可用性需求，選取 bucket 類型。 Cloud Storage Rapid 產品系列 (包括 Rapid Bucket 和具備 Rapid Cache 的區域 bucket) 為 AI/機器學習工作負載提供高效能選項：

  • Rapid Bucket：這項 Cloud Storage 功能可讓您建立可用區 bucket，將物件儲存在 Rapid 儲存空間級別。可用區 bucket 支援高處理量，開啟檔案的延遲時間不到一毫秒。非常適合用於非同步檢查點、訓練資料和模型權重。
  • 單一區域值區：位於一或多個區域的 Cloud Storage 值區。區域 bucket 提供標準物件儲存空間效能。如要滿足 AI/機器學習工作負載的輸送量和延遲時間需求，請搭配快速快取使用區域 bucket。 Rapid Cache 是以 SSD 為基礎的可用區讀取快取，適用於區域 bucket，可提升處理量並縮短延遲時間，適合讀取密集型和可快取的工作負載，例如載入訓練資料或載入模型權重以進行推論。

所有 Cloud Storage bucket 都內建備援空間，就算遇上設備毀損也能保護您的資料，並透過資料中心維護事件確保資料可用性。Cloud Storage 會計算所有作業的檢查碼，確保資料完整性。

與耐用型區塊儲存空間不同，Cloud Storage 值區不限於您的執行個體所在的區域。此外，您可以同時從多個執行個體讀寫資料至值區。舉例來說，您可以在多個區域內設定執行個體，並在同一值區內讀寫資料，而非將資料複製到多個區域中的耐久型區塊儲存空間。

詳情請參閱「將 TPU VM 連線至 Cloud Storage 值區」。

Cloud Storage FUSE

Cloud Storage FUSE 是一種 FUSE 轉接器，可讓您將 bucket 掛接為本機檔案系統。使用 Google Kubernetes Engine 時，建議使用 Cloud Storage FUSE CSI 驅動程式和 Cloud Storage FUSE 設定檔。

如要進一步瞭解 Cloud Storage FUSE，請參閱 Cloud Storage FUSE 說明文件。

Managed Lustre

Google Cloud Managed Lustre 是全代管的平行檔案系統，完全符合 POSIX 標準。此設定檔專為模型訓練或推論工作負載所需的低延遲、高並行中繼資料效能設定檔而設計。這項服務專為超低延遲 (低於 1 毫秒) 工作負載而設計，例如主目錄、同步檢查點、強化學習 (高速權重傳播儲存空間)、鍵/值 (KV) 快取卸載儲存空間，或包含許多小型檔案 (小於 1 MB) 的訓練資料集。Managed Lustre 提供經濟實惠的動態層級，可根據資料存取模式自動調整效能。

詳情請參閱 Managed Lustre 說明文件。

後續步驟