運用 Cloud Storage FUSE 最佳化 AI 和機器學習工作負載

Last reviewed 2026-11-11 UTC

本文件提供參考架構,說明如何使用 Cloud Storage FUSE 最佳化 Google Kubernetes Engine (GKE) 上的 AI 和機器學習工作負載效能。

本文適用對象包括架構師和技術從業人員,他們負責在 Google Cloud上設計、佈建及管理 AI 和機器學習工作負載的儲存空間。本文假設您已瞭解機器學習生命週期、程序和功能。

Cloud Storage FUSE 是開放原始碼 FUSE 轉接器,可讓您將 Cloud Storage bucket 掛接為本機檔案系統。這項設定可讓應用程式使用標準的檔案式系統語意,與雲端式儲存空間 bucket 順暢互動。Cloud Storage FUSE 可讓您充分發揮 Cloud Storage 的擴充性和成本效益。

架構

您可以根據效能、可用性和災難復原 (DR) 需求,選擇下列其中一種 Google Cloud部署原型,在 Google Cloud上執行 AI 和機器學習工作負載:

  • 區域:應用程式在單一Google Cloud區域內獨立執行。如果應用程式並非重要業務,但需要能有效應對可用區服務中斷,建議採用這個部署原型。
  • 多區域:應用程式以主動-主動或主動-被動模式,在兩個或多個 Google Cloud 區域中獨立執行。這類部署原型非常適合用於災難復原情境。如果重要業務應用程式需要具備因應區域服務中斷和災害的韌性,建議採用這個部署原型。雙區域或多區域部署作業可縮短資源距離,進而降低延遲時間並提高處理量。

您選擇的部署原型會決定架構所需的 Google Cloud 產品和功能。多區域架構採用 Rapid Cache,可增加網路頻寬,並提供比區域 bucket 更低的可用區快取命中延遲時間。如果工作負載需要大量讀取不常變更的資料,建議使用 Rapid Cache。與直接從多區域 bucket 讀取資料的費用相比,Rapid Cache 有助於降低資料移轉費用。如要評估 Rapid Cache 是否適合您的工作負載,請使用 Rapid Cache 建議工具分析資料用量和儲存空間。

下列分頁提供區域和多區域部署原型的參考架構:

區域

下圖顯示區域架構範例,使用 Cloud Storage FUSE 提升模型訓練和模型提供工作流程的效能:

使用 Cloud Storage FUSE 最佳化 AI 和機器學習工作負載的區域架構。

這個架構包含下列元件:

  • GKE 叢集:GKE 會管理運算節點,用於執行 AI 和機器學習模型訓練和提供程序。GKE 會管理 Kubernetes 叢集的基礎架構,包括控制層、節點和所有系統元件。
  • Kubernetes 排程器:GKE 控制層會排定工作負載,並管理其生命週期、資源調度和升級作業。Kubernetes 節點代理程式 (kubelet) 會與控制層通訊,但未顯示在圖表中。kubelet 代理程式負責啟動及執行排定在 GKE 節點上的容器。如要進一步瞭解排程器,請參閱「GKE 中的 AI/機器學習自動化調度管理」。
  • 虛擬私有雲 (VPC) 網路:架構中的所有 Google Cloud資源都使用單一 VPC 網路。您可以視需求選擇建構使用多個網路的架構。如要進一步瞭解如何為 Cloud Storage FUSE 設定虛擬私有雲網路,請參閱「決定是否要建立多個虛擬私有雲網路」。
  • Cloud Load Balancing:在這個架構中,Cloud Load Balancing 會將應用程式使用者傳入的推論要求,有效率地分配給 GKE 叢集中的提供模型容器。詳情請參閱「瞭解 GKE 負載平衡」。
  • 圖形處理器 (GPU) 或 Tensor Processing Unit (TPU):GPU 和 TPU 是專門的機器加速器,可提升 AI 和機器學習工作負載的效能。如要瞭解如何選擇合適的處理器類型,請參閱本文後續的「加速器選項」一節。
  • Cloud Storage:Cloud Storage 為 AI 和機器學習工作負載提供永久、可擴充且符合成本效益的儲存空間。Cloud Storage 是原始訓練資料集、模型查核點和最終訓練模型的中央存放區。
  • 啟用檔案快取的 Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接為本機檔案系統。Cloud Storage FUSE 的檔案快取是本機電腦上的目錄,用於儲存 Cloud Storage bucket 中經常存取的檔案。Cloud Storage FUSE CSI 驅動程式會管理 Cloud Storage FUSE 與 Kubernetes API 的整合,將 Cloud Storage bucket 當做磁碟區使用。

以下各節說明架構中訓練和服務工作負載的工作流程。

多區域

下圖顯示多區域架構範例,使用 Cloud Storage FUSE 和 Rapid Cache 提升模型訓練和模型提供工作流程的效能:

使用 Cloud Storage FUSE 最佳化 AI 和機器學習工作負載的多區域架構。

這個架構包含下列元件:

  • GKE 叢集:GKE 會管理運算節點,用於執行 AI 和機器學習模型的訓練與提供程序。GKE 會管理 Kubernetes 叢集的基礎架構,包括控制層、節點和所有系統元件。
  • Kubernetes 排程器:GKE 控制層會排定工作負載,並管理其生命週期、資源調度和升級作業。Kubernetes 節點代理程式 (kubelet) 會與控制層通訊,但未顯示在圖表中。kubelet 代理程式負責啟動及執行排定在 GKE 節點上的容器。如要進一步瞭解排程器,請參閱「GKE 中的 AI/機器學習自動化調度管理」。
  • 虛擬私有雲網路:架構中的所有 Google Cloud資源都使用單一虛擬私有雲網路。您可以視需求選擇建構使用多個網路的架構。如要進一步瞭解如何為 Cloud Storage FUSE 設定虛擬私有雲網路,請參閱「決定是否要建立多個虛擬私有雲網路」。
  • Cloud DNS:在多區域架構中,Cloud DNS 會將流量導向負載平衡器,透過任意傳播路由,盡可能提高效能和可用性。系統會自動將要求轉送到最近的位置,縮短延遲時間並提高使用者的權威名稱查詢效能。如要瞭解一般原則和最佳做法,請參閱「Cloud DNS 最佳做法」。
  • Cloud Load Balancing:在這個架構中,Cloud Load Balancing 會將應用程式使用者傳入的推論要求,有效率地分配給 GKE 叢集中的提供模型容器。詳情請參閱「瞭解 GKE 負載平衡」。
  • 圖形處理器 (GPU) 或 Tensor Processing Unit (TPU):GPU 和 TPU 是專門的機器加速器,可提升 AI 和機器學習工作負載的效能。如要瞭解如何選擇合適的處理器類型,請參閱本文後續的「加速器選項」一節。
  • Cloud Storage:Cloud Storage 為 AI 和機器學習工作負載提供永久、可擴充且符合成本效益的儲存空間。Cloud Storage 是原始訓練資料集、模型查核點和最終訓練模型的中央存放區。
  • Cloud Storage FUSE:Cloud Storage FUSE 可讓您將 Cloud Storage bucket 掛接為本機檔案系統。Cloud Storage FUSE CSI 驅動程式 (未顯示在圖表中) 會管理 Cloud Storage FUSE 與 Kubernetes API 的整合,將 Cloud Storage bucket 當做磁碟區使用。
  • Rapid Cache: Rapid Cache 是 Cloud Storage 的一項功能,可為 Cloud Storage bucket 提供大容量、採用 SSD 的可用區唯讀快取。在訓練和提供服務期間,Rapid Cache 可協助您縮短讀取延遲時間,並提高處理量。快取頻寬限制會隨著快取中儲存的資料量而調整。如要瞭解支援的地區和可用區,請參閱「在可用區中快取資料」。

以下各節說明架構中訓練和服務工作負載的工作流程。

訓練工作負載

在上述架構中,模型「訓練」期間的資料流程步驟如下:

  1. 將訓練資料載入 Cloud Storage:訓練資料會上傳至已啟用階層命名空間的 Cloud Storage bucket。Cloud Storage 是可擴充的中央存放區。
  2. 載入訓練資料並在 GKE 執行訓練工作:Cloud Storage bucket 掛接至 GKE Pod 後,訓練應用程式就能使用 FUSE 介面,有效率地載入及存取訓練資料。GKE 節點會使用掛接的檔案快取做為資料來源,執行模型訓練程序。訓練應用程式會持續將訓練資料提供給機器加速器,以執行模型訓練所需的複雜計算。您可以根據工作負載需求,使用 GPU 或 TPU。如要瞭解如何選擇合適的處理器類型,請參閱本文後續的「加速器選項」一節。
  3. 儲存及還原查核點和模型:

    • 儲存查核點或模型:在訓練期間,以非同步方式頻繁將查核點儲存至獨立的 Cloud Storage bucket。檢查點會根據您定義的指標或間隔,擷取模型狀態。
    • 還原查核點或模型:如果訓練工作負載需要還原查核點或模型資料,您必須在 Cloud Storage 中找出要還原的資產。您可以使用還原的檢查點或模型繼續訓練、微調參數,或評估驗證集的效能。

提供工作負載

在上述架構中,模型提供期間的資料流程步驟如下:

  1. 載入模型:訓練完成後,Pod 會使用 Cloud Storage FUSE 並啟用平行下載功能,載入訓練後的模型。平行下載功能會從 Cloud Storage 平行擷取模型的各個部分,加快模型載入速度。為了大幅縮短模型載入時間,這個程序會使用快取目錄做為預先擷取緩衝區。
  2. 推論要求:應用程式使用者透過 Cloud Load Balancing 服務,從 AI 和機器學習應用程式傳送推論要求。Cloud Load Balancing 會將傳入的要求分配給 GKE 叢集中的提供模型容器。這種分配方式有助於防止任何單一容器超載,確保要求能有效率地處理。
  3. 提供回應:節點會處理要求並產生預測結果。提供模型的容器透過 Cloud Load Balancing,向應用程式使用者傳送回覆。

使用的產品

參考架構使用下列 Google Cloud 產品:

  • Google Kubernetes Engine (GKE):這項 Kubernetes 服務可讓您透過 Google 的基礎架構,大規模部署及操作容器化應用程式。
  • Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。
  • 虛擬私有雲 (VPC):虛擬系統,為 Google Cloud 工作負載提供全球性、可擴充的網路功能。虛擬私有雲包含虛擬私有雲網路對接、Private Service Connect、私人服務存取權和 Shared VPC。
  • Cloud Load Balancing:高效能、可擴充的全球和區域負載平衡器組合。
  • Cloud DNS:透過 Google 全球網路提供彈性、低延遲的 DNS 服務。

用途

如果 AI 和機器學習工作負載需要大量儲存空間和高效能檔案存取,建議您使用以 Cloud Storage FUSE 為基礎建構的架構。只要妥善規劃,這些架構的處理量可超過 1 TB/秒。此外,Cloud Storage FUSE 可讓您運用中央儲存空間存放區,做為 AI 和機器學習工作流程所有階段的單一事實來源。無論工作負載規模或大小為何,都可採用這種方法。

Cloud Storage FUSE 為這些工作負載提供下列優點:

  • 簡化資料存取:使用 PyTorch、JAX 和 TensorFlow 等 AI 和機器學習架構,存取訓練資料和檢查點。透過 AI 和機器學習架構存取資料,不必重構程式碼。
  • 加速啟動:使用 Cloud Storage FUSE 直接存取 Cloud Storage 中的資料,不必將大型資料集下載至運算資源。直接存取資料可縮短工作啟動時間。
  • 成本效益:運用 Cloud Storage 固有的擴充性和成本效益,將成本最佳化。

Cloud Storage FUSE 不適用於對延遲時間敏感的工作負載,例如檔案小於 50 MB,或隨機 I/O 和中繼資料存取延遲時間必須低於 1 毫秒。

如果是資料密集型訓練或查核點和重新啟動工作負載,請考慮在 I/O 密集型訓練階段使用替代儲存空間。

設計替代方案

以下各節將介紹其他設計方法,供您在 Google Cloud中建構 AI 和機器學習應用程式時參考。

平台替代方案

除了在 GKE 上託管模型訓練和服務工作流程,您也可以考慮使用 Compute Engine 搭配 Slurm。Slurm 是可高度設定的開放原始碼工作負載和資源管理工具。搭配使用 Compute Engine 和 Slurm,特別適合用於大規模模型訓練和模擬。如果您需要將專屬 AI 和機器學習智慧財產 (IP) 整合至可擴充的環境,並靈活控管,以最佳化特殊工作負載的效能,建議您搭配使用 Compute Engine 和 Slurm。如要進一步瞭解如何搭配使用 Compute Engine 和 Slurm,請參閱「透過 Slurm 部署 HPC 叢集」。

在 Compute Engine 上,您可以佈建及管理虛擬機器 (VM),精細控管執行個體類型、儲存空間和網路。您可以根據確切需求調整基礎架構,包括選取特定 VM 機器類型。如要瞭解如何在 Compute Engine 中使用 Cloud Storage FUSE 指令列選項,請參閱「gcsfuse CLI」和「Cloud Storage FUSE 設定檔」。您也可以使用加速器最佳化機器家族,提升 AI 和機器學習工作負載的效能。如要進一步瞭解 Compute Engine 提供的機器家族類型,請參閱「機器家族資源和比較指南」。

Slurm 是管理 AI 和機器學習工作負載的強大選項,可讓您控管運算資源的設定和管理。如要採用這種方法,您必須具備 Slurm 管理和 Linux 系統管理方面的專業知識。

加速器選項

機器加速器是專用處理器,可加快 AI 和機器學習工作負載所需的運算速度。您可以選擇 GPU 或 TPU。

  • GPU 加速器可為各種工作提供卓越效能,包括圖形算繪、深度學習訓練和科學運算。 Google Cloud 提供多種 GPU,可依據不同的效能和價位需求選用。GPU 通常會在每個機器設定中包含本機 SSD,Cloud Storage FUSE 可將其用作快取目錄。如要瞭解 GPU 模型和定價,請參閱「GPU 定價」。
  • TPU 是經過最佳化調整的特製 AI 加速器,適合用於大型 AI 模型的訓練和推論作業。TPU 的用途廣泛,包括聊天機器人、程式碼生成、媒體內容生成、合成語音、視覺辨識服務、推薦引擎和個人化模型等。如要進一步瞭解 TPU 模型和定價,請參閱「TPU 定價」。

儲存空間替代方案

Cloud Storage FUSE 提供便利的檔案系統,可讓您充分運用 Cloud Storage 的擴充性和成本效益。不過,如果工作負載需要低延遲時間來讀取小型檔案,或需要完全符合 POSIX 規範的儲存空間解決方案,Cloud Storage FUSE 並不適合。針對這些用途,建議您考慮下列儲存空間替代方案:

  • Google Cloud Managed Lustre:以 DDN 的 EXAScaler Lustre 為基礎,全代管 Google Cloud的永久平行檔案系統 (PFS)。Managed Lustre 的延遲時間不到一毫秒,且每秒輸入/輸出作業數 (IOPS) 很高。Managed Lustre 可有效從 Lustre 或其他 PFS 解決方案遷移現有工作負載。如要在查核點設定期間提升效能,建議使用 Managed Lustre,透過 Rapid Cache 擴充 Cloud Storage FUSE。詳情請參閱「使用 Google Cloud Managed Lustre 最佳化 AI 和機器學習工作負載」。
  • Connector for PyTorch:Cloud Storage 的開放原始碼產品,適合使用 PyTorch 的工作負載。Connector for PyTorch 可直接從 Cloud Storage bucket 串流資料,不必使用中繼儲存空間,因此能最佳化訓練工作負載。相較於直接呼叫 Cloud Storage API 進行資料載入、訓練和檢查點設定,這種直接存取和最佳化方式可大幅提升效能。

雖然替代儲存空間選項可為特定 AI 和機器學習工作負載提供效能優勢,但請務必評估您對延遲時間、處理量和儲存容量的需求。

如要全面比較 AI 和機器學習工作負載的儲存空間選項,請參閱「AI Hypercomputer 中 AI 和機器學習工作負載的儲存空間服務總覽」。

設計須知

本節提供最佳做法和設計考量指南,協助您設定 Cloud Storage FUSE,確保安全性、可靠性、成本效益和效能。雖然這裡提供的建議並非詳盡無遺,但仍涵蓋了重要考量,可協助您在環境中充分發揮 Cloud Storage FUSE 的效益。視具體需求和工作負載特性而定,您可能需要考量其他設定選項和取捨。

下列設計建議著重於設定,可協助您調整在 GKE 中部署 Cloud Storage FUSE 的方式。大多數 Cloud Storage FUSE 選項都是透過掛接選項設定。如要進一步瞭解 Cloud Storage FUSE 指令列選項和使用方式,請參閱下列說明文件:

如要概略瞭解 Google Cloud中 AI 和機器學習工作負載專屬的架構原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點」一文。

安全性、隱私權和法規遵循

本節說明在 Google Cloud 中,AI 和機器學習工作負載的注意事項,以符合安全性、隱私權和法規遵循要求。

GKE 考量

在 Autopilot 模式中,GKE 會預先設定叢集,並根據安全性最佳做法管理節點,讓您專注於工作負載專屬的安全性。詳情請參閱「GKE Autopilot 安全措施」。

如要為在 GKE 中執行的應用程式提供更強大的存取控管功能,可以使用 Identity-Aware Proxy (IAP)。IAP 與 GKE Ingress 資源整合,可限制只有具備適當 Identity and Access Management (IAM) 角色的已驗證使用者才能存取。詳情請參閱「為 GKE 啟用 IAP」。

根據預設,GKE 會使用 Google-owned and Google-managed encryption keys,將靜態和傳輸中的資料加密。如要為機密資料多加一層防護,您可以使用 Cloud Key Management Service 擁有及管理的金鑰,在應用程式層加密資料。詳情請參閱「在應用程式層加密 Secret」。

如果您使用標準 GKE 叢集,則可使用下列額外的資料加密功能:

Cloud Storage 注意事項

根據預設,儲存在 Cloud Storage 中的資料會使用 Google-owned and Google-managed encryption keys加密。如有需要,您可以使用客戶自行管理的加密金鑰 (CMEK),或使用客戶提供的加密金鑰 (CSEK) 等外部管理方法,自行管理金鑰。詳情請參閱「資料加密選項」。

Cloud Storage 支援兩種方法,可授予使用者 bucket 和物件的存取權:IAM 和存取控管清單 (ACL)。在多數情況下,建議您使用 IAM,在 bucket 和專案層級授予權限。詳情請參閱「存取控管總覽」。

您透過 Cloud Storage 載入的訓練資料可能包含機密資料。如要保護這類資料,您可以使用 Sensitive Data Protection 探索、分類及去識別化資料。如要區隔訓練和服務工作負載,請將模型和查核點儲存至不同的 Cloud Storage bucket。這種隔離措施有助於防止訓練資料集中的機密資訊在提供時意外曝光。詳情請參閱「搭配運用 Cloud Storage 和 Sensitive Data Protection」。

如果您有資料落地規定,Cloud Storage 可協助您遵守這些規定。資料會儲存或複製到您指定的區域。

Cloud Storage FUSE 考量

啟用快取功能後,Cloud Storage FUSE 會將 Cloud Storage bucket 中的永久檔案,以未加密格式儲存在您指定的目錄中。Cloud Storage 會向任何具有目錄存取權的使用者或程序公開所有檔案。為降低這些風險並提升安全性,FUSE 核心層會限制檔案系統存取權,僅限掛接系統的使用者存取。這項限制會拒絕其他使用者 (包括超級使用者) 的存取,即使 inode 權限較寬鬆也一樣。

不過,在某些情況下,可能需要覆寫預設存取限制。舉例來說,在分散式 AI 和機器學習訓練工作負載中,如果多個節點需要存取及共用儲存在 Cloud Storage 中的檢查點,您可能需要允許更廣泛的存取權。在這種情況下,您可以使用 -o allow_other 選項覆寫預設限制。不過,如果擴大檔案存取權,可能會向未經授權的使用者公開資料。因此,使用這個選項時請務必謹慎。

根據預設,Cloud Storage FUSE 檔案系統中的所有 inode 都屬於掛接檔案系統的使用者。雖然這些預設值可能適用於許多情況,但您也可以為 Pod 自訂 Security Context。如要瞭解如何自訂安全性環境,請參閱「安全性與權限」。

其他安全性考量

如需 AI 和機器學習工作負載專屬的安全原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:安全性」。

可靠性

為提升可靠性,Cloud Storage FUSE 會自動重試,處理潛在中斷情形並維持資料一致性。失敗的要求會以指數輪詢方式自動重試,傳送至 Cloud Storage。指數輪詢會逐漸增加重試之間的間隔時間。這項內建機制可協助應用程式克服暫時性網路問題,或 Cloud Storage 暫時無法使用的情況。

雖然 Cloud Storage FUSE 有許多優點,但請考量下列事項:

  • 並行寫入:多位使用者嘗試修改檔案時,系統會優先執行最後寫入優先作業,並遺失所有先前的寫入作業。為維護資料完整性,建議您在任何時候都只透過單一來源修改單一物件。
  • 快取持續性:卸載或重新啟動 bucket 時,快取不會保留。為避免潛在的安全問題,請務必在卸載或重新啟動 bucket 後,手動刪除檔案快取目錄。
  • 具有專屬快取的程序:雖然 Cloud Storage FUSE 支援並行存取,可有效進行平行處理,但請務必記住,快取是各個 Cloud Storage FUSE 程序專屬。因此,在相同或不同機器上執行的不同 Cloud Storage FUSE 程序,不應使用相同的快取目錄。

其他可靠性考量

如需 AI 和機器學習工作負載專屬的可靠性原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:可靠性」。

成本最佳化

本節提供指引,協助您在 Google Cloud中設定及執行 AI 和機器學習工作流程,並盡可能降低成本。

GKE 考量

在 Autopilot 模式下,GKE 會根據工作負載需求,最佳化叢集基礎架構的效率。如要控管成本,您不必持續監控資源使用率或管理容量。

如果您能預測 Autopilot 叢集的 CPU、記憶體和臨時儲存空間用量,就能享有承諾使用折扣。如要降低執行應用程式的費用,可以對 GKE 節點使用 Spot VM。Spot VM 的價格比標準 VM 低,但不保證可用性。

如要透過有效率的管理方式,盡可能提高成本效益和效能,請使用 Dynamic Workload Scheduler。Dynamic Workload Scheduler 是資源管理和工作排程器,可協助您更輕鬆地存取 AI 和機器學習資源。Dynamic Workload Scheduler 會同時排定所有加速器,並可透過定義的加速器容量管理,在離峰時段執行。Dynamic Workload Scheduler 可策略性地排定工作,盡可能提高加速器使用率、縮短閒置時間,並最終最佳化雲端支出。

如要進一步瞭解成本最佳化指南,請參閱「在 GKE 中執行成本效益最高的 Kubernetes 應用程式的最佳做法」。

Cloud Storage 注意事項

AI 和機器學習儲存空間需求可能會變動。舉例來說,訓練資料可能需要大量儲存空間,但提供服務時,您主要儲存模型資料和檢查點,因此容量需求會降低。為控管成本,建議您啟用物件生命週期管理和自動調整級別。

物件生命週期管理功能可讓您根據設定的規則,自動將舊資料或未使用的資料移至費用較低的儲存空間級別,甚至刪除資料。

自動調整級別功能會根據您的存取模式,自動在儲存空間級別之間移動資料。這項功能有助於平衡效能和成本。

Cloud Storage FUSE 考量

FUSE 活動產生的儲存空間、中繼資料作業和網路流量,會依標準 Cloud Storage 費率計費。使用 Cloud Storage FUSE 不需額外付費。如要進一步瞭解常見的 Cloud Storage FUSE 作業,以及這些作業與 Cloud Storage 作業的對應關係,請參閱「作業對應」。

如要最佳化快取目錄的成本,可以使用現有的佈建機器容量,包括本機 SSD、永久磁碟或記憶體內資料,用於暫存檔案系統。使用現有的機器容量,可避免產生額外儲存空間資源的費用。此外,盡可能提高快取命中率可大幅降低 Cloud Storage 費用,因為本機提供的資料不會產生營運費用或資料移轉費用。

如果您在 GKE 中使用 Cloud Storage FUSE 設定檔,每個設定檔預設每七天會對 bucket 或子目錄執行一次背景掃描。這項掃描作業會產生 Cloud Storage A 級作業費用,用於列出物件。此外,gcsfusecsi-serving 設定檔會自動啟用 Rapid Cache,並產生 Rapid Cache 費用。

如要進一步瞭解費用,請參閱「Cloud Storage 定價」。

其他費用考量

如要瞭解 AI 和機器學習工作負載專屬的成本最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:成本最佳化」。

效能最佳化

Cloud Storage FUSE 旨在為 AI 和機器學習工作負載,提供有效率的 Cloud Storage 資料存取方式。不過,頻繁的中繼資料要求可能會降低效能,尤其是在大規模叢集中。如要進一步瞭解如何提升效能,請參閱下列說明文件:

如要獲得最佳成效,建議您採用下列設定:

  • 使用設定檔和機器類型預設值,自動調整效能:您可以使用 Cloud Storage FUSE 設定檔設定,為 AI 和機器學習工作負載套用預先設定,不必手動設定個別掛接選項。在 GKE 中,您也可以使用 GKE 中的 Cloud Storage FUSE 設定檔,並預先安裝 StorageClasses。此外,Cloud Storage FUSE 會自動套用高效能機型的最佳化預設設定。
  • 啟用階層命名空間:如要強化資料存取和組織,請建立啟用階層命名空間的 Cloud Storage bucket。階層命名空間可讓您以檔案系統結構整理資料,進而提升效能、維持一致性,並簡化 AI 和機器學習工作負載的管理作業。階層命名空間可提高初始 QPS,並快速重新命名不可分割的目錄。
  • 啟用檔案快取:檔案快取功能會使用本機節點目錄快取經常讀取的檔案,加快重複存取訓練資料的速度。從快取媒體提供重複讀取,可縮短延遲時間,並盡可能減少傳回 Cloud Storage 的作業。如果 GPU 機型配備本機 SSD,系統會自動使用本機 SSD 目錄。如果機型不含本機 SSD (例如 TPU),您可以使用 RAM 磁碟目錄,例如 /tmpfs。
  • 提高中繼資料快取值:Cloud Storage FUSE 使用統計資料快取儲存物件中繼資料,以及檔案和目錄類型資訊,可提升中繼資料查詢相關作業的效能。
  • 預先填入中繼資料快取:中繼資料預先擷取功能可讓 Cloud Storage FUSE CSI 驅動程式主動將 Cloud Storage bucket 中物件的相關中繼資料,載入 Cloud Storage FUSE 快取。這種做法可減少對 Cloud Storage 的呼叫,特別適合存取大型資料集 (包含許多檔案) 的應用程式,例如 AI 和機器學習訓練工作負載。為避免工作負載中斷,請提高 gke-gcsfuse-metadata-prefetch sidecar 的記憶體限制。
  • 啟用清單快取:清單快取可最佳化列出目錄和檔案。這項功能特別適合 AI 和機器學習訓練工作負載,因為這類工作負載通常需要重複存取及列出整個目錄。清單快取可減少重複存取電腦記憶體中目錄清單的需求,進而提供高效率的訓練程序。
  • 啟用平行下載:平行下載功能會同時擷取多個區塊到本機檔案快取,加快模型初始載入速度。啟用平行下載功能後,模型載入速度會加快,提供服務時的回應速度也會提升。啟用檔案快取時,Cloud Storage FUSE 會自動啟用平行下載。

    Cloud Storage FUSE 服務設定檔會停用本機檔案快取,適用於將模型載入 GPU 或 TPU 記憶體一次的工作負載,並在同一區域使用 Rapid Cache 緩衝讀取。如果 GKE 叢集和 Cloud Storage bucket 位於不同區域,請使用本機檔案快取和平行下載功能。

  • 啟用串流寫入:串流寫入會在新檔案 (例如模型查核點) 寫入資料時,直接將依序寫入的資料上傳至 Cloud Storage,不必先在本機暫存目錄中暫存整個檔案。最新版本 Cloud Storage FUSE 預設會啟用串流寫入功能。

  • 設定 GKE 邊車容器資源:為避免資源限制影響效能,或覆寫命名空間 LimitRange,您可以設定邊車容器資源。

  • 唯讀掛接:訓練工作負載通常只需要讀取資料,因此請將掛接點設為唯讀,以獲得最佳效能,尤其是在使用檔案快取時。這項設定也有助於充分發揮大規模叢集的最佳化效益,並防止潛在的資料不一致問題。

其他效能考量

如需 AI 和機器學習工作負載專屬的效能最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:效能最佳化」。

後續步驟

貢獻者

作者:Samantha He | 技術撰稿人

其他貢獻者: