這份文件提供參考架構,說明如何使用 Google Cloud Managed Lustre,提升部署在 Google Kubernetes Engine (GKE) 的 AI 和機器學習工作負載效能。本文適用於架構師和技術人員,他們負責在 Google Cloud上設計、佈建及管理 AI 工作負載的儲存空間。本文假設您已瞭解 Kubernetes 概念和機器學習生命週期、程序和功能。
Managed Lustre 是全代管的永久平行檔案系統 (PFS),以 DDN 的 EXAScaler Lustre 為基礎。 Google CloudManaged Lustre 是 AI 訓練和查核點工作負載的推薦解決方案。特別適合從 Lustre 或其他 PFS 解決方案遷移現有工作負載。為充分運用資源,如果工作負載使用 Managed Lustre 訓練模型,也應使用同一執行個體提供模型及推論。
如果 AI 工作負載符合下列條件,建議使用 Managed Lustre:
- 需要 PiB 級儲存空間容量。
- 提供超低延遲 (一毫秒內) 存取,且處理量高。
- 提供高每秒輸入/輸出作業數 (IOPS)。
Managed Lustre 為 AI 工作負載提供下列優勢:
- 降低訓練的總持有成本 (TCO):Managed Lustre 可有效率地將資料傳送至運算節點,縮短訓練時間。這項功能有助於降低 AI 和機器學習模型訓練的總持有成本。
- 降低提供模型的總持有成本:Managed Lustre 提供高效能功能,可加快模型載入速度,並最佳化推論提供作業。這些功能有助於降低運算成本,並提高資源使用率。
- 有效運用資源:Managed Lustre 可讓您在單一執行個體中合併查核點和訓練作業。這種資源共用方式有助於在單一高效能儲存系統中,盡可能提高讀寫處理量的使用效率。
架構
下圖顯示使用 Managed Lustre 最佳化模型訓練工作負載和提供工作負載效能的範例架構:
後續章節會詳細說明上述架構中的工作負載。此架構包含下列元件:
- GKE 叢集:GKE 會管理運算主機,AI 和機器學習模型訓練與服務程序會在這些主機上執行。GKE 會管理叢集的底層基礎架構,包括控制層、節點和所有系統元件。
- Kubernetes 排程器:GKE 控制層會排定工作負載,並管理其生命週期、資源調度和升級。
- 虛擬私有雲網路 (VPC 網路):架構中的所有 Google Cloud 資源都使用單一虛擬私有雲網路。
- Cloud Load Balancing:在這個架構中,Cloud Load Balancing 會將應用程式使用者傳入的推論要求,有效率地分配至 GKE 叢集中的提供模型容器。使用 Cloud Load Balancing 有助於確保 AI 和機器學習應用程式的高可用性、擴充性和最佳效能。詳情請參閱「瞭解 GKE 負載平衡」。
- 圖形處理器 (GPU) 或 Tensor Processing Unit (TPU):GPU 和 TPU 是專門的機器加速器,可提升 AI 和機器學習工作負載的效能。為確保最佳效率和相容性,請在整個 AI 和機器學習工作負載中使用相同類型的加速器。如要進一步瞭解如何選擇合適的處理器類型,請參閱本文件稍後的「加速器選項」。
- Managed Lustre:Managed Lustre 提供高效能、永久的 PFS,可縮短延遲時間並提高處理量,加速 AI 和機器學習訓練及提供。相較於單獨使用 Cloud Storage,使用 Managed Lustre 可大幅縮短訓練時間,並提升模型在服務期間的回應速度。對於需要快速且穩定存取共用資料的嚴苛工作負載,這些改善措施特別有助於提升效能。
- Cloud Storage FUSE:Cloud Storage FUSE 為 AI 和機器學習工作負載提供永久且符合成本效益的儲存空間。Cloud Storage 是原始訓練資料集、模型檢查點和模型備份的中央存放區。使用 Cloud Storage 可確保資料耐用性、長期可用性,以及非主動用於運算的資料成本效益。
訓練工作負載
在上述架構中,模型訓練期間的資料流程步驟如下:
- 將訓練資料上傳至 Cloud Storage:將訓練資料上傳至 Cloud Storage bucket,做為安全、可擴充的中央存放區和可靠資料來源。
- 將資料複製到 Managed Lustre:從 Cloud Storage 將資料匯入 Managed Lustre 執行個體,藉此移轉訓練資料庫。轉移訓練資料後,您就能運用 Managed Lustre 的高效能檔案系統功能,在模型訓練期間提升資料載入和處理速度。
- 在 GKE 中執行訓練工作:模型訓練程序會在 GKE 節點上執行。使用 Managed Lustre 做為資料來源,而非直接從 Cloud Storage 載入資料,GKE 節點就能以更快的速度和更低的延遲時間,存取及載入訓練資料。Managed Lustre 也能縮短開始傳輸第一個位元組的時間,這項指標稱為第一個位元組時間 (TTFB)。使用 Managed Lustre 有助於縮短資料載入時間,並加快整體訓練程序,尤其是具有小型讀取檔案和複雜模型的大型資料集。您可以根據工作負載需求,使用 GPU 或 TPU。如要瞭解如何選擇合適的處理器類型,請參閱本文後續的「加速器選項」一節。
- 將訓練查核點儲存至 Managed Lustre:在訓練過程中,系統會根據您定義的指標或間隔,將查核點儲存至 Managed Lustre。查核點會頻繁擷取模型狀態。您可以選擇所需查核點並匯出至 Cloud Storage 以長久保存。
提供工作負載
在上述架構中,模型提供期間的資料流程步驟如下:
- 載入模型以提供服務:模型準備好要部署時,GKE Pod 會從 Managed Lustre 執行個體載入訓練後的模型至服務節點。如果訓練期間使用的 Managed Lustre 執行個體有足夠的 IOPS 容量,且與加速器位於相同可用區,您可以使用同一個 Managed Lustre 執行個體提供模型。重複使用 Managed Lustre 執行個體,即可在訓練和提供模型之間有效率地共用資源。為維持最佳效能和相容性,請使用與提供服務的 GKE 節點相同的 GPU 或 TPU 處理器類型。
- 推論要求:應用程式使用者透過服務端點傳送推論要求。這些要求會導向至 Cloud Load Balancing 服務。Cloud Load Balancing 會將傳入的要求分配給 GKE 叢集中的提供模型容器。這種分配方式可確保單一容器不會不堪負荷,並有效率地處理要求。
- 提供推論要求:收到推論要求時,運算節點會存取預先載入的模型,執行必要運算並生成預測結果。
- 傳送回應:提供模型的容器透過 Cloud Load Balancing 傳回回應。Cloud Load Balancing 會將回應轉送回適當的應用程式使用者,完成推論要求週期。
使用的產品
這個參考架構使用下列 Google Cloud 產品:
- 虛擬私有雲 (VPC):虛擬系統,可為 Google Cloud 工作負載提供全球可擴充的網路功能。虛擬私有雲包含虛擬私有雲網路對接、Private Service Connect、私人服務存取權和 Shared VPC。
- Cloud Load Balancing:高效能、可擴充的全球和區域負載平衡器組合。
- Google Kubernetes Engine (GKE):Kubernetes 服務,可讓您透過 Google 的基礎架構,大規模部署及操作容器化應用程式。
- Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。
- Google Cloud Managed Lustre:全代管平行檔案系統,適用於 AI、高效能運算 (HPC) 和資料密集型應用程式。
用途
Managed Lustre 適合需要 PiB 規模儲存容量,且必須提供低延遲 (低於 1 毫秒) 存取、高處理量和高 IOPS 的 AI 工作負載。本節提供 Managed Lustre 的用途範例。
文字型處理和文字生成
大型語言模型是專門的 AI 模型,專為理解和處理文字資料而設計。LLM 是以大量文字資料集訓練而成,因此能執行各種工作,包括機器翻譯、回答問題及歸納文本重點。為提升訓練和批次處理效率,LLM 需要以低延遲時間存取資料集。Managed Lustre 提供訓練和推論所需的高處理量和低延遲,因此非常適合資料密集型應用程式,可讓 LLM 輔助的應用程式更快速回應。
處理高解析度圖像或影片
AI 和機器學習應用程式或多模態生成式模型 (例如醫學影像分析或自動駕駛系統) 會處理高解析度圖片或影片,因此需要大容量儲存空間和快速資料存取。Managed Lustre 提供高效能永久檔案系統,可快速載入資料,提升應用程式效能。舉例來說,Managed Lustre 可儲存大量病患資料,例如 MRI 和 CT 掃描結果,並能快速將資料載入運算節點,用於模型訓練。這項功能可讓 AI 和機器學習模型快速分析資料,用於診斷和治療。
設計替代方案
本節介紹其他設計方法,供您在 Google Cloud中建構 AI 和機器學習應用程式時參考。
運算基礎架構替代方案
本文件中的參考架構使用 GKE 處理 AI 和機器學習工作負載。視工作負載需求而定,您也可以在 Compute Engine 上使用 Slurm 部署 Managed Lustre 執行個體。如果您需要將專屬 AI 智慧財產 (IP) 整合至可擴充的環境,且需要彈性和控制權,以針對特定工作負載最佳化效能,建議採用這種做法。
相較於 GKE,Compute Engine 可讓您更精細地控管作業系統層級。使用 Compute Engine 時,您可以執行下列操作:
- 選取、設定及管理虛擬機器中的 OS 環境,滿足特定工作負載需求。
- 根據您的確切需求量身打造基礎架構,包括選取特定 VM 機型。
- 使用加速器最佳化機器家族,提升 AI 工作負載的效能。
Slurm 是可高度設定的開放原始碼工作負載和資源管理工具。Slurm 是管理 AI 工作負載的強大選項,可讓您控管運算資源的設定和管理。如要使用這種方法,您必須具備 Slurm 管理和 Linux 系統管理專業知識。GKE 提供代管 Kubernetes 環境,可自動管理叢集。
如要瞭解如何部署 Slurm,請參閱「透過 Slurm 部署 HPC 叢集」。您也可以使用 Cluster Toolkit 搭配 Managed Lustre 範例藍圖進行部署。
加速器選項
機器加速器是專用處理器,可加快 AI 和機器學習工作負載所需的運算速度。您可以選擇 GPU 或 TPU。
- GPU 加速器可為各種工作提供優異效能,包括圖形算繪、深度學習訓練和科學運算。 Google Cloud 提供多種 GPU,可依據不同的效能和價位需求選用。如要瞭解 GPU 模型和定價,請參閱「GPU 定價」。
- TPU 是經過最佳化調整的特製 AI 加速器,適合用於大型 AI 模型的訓練和推論作業。TPU 的用途廣泛,包括聊天機器人、程式碼生成、媒體內容生成、合成語音、視覺辨識服務、推薦引擎和個人化模型等。如要進一步瞭解 TPU 模型和定價,請參閱「TPU 定價」。
其他儲存空間選項
Cloud Storage FUSE 搭配 Rapid Cache,可用於訓練、查核點和提供工作負載。相較於 Managed Lustre,Cloud Storage FUSE 搭配 Rapid Cache 的成本較低,且更易於進行多區域推論,因此是提供和推論服務的建議儲存空間解決方案。為確保最高可用性,請搭配使用 Cloud Storage FUSE、Rapid Cache 和多區域或雙區域 bucket。這項設定可讓訓練好的 AI 模型在多個區域使用。不過,與 Managed Lustre 執行個體相比,Cloud Storage FUSE 的每個 VM 處理量可能較低。詳情請參閱「使用 Cloud Storage FUSE 最佳化 AI 和機器學習工作負載」。
設計須知
如要設計 Managed Lustre 部署作業,在 Google Cloud上盡可能提高 AI 和機器學習工作負載的安全性、穩定性、成本效益、作業效率和效能,請參閱下列各節的指南。
如要瞭解 Google Cloud中 AI 和機器學習工作負載的架構原則和建議,請參閱 Well-Architected Framework 中的AI 和機器學習觀點。
安全性、隱私權和法規遵循
本節說明在Google Cloud 中,AI 和機器學習工作負載的注意事項,確保符合安全性、隱私權和法規遵循要求。
SSH 安全性
如要強化 GKE 中執行應用程式的存取控管,可以使用 Identity-Aware Proxy (IAP)。IAP 會與 GKE Ingress 資源整合,協助驗證只有通過驗證且具備正確身分與存取權管理 (IAM) 角色的使用者,才能存取應用程式。詳情請參閱「為 GKE 啟用 IAP」和「使用 IAM 控管存取權」。
資料加密
根據預設,GKE 中的資料 (包括儲存在 Managed Lustre 執行個體中的資料) 會使用 Google-owned and Google-managed encryption keys進行靜態和傳輸中加密。如需自行管理加密金鑰,您可以使用 Cloud Key Management Service 中客戶自行管理的加密金鑰 (CMEK),加密 Managed Lustre 執行個體中的靜態資料,並在應用程式層加密 GKE 密鑰。詳情請參閱「使用客戶自行管理的加密金鑰」和「在應用程式層加密 Secret」。
如果您使用 GKE Standard 叢集,則可使用下列額外的資料加密功能:
- 使用機密 Google Kubernetes Engine 節點,加密使用中的資料 (即記憶體中的資料)。如要進一步瞭解機密 GKE 節點的功能、可用性和限制,請參閱「使用機密 GKE 節點加密使用中的工作負載資料」。
- 如要進一步控管用於加密跨 GKE 節點 Pod 流量的加密金鑰,可以使用您管理的金鑰加密傳輸中的資料。詳情請參閱「使用使用者自行管理的加密金鑰,加密 GKE 中傳輸中的資料」。
資料隔離
為強化安全性和資料保護,請將訓練資料儲存在與檢查點和訓練模型不同的 Managed Lustre 執行個體中。使用獨立的儲存空間執行個體,可隔離效能、隔離訓練資料來強化安全性,以及提升資料保護。雖然存取控管清單可讓您管理單一執行個體中的安全性,但使用獨立執行個體可提供更強大的安全性邊界。
其他安全性考量
在 Autopilot 模式中,GKE 會預先設定叢集,並根據安全性最佳做法管理節點,讓您專注於工作負載專屬的安全性。詳情請參閱「GKE Autopilot 安全防護功能」和「GKE Autopilot 內建 Kubernetes 安全防護功能」。
如要瞭解如何保護資料隱私,請參閱「Sensitive Data Protection 總覽」和「檢查 Google Cloud 儲存空間和資料庫中的私密資料」。
如要瞭解 AI 和機器學習工作負載專用的安全原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:安全性」。
可靠性
本節說明使用這項參考架構,在 Google Cloud為區域部署作業建構及運作可靠基礎架構時,應考量的設計因素。
基礎架構中斷時的穩健性
在這個架構中,GKE 採用 Autopilot 模式作業,提供下列內建可靠性功能:
- 您的工作負載使用區域性 GKE 叢集。控制層和 worker 節點會分散在區域內的三個不同可用區。工作負載可抵禦可用區中斷。區域性 GKE 叢集的運作時間服務水準協議 (SLA) 高於可用區叢集。
- 您不需要建立節點或管理節點集區。GKE 會自動建立節點集區,並根據工作負載的需求自動調整資源配置。
如要提高應用程式的可用性,您可以在每個可用區部署 Managed Lustre 執行個體,從多個可用區提供應用程式。
叢集容量規劃
為確保在自動調整 GKE 叢集大小時,有足夠的 GPU 運算能力,您可以建立並使用預留項目。預留機制可確保在特定可用區為指定資源提供容量。預留項目可專供特定專案使用,也可供多個專案共用。即使未佈建或使用預留資源,仍須支付相關費用。詳情請參閱「耗用預留的可用區資源」。
資料持久性
如要備份及還原 GKE 中的工作負載,請在各個叢集啟用 GKE 備份功能。GKE 備份服務適用於災難復原、CI/CD 管道、複製工作負載和升級等情境。
您可以選取要備份及還原的特定工作負載或所有工作負載。您也可以備份某個叢集的工作負載,並還原至其他叢集。為減少工作負載停機時間,您可以排定備份作業自動執行,以便在發生事件時快速復原工作負載。
更多可靠性考量
如要瞭解 AI 和機器學習工作負載專屬的可靠性原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:可靠性」。
成本最佳化
本節提供指引,協助您在 Google Cloud中設定及執行 AI 和機器學習工作流程,並盡可能降低成本。
Managed Lustre 效能層級
建立 Managed Lustre 執行個體時,您必須選取效能級別。請根據工作負載的效能和成本需求,選擇合適的級別。
節點佈建模式
在 Autopilot 模式下,GKE 會根據工作負載需求,盡可能提升叢集基礎架構的執行效率。如要控管成本,您不需要持續監控資源用量或管理容量。
如果您可以預測 Autopilot 叢集的 CPU、記憶體和臨時儲存空間用量,就能享有承諾使用折扣。如要降低執行應用程式的費用,可以對 GKE 節點使用 Spot VM。Spot VM 的價格低於標準 VM,但不保證可用性。
資源管理
如要透過有效率的管理方式,盡可能提高成本效益和效能,請使用 Dynamic Workload Scheduler。Dynamic Workload Scheduler 是資源管理和工作排程器,可協助您更輕鬆地存取 AI 加速器 (GPU 和 TPU)。Dynamic Workload Scheduler 會同時排定所有加速器,並可透過定義的加速器容量管理功能,在離峰時段執行。Dynamic Workload Scheduler 可策略性地排定工作,盡可能提高加速器使用率、縮短閒置時間,並最佳化雲端支出。
資源使用率
為了充分運用資源,請使用一個 Managed Lustre 執行個體進行訓練和提供服務。將訓練和服務工作負載整合至單一 Managed Lustre 執行個體,可淘汰多餘的基礎架構並簡化資源管理,進而降低成本。不過,如果這兩個工作負載都需要高輸送量,可能會發生資源爭用。如果訓練後還有閒置的 IOPS,使用相同執行個體可加快模型載入速度,以便提供服務。請使用 Cloud Monitoring,確認您分配的資源足以滿足處理量需求。
為盡量減少儲存空間費用,請在訓練和檢查點完成後,將資料從 Managed Lustre 執行個體匯出至成本較低的 Cloud Storage 類別。將資料匯出至 Cloud Storage 後,您也可以視工作負載需求,刪除並重新建立 Managed Lustre 執行個體。
如要控管 Cloud Storage 值區的費用,請啟用物件生命週期管理或 Autoclass。物件生命週期管理功能會根據您設定的規則,自動將較舊或較少使用的資料移至費用較低的儲存空間級別,或刪除資料。自動調整級別功能會根據存取模式,在不同儲存空間級別之間移動資料。使用物件生命週期管理或 Autoclass,可確保資料使用方式採用最具成本效益的儲存空間級別,盡可能降低費用,並避免產生非預期的擷取費用。
更多費用注意事項
如要瞭解 AI 和機器學習工作負載專用的成本最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:成本最佳化」。如要瞭解如何在 GKE 最佳化成本,請參閱「在 GKE 執行最具成本效益的 Kubernetes 應用程式的最佳做法」。
卓越的營運成果
本節提供指引,協助您為 AI 和機器學習工作流程設計基礎架構,以便有效率地運作。
模型管理
如要追蹤及管理模型構件 (包括二進位檔和中繼資料),請使用 Gemini Enterprise Agent Platform 的 Model Registry,輕鬆儲存、整理及部署模型版本。
如要提高模型可靠性,請在 Gemini Enterprise Agent Platform 導入 Model Monitoring,偵測資料偏移、追蹤效能,並找出正式環境中的異常狀況。
GKE 叢集自動調度資源
使用 Autopilot 叢集時,您不需要佈建或管理節點集區。節點集區會透過自動佈建節點功能自動佈建,並自動調度資源,以滿足工作負載的需求。
對於 GKE Standard 叢集,叢集自動配置器會依據工作負載需求,自動調整節點集區中的節點數量。如要控管叢集自動配置器的自動調度資源行為,您可以指定節點集區的大小上下限。
使用 GKE 叢集自動配置器時,請勿為叢集節點啟用 Compute Engine 代管執行個體群組 (MIG) 自動調度資源功能。GKE 叢集自動調度器與 Compute Engine 自動調度器不同。GKE 叢集自動配置器會分析整個 GKE 叢集 (包括基礎 MIG) 的資源使用率,並據此調整工作負載。如果同時使用這兩種自動配置器,可能會導致資源調度決策互相衝突。詳情請參閱「關於 GKE 叢集自動調度資源」。
指標監控
如要找出瓶頸,請使用 Cloud Monitoring 監控延遲、錯誤率和資源用量等重要指標。Cloud Monitoring 可即時掌握資源使用模式,找出潛在的效率不彰問題。
管理儲存空間
如要根據 Cloud Storage bucket 的用量自動管理資料,請啟用物件生命週期管理或自動調整級別。物件生命週期管理功能會根據您設定的規則,自動將較舊或較少使用的資料移至費用較低的儲存空間級別,或刪除資料。Autoclass 會根據存取模式,在不同儲存空間級別之間移動資料。使用物件生命週期管理或 Autoclass,可確保儲存空間基礎架構中的政策套用方式一致,並減少可能的人為錯誤,在不需人工介入的情況下,同時提升效能並節省成本。
更多作業考量
如要瞭解 AI 和機器學習工作負載專屬的卓越營運原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:卓越營運」。
效能最佳化
本節提供指引,協助您在 Google Cloud中最佳化 AI 和機器學習工作流程的效能。本節中的指引並非詳盡無遺。如要進一步瞭解如何最佳化 Managed Lustre 環境的效能,請參閱「效能注意事項」。
訓練考量
每個 A3 或 A4 VM 可從 Managed Lustre 執行個體提供 20 GB/s 的傳輸速率,每個 GPU 約 2.5 GB/s。開始訓練前,必須先從 Cloud Storage 預先擷取訓練資料,並匯入 Managed Lustre,盡可能縮短訓練期間的延遲時間。為盡可能提高訓練工作負載的處理量,請依據處理量和儲存空間容量需求,佈建 Managed Lustre 執行個體。舉例來說,20 TiB 的 Managed Lustre 執行個體會根據所選效能層級,在所有用戶端之間提供 2.5 GB/s 至 20 GB/s 的匯總輸送量。如果訓練需要更高的處理量,請相應增加 Managed Lustre 執行個體大小。
設定查核點的注意事項
如要充分運用 Managed Lustre 的高寫入處理量,並盡量縮短訓練時間,請使用 Managed Lustre 進行訓練和查核點作業。這種做法有助於有效運用資源,並盡可能加快訓練和檢查點作業,進而降低 GPU 資源的總持有成本。如要快速設定查核點,可以執行分散式非同步查核點設定。Managed Lustre 具有永久性,因此您可以在同一個執行個體中儲存查核點。如要進一步節省成本並長期儲存檢查點,建議將檢查點匯出至 Cloud Storage 值區。
放送注意事項
如要在放送期間達到最佳效能,請盡量縮短將模型載入記憶體的時間。Managed Lustre 提供每個 VM 超過 20 GB/s 的高處理量,因此叢集匯總處理量也很高。這項功能可協助您盡量縮短數千部 VM 的模型載入時間。如要追蹤重要指標,找出瓶頸,請使用 Cloud Monitoring,並確認您部署的容量足夠,因為效能會隨著儲存空間容量增加而提升。
資源刊登位置
如要盡量縮短延遲時間並提升效能,請在與 GPU 或 TPU 運算用戶端地理位置相近的區域中,建立 Managed Lustre 執行個體。在本文件所述的參考架構中,GKE 容器和檔案系統位於同一個可用區。
- 訓練和檢查點:為獲得最佳結果,請在同一區域中部署用戶端和 Managed Lustre 執行個體。這種共置方式可盡量縮短資料移轉時間,並充分運用 Managed Lustre 寫入處理量。
- 提供模型:雖然與運算用戶端位於同一可用區最理想,但每個區域有一個 Managed Lustre 執行個體就足夠。這種做法可避免部署多個執行個體所產生的額外費用,並盡可能提升運算效能。不過,如果需要額外的容量或輸送量,建議您在每個區域部署多個執行個體。
如要瞭解 Managed Lustre 執行個體支援的區域和可用區,請參閱「支援的位置」。
更多效能考量
如要瞭解 AI 和機器學習工作負載的效能最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:效能最佳化」。
部署作業
如要建立及掛接 Managed Lustre 執行個體,建議使用 Cluster Toolkit 中的 Managed Lustre 模組。Cluster Toolkit 是以 Terraform 為基礎的模組化工具包,用於在Google Cloud上部署可重複的 AI 和機器學習環境。
如要瞭解如何在 GKE 手動部署 Managed Lustre,請參閱「建立 Managed Lustre 執行個體」和「使用 Managed Lustre CSI 驅動程式存取 GKE 現有的 Managed Lustre 執行個體」。
如要瞭解如何為 Managed Lustre 設定虛擬私有雲網路,請參閱「設定虛擬私有雲網路」。
後續步驟
- 進一步瞭解在 Google Cloud實作機器學習技術的最佳做法。
- 進一步瞭解 AI Hypercomputer 中 AI 和機器學習工作負載適用的儲存空間服務。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:Samantha He | 技術文件撰稿者
其他貢獻者:
- Dean Hildebrand | 技術長辦公室技術總監
- Kumar Dhanagopal | 跨產品解決方案開發人員
- Sean Derrington | 儲存空間產品群經理