Gemini Enterprise Agent Platform 訓練叢集是 Google Cloud 的一項服務，旨在簡化及加速處理最大型且最複雜的 AI/ML 工作負載。專門用於解決大規模訓練的挑戰，例如複雜的叢集設定、架構最佳化、處理硬體故障，以及整合不同的工具集。
主要價值主張和功能
Gemini Enterprise Agent Platform 訓練叢集提供多項核心優點：
開放原始碼 Slurm UX 和叢集透明度： Gemini Enterprise Agent Platform 訓練叢集提供熟悉且彈性的工具，可透過開放原始碼 Slurm 使用者體驗啟動及管理工作。 Slurm 是業界標準，以最佳化 GPU 排程、自動容錯和簡化平行工作啟動程序而聞名。
自動設定及配置叢集： Gemini Enterprise Agent Platform 訓練叢集會自動設定及配置叢集，目標是在幾小時內從預訂轉換為正式訓練。使用者可以透過 Google Cloud 控制台 (使用參考架構或逐步設定)，或透過 JSON 檔案的 API 呼叫建立叢集。
預先設定的資料科學配方和工作流程： Gemini Enterprise Agent Platform 訓練叢集包含專為特定用途打造的工具 和最佳化訓練配方，可快速啟動 Llama 和 Gemma 模型等常見用途的訓練，涵蓋預先訓練、SFT (監督式微調) 和強化學習 (RL)。這些配方已預先設定，可在基礎架構上達到最先進 (SOTA) 的效能，展現顯著的效能提升。 Google Cloud
硬體復原能力和高正常運作時間： Gemini Enterprise Agent Platform 訓練叢集採用硬體復原設計，可提升叢集正常運作時間。 這項功能會自動解決硬體問題、偵測及分類各種故障模式 (例如正確性檢查、速度檢查、錯誤修正碼 (ECC) 錯誤、NVIDIA 資料中心 GPU 管理員 (DCGM) 檢查、磁碟空間容量)，並觸發補救措施，例如重新啟動、重新映像或更換故障節點，以及從檢查點繼續執行。這有助於減輕大規模訓練作業中斷和硬體故障所導致的成本大幅增加和延遲問題。
架構和元件： Gemini Enterprise Agent Platform 訓練叢集會在支援 GPU 和 CPU 的 Compute Engine 基礎架構上執行。這項服務會運用代管的 Slurm 自動調度管理工具，部署及管理運算節點，包括登入和工作站節點。這項服務可與其他服務 (例如網路和儲存空間) 整合。 Google Cloud
MLOps 和可觀測性：與 Gemini Enterprise Agent Platform Model Registry 等 Vertex ML Ops 工具整合，可自動註冊、追蹤及控管訓練工作流程版本，並與 Vertex AI Inference 整合，以便部署自動調度資源和自動化指標。訓練叢集也具備自動可觀測性，可與 Vertex AI TensorBoard 整合，以視覺化方式呈現訓練程序、追蹤指標，並及早找出問題。
您可以使用 Gemini Enterprise Agent Platform 訓練叢集 API，建立、擷取、列出、更新及刪除訓練叢集。叢集建立完成後，使用者可以登入節點、執行基本 Slurm 指令 (例如 sinfo、sbatch) 並執行 GPU 相關工作負載 (例如 nvidia-smi)，藉此驗證叢集功能。您可以使用 Slurm Job API，直接透過 Agent Platform API 管理 Slurm 工作。
Gemini Enterprise Agent Platform 訓練叢集提供 API，可使用針對 Llama 和 Gemma 等模型最佳化的配方，啟動預先建構的 LLM 工作，支援從檢查點進行預先訓練和持續預先訓練。登入登入節點並檢查輸出檔案和 Slurm 指令 (例如 squeue)，即可監控工作。
術語
本節提供重要術語和概念的定義，有助於瞭解及有效運用 Gemini Enterprise Agent Platform 訓練叢集。這些術語涵蓋核心服務元件、架構考量事項、整合式儲存技術，以及訓練環境的基礎機器學習 (ML) 和 MLOps 概念。
核心服務概念
節點
- 叢集中的單一虛擬機器 (Compute Engine 執行個體)。在預留叢集的代管訓練中，節點是指叢集內做為單一運算單位的個別虛擬機器 (VM)。您可以將其視為專屬工作機器，負責執行整體訓練工作的一部分。每個節點都配備 CPU、記憶體和加速器 (例如 A3 或 A4 GPU) 等特定資源，並以協調一致的方式共同處理大規模分散式訓練工作。
登入節點
- 登入節點是使用者存取叢集、提交工作及管理檔案的主要進入點。詳情請參閱「什麼是高效能運算？」。
partition
- 在 Slurm 中，節點的邏輯分組，通常用於區隔具有不同硬體設定的節點。
食譜
- 在受管理訓練的環境中，配方是全面且可重複使用的套件，內含執行特定大規模訓練工作負載所需的一切資源。
Slurm 叢集
- 由 Slurm 管理的 Compute Engine 執行個體集合，包括登入節點和多個設定為執行訓練工作的工作站節點。詳情請參閱「Slurm 工作負載管理員」。
worker 節點
- worker 節點是指叢集中的個別機器或運算執行個體，負責執行任務或作業。在 Kubernetes 或 Ray 叢集等系統中，節點是運算的基本單位。詳情請參閱「什麼是高效能運算 (HPC)？」。
架構和網路
消費者虛擬私有雲網路
- 用戶虛擬私有雲網路是 Google Cloud 虛擬私有雲 (VPC)，可私下存取託管於另一個 VPC (稱為供應商 VPC) 的服務。詳情請參閱「Private Service Connect」。
最大傳輸單位 (MTU)
- 網路連線裝置可傳輸的最大資料封包大小。較大的 MTU 大小 (巨型封包) 可提升特定工作負載的網路效能。詳情請參閱「傳輸單位上限」。
私人服務存取權
- 私人服務存取權是指在您的虛擬私有雲 (VPC) 網路與 Google 或第三方服務供應商所擁有網路之間建立的私人連線。有了這項功能，虛擬私有雲網路中的虛擬機器 (VM) 執行個體就能使用內部 IP 位址與這些服務通訊，避免暴露於公開網路上。詳情請參閱「私人服務存取權」。
虛擬私有雲網路對等互連
- 網路連線，可讓兩個虛擬私有雲網路以私密方式通訊。在預留叢集的代管訓練中，虛擬私有雲網路對等互連是整合重要服務的關鍵元件。舉例來說，如要將叢集的虛擬私有雲連線至 Filestore 執行個體，就必須使用這個方法，因為 Filestore 執行個體會為叢集中的所有節點提供必要的共用 `/home` 目錄。
區域
- Google Cloud 區域內的特定部署區域。在預留叢集上使用 Managed Training 時，為獲得最佳效能，服務的所有元件 (叢集、Filestore 和 Managed Lustre 執行個體) 都應在同一個可用區中建立。
整合式儲存技術
Cloud Storage Fuse
- 開放原始碼 FUSE 轉接器，可讓您掛接 Cloud Storage 值區，以當做 Linux 或 macOS 系統的檔案系統。詳情請參閱「Cloud Storage Fuse」。
Filestore
- Google Cloud 提供全代管的高效能檔案儲存服務，通常用於需要共用檔案系統的應用程式。詳情請參閱 Filestore 總覽。
Managed Lustre
- 專為高效能運算設計的平行分散式檔案系統。Google Cloud 的 Managed Lustre 提供高處理量檔案系統，可處理嚴苛的工作負載。詳情請參閱「Managed Lustre 總覽」。
效能層級
- Managed Lustre 執行個體的設定，可定義執行個體的處理量速度 (每 TiB 的 MB/秒)，並影響執行個體的容量下限和上限。
機器學習和 MLOps 的重要概念
檢查點
- 資料會擷取模型參數在訓練期間或訓練完成後的狀態。舉例來說，在訓練期間，您可以：1. 停止訓練，可能是刻意停止，也可能是因為發生特定錯誤。2. 擷取查核點。3. 稍後，重新載入檢查點，可能是在不同的硬體上。4. 重新展開訓練。在 Gemini 中，查核點是指以特定資料集訓練的特定 Gemini 模型版本。
監督式微調 (SFT)
- 這項機器學習技術會使用較小的標籤資料集，進一步訓練預先訓練模型，使其適用於特定工作。
Vertex AI 推論
- 這項 Vertex AI 服務可讓您使用經過訓練的機器學習 (ML) 模型，從未見過的新資料進行推論。Vertex AI 提供模型部署服務，用於推論。詳情請參閱「從自訂訓練模型取得推論結果」。
Vertex AI Model Registry
- Vertex AI Model Registry 是中央存放區，可用於管理機器學習模型的生命週期。Vertex AI Model Registry 會顯示模型總覽，方便您更妥善地整理、追蹤及訓練新版本。有想部署的模型版本時，可以直接從登錄檔將模型指派給端點，也可以使用別名將模型部署至端點。詳情請參閱「Vertex AI Model Registry 簡介」。
Vertex AI TensorBoard
- Vertex AI TensorBoard 是 Google Cloud 上可擴充的代管服務，可讓資料科學家和機器學習工程師透過熟悉的開放原始碼 TensorBoard 介面，以視覺化方式呈現機器學習實驗、偵錯模型訓練，以及追蹤效能指標。這項服務可與 Vertex AI 訓練和其他服務完美整合，為實驗資料提供永久儲存空間，並支援模型開發的協作分析。詳情請參閱「Vertex AI TensorBoard 簡介」。