本文概述如何擴充運算能力,並在 Google Cloud 中取得硬體資源,以維持效能、控管成本及避免停機。如要處理變動的需求,您可以自動調度 Compute Engine 執行個體資源、在 Google Kubernetes Engine (GKE) 中自動調度管理容器或叢集中的工作負載、預先保留容量,以及在資源之間分配流量。
本文中的建議適用於所有可用的運算選項,但 Cloud Run 和 Batch 除外,因為這兩項服務會為您管理及調度運算基礎架構。如要進一步瞭解在 Google Cloud 中擴充前可使用的運算選項,請參閱「選擇運算選項」。
運算基礎架構資源調度選項
如要擴充運算能力並提高資源取得能力,請從運算服務支援的功能中選擇。您可以結合多項功能 (例如預留項目、自動配置器和負載平衡器),以符合工作負載需求。如要根據用途、支援的運算選項、觸發條件和用途,並排評估這些功能,請參閱本文的「比較資源調度選項」一節。
每項運算服務都會擴充容量,並透過下列選項協助您取得資源:
所有運算選項:除了 Cloud Run 預留項目以外,在所有運算服務中,您都可以預先高度確保硬體可用性,並將使用者要求轉送至狀況良好的後端。您可以使用下列跨產品選項:
預留項目:要求特定可用區的容量,以便立即或在未來日期使用。預留項目並非自動調度資源工具,但能高度確保在工作負載水平擴展時,圖形處理器 (GPU)、Tensor Processing Unit (TPU) 和本機 SSD 磁碟等硬體可用。
使用 Cloud Load Balancing 分配流量:將傳入要求分配給健康狀態良好的運算執行個體、節點集區或容器,並在容量擴充時將流量轉送至新資源。
Compute Engine:建立虛擬機器 (VM) 或裸機執行個體,或使用代管執行個體群組 (MIG) 時,可以擴充容量。MIG 會將一組運算執行個體視為單一實體管理,並可根據負載、排程或硬體可用性,新增或移除容量。如果工作負載需要硬體隔離,您也可以在專用實體伺服器上,自動調度單一租戶節點群組的資源。可用的選項如下:
MIG 自動調度資源:根據 CPU 使用率、負載平衡器容量、Cloud Monitoring 指標、排程或預測,在 MIG 中新增或移除運算執行個體。
MIG 執行個體彈性:在 MIG 中為多個機型排序,提高資源取得率。
MIG 的大量模式和大小調整要求:當完整容量可用時,同時在 MIG 中新增所有要求的運算執行個體,包括 GPU、TPU 和 H4D 執行個體,以及彈性啟動型 VM。
MIG 中的待命集區:在 MIG 中保留預先設定、暫停或停止的運算執行個體待命集區,加快水平擴展速度。流量或 CPU 使用率增加時,MIG 會恢復或啟動運算執行個體,而不是建立新的執行個體。
大量建立運算執行個體:在單一 API 要求中建立多個運算執行個體,並自動選取可用區和機器類型。
單一租戶節點群組自動調度資源:根據客體運算執行個體需求,新增或移除專用實體單一租戶節點,以維持硬體隔離並最佳化自備授權成本。
自訂自動調度管理工具:從您自己的排程器或開放原始碼排程器呼叫 Compute Engine API,根據自訂工作佇列或業務規則,建立、調整大小及刪除運算執行個體。
Cluster Director:Google 會為人工智慧 (AI)、機器學習 (ML) 和高效能運算 (HPC) 工作負載部署代管叢集,這些工作負載會使用 Slurm 自動化調度管理,或由可用區 MIG 支援的代管運算自動化調度管理。在 Slurm 叢集中,當佇列中的工作超過靜態基準節點時,Slurm 排程器會建立動態運算節點,並在閒置五分鐘後關閉。在代管運算叢集中,您可以透過 SSH 執行工作負載,或整合自己的排程器,並在調整 MIG 目標大小時調度資源。您可以使用下列選項:
Cluster Toolkit:您可以使用 YAML 藍圖和 Terraform 模組,以程式碼定義自行管理的 AI、機器學習和 HPC 叢集,並由 Slurm 或 GKE 自動調度管理。容量會根據 Slurm 工作佇列或 Kubernetes Pod 需求,或在您編輯及重新部署叢集藍圖時,自動調整。可用的選項如下:
Slurm 動態節點集:設定
slurm-nodeset-dynamic模組,讓 Slurm 根據佇列中的工作建立及刪除臨時運算執行個體。GKE 節點集區自動調度資源:使用
gke-node-pool模組在藍圖中設定節點數量下限和上限,讓 GKE 根據 Pod 需求變化新增或移除節點。即時重新設定藍圖:更新及重新部署藍圖,在運作中的 Slurm 叢集新增或調整分區和靜態節點的大小,或在已部署的 GKE 叢集調整節點集區的大小。
多預留項目 Slurm 分區:將多個預留項目支援的節點集分組到一個 Slurm 分區,讓大型工作跨不同預留項目分配容量。
GKE:容量會跨兩個層級調度資源。工作負載自動配置器會根據需求變化,調整 Pod 副本數量或容器 CPU 和記憶體要求。基礎架構自動配置器會新增或移除基礎節點和節點集區。在 Autopilot 模式下,Google 會為您管理節點容量,而在 Standard 模式下,您則須設定叢集自動配置器、節點集區自動建立功能和自訂
ComputeClass資源。新創公司加速器也能縮短新 Pod 開始提供流量前所需的時間。可用的選項如下:節點和叢集容量:調整節點數量、建立節點集區,以及取得具備下列功能的硬體:
自訂 ComputeClass:定義優先硬體備用規則、Spot VM 或彈性啟動偏好設定、預留項目用量、主動遷移至優先順序較高的硬體,以及工作負載層級節點集區自動建立。
叢集自動配置器:當 Pod 等待資源或節點使用率偏低時,在現有的 Standard 模式節點集區中新增或移除節點。
自動建立節點集區:根據待處理 Pod 的 CPU、記憶體、GPU、TPU 或可用區需求,平行建立及刪除節點集區。
彈性啟動佈建:透過佇列式佈建,逐一或一次取得最多可使用七天的 GPU、TPU 和 H4D 節點,並透過 ComputeClasses 替換即將到期的節點。
運算資源緩衝區:預先佈建備用的運作中或暫停待命節點,包括與
ComputeClass優先順序一致的運作中緩衝區,讓待處理的 Pod 安排排程,不必等待新節點。容器最佳化運算平台:使用
Balanced和Scale-OutComputeClass,加快 Autopilot 叢集和 Standard 叢集中 Autopilot 模式工作負載的節點分配和 Pod 放置速度。GKE 中的單一租戶節點:在專用實體伺服器上執行 Standard 模式節點集區,以符合隔離或授權規定。
Pod 和工作負載容量:使用下列功能調整 Pod 副本、容器大小和批次佇列:
水平自動調度 Pod 資源 (HPA):根據 CPU 用量、記憶體用量或自訂指標,新增或移除 Pod 副本。
垂直自動調度 Pod 資源 (VPA):根據歷來用量,調整容器 CPU 和記憶體要求與限制。
多維度 Pod 自動調度資源 (MPA):同時對 CPU 執行 HPA,並對記憶體執行 VPA,以處理相同的工作負載。
自訂和外部指標:根據應用程式指標或 Pub/Sub 和 Cloud Load Balancing 等外部服務,觸發 HPA 資源調度決策。
將資源調度率降至零:將閒置 Pod 和節點集區縮減至零個副本,並在 HPA 自訂和外部指標或 Kubernetes 事件導向自動調度 (KEDA) 觸發條件中需求恢復時喚醒。
Kueue 工作佇列:將批次和 AI 工作負載排入佇列、跨團隊共用資源配額,以及協調同時分配節點。
啟動加速:在向外擴充期間,使用下列功能縮短容器初始化和模型載入時間:
Cloud Storage FUSE 搭配平行串流:使用平行讀取和檔案快取,將 Cloud Storage bucket 掛接為本機檔案系統。
CPU 啟動提升:在容器初始化期間,暫時授予額外的 CPU,然後將 CPU 要求恢復為基準值。
映像檔串流:視需要從 Artifact Registry 串流容器映像檔區塊,讓 Pod 啟動,不必等待整個映像檔下載完成。
次要開機磁碟:在節點啟動期間,將預先載入的 Persistent Disk 磁碟區與容器映像檔或模型資料,平行附加至節點。
就地調整 Pod 大小:更新使用中容器的 CPU 和記憶體配置,不需重新啟動 Pod。
Pod 快照:從儲存的記憶體和檔案系統檢查點還原 Pod 副本,而非冷啟動。
Run:ai Model Streamer:從 Cloud Storage 或永久磁碟區,將
safetensors格式的模型權重平行串流至 GPU 或 TPU 記憶體。Volume Populator:在 Pod 啟動前,預先將 Cloud Storage 的模型權重和資料集載入 Google Cloud Hyperdisk ML 磁碟區。
Google Cloud VMware Engine:Google 管理專屬的 VMware 私有雲叢集,當實體 ESXi 主機加入或離開叢集時,容量會擴充或縮減。如要在 CPU、記憶體或 vSAN 儲存空間用量持續超過設定的門檻時,新增或移除 ESXi 主機,請使用自動調度資源政策。
比較資源調度選項
如要選取符合營運需求的資源調度或資源取得選項,請比較下表中的功能:
| 資源調度選項 | 主要目的 | 支援的運算選項 | 相容的資源調度選項 | 資源調度觸發條件 | 用途 |
|---|---|---|---|---|---|
| 預訂 | 預留可用區容量,以便立即使用或在未來使用,並享有高可用性保證 | Cloud Run 以外的所有運算選項 | 所有資源調度選項 | 手動或日曆預留要求;非自動配置器 |
|
| 使用 Cloud Load Balancing 分配流量 | 將傳入流量分配給健康狀態良好的運算執行個體、節點集區或容器 | 所有運算選項 | 所有資源調度選項 | 傳入的使用者要求和後端健康狀態檢查 |
|
| MIG 自動調度資源 | 在 MIG 中新增或移除運算執行個體,因應變動的工作負載需求 | Compute Engine | 預留項目、MIG 執行個體彈性、MIG 中的待命集區、單一租戶節點群組自動調度資源、自訂自動調度資源 | CPU 使用率、負載平衡器容量、Cloud Monitoring 指標、排程或預測 |
|
| MIG 執行個體彈性 | 在 MIG 中為多個機型排序,提高資源取得性 | Compute Engine | MIG 自動調度資源、預留項目、Spot VM | 建立 MIG 執行個體或向外擴充時,主要機型容量不足 |
|
| MIG 的大量模式和大小調整要求 | 在資源充足時,一次新增 MIG 中所有要求的運算執行個體 | Compute Engine 和 Cluster Director | 預留項目、即時叢集修改、自訂自動化調度管理工具 | 在大量模式中設定目標大小,或建立大小調整要求,並在硬體容量充足時執行 |
|
| MIG 中的待命集區 | 保留預先設定、已暫停或停止的運算執行個體待命集區,加快 MIG 水平擴展速度 | Compute Engine | MIG 自動調度資源、預留項目 | 手動調整大小或 MIG 水平擴展需求,可繼續或啟動集區運算執行個體 |
|
| 大量建立運算執行個體 | 在單一 API 要求中建立多個運算執行個體,並自動選取可用區和機器 | Compute Engine | 預留項目、Spot VM、自訂自動化調度管理工具 | 單一 API 或 Google Cloud CLI 大量插入要求 |
|
| 單一租戶節點群組自動調度資源 | 自動調度專用實體伺服器的資源,處理獨立工作負載 | Compute Engine 和 GKE | 預留、MIG 自動調度資源、自訂自動調度管理工具、叢集自動配置器 | 訪客運算執行個體的資源需求 |
|
| 自訂自動調度管理工具 | 透過 Ray、SkyPilot 或 HTCondor 等排程器,控管運算執行個體建立作業、MIG 目標大小和刪除作業 | Compute Engine 和 Cluster Director | 預留項目、MIG 自動調度資源、MIG 的大量模式和大小調整要求、大量建立運算執行個體、單一租戶節點群組自動調度資源、即時叢集修改 | 自訂業務指標或外部排程器佇列 |
|
| Slurm 自動化調度管理和動態節點 | 自動調度 Slurm 分區中的動態運算節點,以執行批次、AI 和 HPC 工作 | Cluster Director 和 Cluster Toolkit | 預留項目、彈性啟動型 VM、Spot VM、即時叢集修改、即時藍圖重新設定 | 已排入佇列的 Slurm 工作和節點閒置逾時 |
|
| 即時修改叢集 | 在運作中的叢集新增或調整分區、節點集、MIG,或靜態和動態節點限制 | Cluster Director | Slurm 自動化調度管理和動態節點、MIG 中的大量模式和大小調整要求、自訂自動化調度管理工具、預留項目 | 對使用中叢集提出叢集更新要求 |
|
| 即時重新設定藍圖 | 更新及重新部署藍圖,在運作中的叢集上新增或調整 Slurm 分區、靜態節點或 GKE 節點集區的大小 | Cluster Toolkit | Slurm 協調和動態節點、叢集自動配置器、預留項目 | 在運作中的叢集上更新及重新部署藍圖 |
|
| 自訂 ComputeClass | 定義優先硬體備用規則、容量消耗和節點遷移 | Standard 和 Autopilot 模式的 GKE | 叢集自動配置器、節點集區自動建立、GKE 中的彈性啟動佈建、預留項目、運算資源緩衝區 | 符合 ComputeClass 選取器或高優先順序硬體可用性的待處理 Pod |
|
| 叢集自動配置器 | 在現有節點集區中新增或移除節點 | Standard 模式的 GKE,以及 Cluster Toolkit GKE 藍圖 | 自訂 ComputeClasses、預留項目、單一租戶節點群組自動調度資源、HPA、VPA、運算資源緩衝區、將資源調度率降至零 | 待處理的 Pod 或節點使用率偏低 |
|
| 自動建立節點集區 | 同時建立及刪除節點集區,以符合 Pod 硬體需求 | GKE:在 Autopilot 模式中代管;可在 Standard 模式中設定 | 自訂 ComputeClasses、預留項目、GKE 的彈性啟動佈建、HPA、VPA、運算資源緩衝區 | 待處理的 Pod 需要現有節點集區中沒有的機器系列、加速器或可用區 |
|
| 在 GKE 中彈性啟動佈建 | 在運算資源開放時,透過佇列式佈建,一次取得一個或所有 GPU、TPU 和 H4D 節點 | Standard 和 Autopilot 模式的 GKE | 自訂 ComputeClass、自動建立節點集區、叢集自動配置器、Kueue 工作佇列 | 硬體容量開放時,待處理的 Pod 或排入佇列的 ProvisioningRequest 物件 |
|
| 運算資源緩衝區 | 預先佈建備用的有效或暫停待命節點,以便快速放置及取得 Pod | Standard 和 Autopilot 模式的 GKE | 自訂 ComputeClass、叢集自動配置器、自動建立節點集區、HPA、預留項目 | 排定的 Pod 耗用緩衝節點容量 |
|
| 容器最佳化運算平台 | 使用代管基礎架構和 Balanced 或 Scale-Out ComputeClass,加快節點準備就緒和 Pod 放置速度 |
GKE:Autopilot 叢集,以及 Standard 叢集中的 Autopilot 模式工作負載 | 自動建立節點集區、HPA、VPA、運算資源緩衝區、預留項目 | 需要額外運算容量的待處理 Pod |
|
| HPA | 新增或移除 Pod 副本,以符合工作負載需求 | Standard 和 Autopilot 模式的 GKE | 叢集自動配置器、自動建立節點集區、MPA、自訂和外部指標、將資源調度率降至零 | CPU 用量、記憶體用量,或自訂和外部指標 |
|
| VPA | 根據用量調整容器 CPU 和記憶體要求與限制 | Standard 和 Autopilot 模式的 GKE | 叢集自動配置器、自動建立節點集區、MPA、就地調整 Pod 大小、預留項目 | 容器 CPU 和記憶體用量記錄 |
|
| MPA | 同時依據 CPU 和容器記憶體要求,調度 Pod 副本資源 | Standard 和 Autopilot 模式的 GKE | 叢集自動配置器、節點集區自動建立、自訂和外部指標 | CPU 需求和容器記憶體用量同時變化 |
|
| 自訂和外部指標 | 根據應用程式或外部服務信號調度 Pod 副本資源 | Standard 和 Autopilot 模式的 GKE | HPA、MPA、將資源調度率降至零、叢集自動配置器、自動建立節點集區 | 應用程式指標或外部佇列和流量指標 |
|
| 將資源調度率降至零 | 將閒置的 Pod 和節點集區縮減至零,並視需求或事件喚醒 | Standard 和 Autopilot 模式的 GKE | HPA、自訂和外部指標、叢集自動配置器、節點集區自動建立 | HPA 自訂和外部指標或 KEDA 觸發條件中沒有需求或有新需求 |
|
| Kueue 工作佇列 | 排入批次工作、強制執行團隊配額,以及協調同時分配節點 | Standard 和 Autopilot 模式的 GKE | GKE 的彈性啟動佈建功能、自訂 ComputeClass、叢集自動配置器、節點集區自動建立 | 叢集配額和硬體容量開放時,允許批次工作 |
|
| Cloud Storage FUSE 搭配平行串流 | 將 Cloud Storage bucket 掛接為檔案系統,並平行讀取及快取 | Standard 和 Autopilot 模式的 GKE | HPA、叢集自動配置器、自動建立節點集區、Pod 快照 | Pod 啟動和從掛接值區依序讀取檔案 |
|
| CPU 啟動提升 | 在初始化期間,暫時為容器分配額外 CPU | Standard 和 Autopilot 模式的 GKE | HPA、VPA、叢集自動配置器、節點集區自動建立 | 容器啟動和初始化階段 |
|
| 圖片串流 | 在 Pod 啟動期間,視需要從 Artifact Registry 串流容器映像檔區塊 | Standard 和 Autopilot 模式的 GKE | HPA、叢集自動配置器、節點集區自動建立、運算資源緩衝區 | Pod 啟動時,從 Artifact Registry 提取容器映像檔 |
|
| 次要開機磁碟 | 在節點啟動時,附加預先載入的 Persistent Disk 磁碟區,其中包含容器映像檔或模型資料 | Standard 和 Autopilot 模式的 GKE | 自訂 ComputeClass、HPA、叢集自動配置器、節點集區自動建立、運算資源緩衝區 | 在設有次要開機磁碟映像檔的節點集區中啟動節點 |
|
| 就地調整 Pod 大小 | 更新使用中容器的 CPU 和記憶體配置,無須重新啟動 Pod | Standard 和 Autopilot 模式的 GKE | VPA、叢集自動配置器、節點集區自動建立 | 更新容器 CPU 或記憶體要求和限制 |
|
| Pod 快照 | 從儲存的記憶體和檔案系統檢查點還原 Pod 副本 | Standard 和 Autopilot 模式的 GKE | HPA、叢集自動配置器、節點集區自動建立、運算資源緩衝區 | 從儲存的快照建立 Pod 副本 |
|
| Run:ai Model Streamer | 將模型張量平行串流至 GPU 或 TPU 記憶體 | Standard 和 Autopilot 模式的 GKE | HPA、叢集自動配置器、自動建立節點集區、Volume Populator | AI 推論伺服器啟動和模型載入要求 |
|
| Volume Populator | 使用 Cloud Storage 的資料預先載入 Hyperdisk ML 磁碟區 | Standard 和 Autopilot 模式的 GKE | HPA、叢集自動配置器、自動建立節點集區、Pod 快照 | 建立參照 GCPDataSource 資源的 PersistentVolumeClaim |
|
| 自動調度資源政策 | 在 VMware 私有雲叢集中新增或移除 ESXi 主機 | VMware Engine | Cloud Load Balancing | CPU、記憶體或 vSAN 儲存空間用量持續偏高 |
|
擴充性的最佳做法
如要設計可擴充的基礎架構,避免瓶頸或容量不足,請在運算容量、網路設計和應用程式架構中,套用本節的最佳做法。
規劃運算能力和取得方式
如要為基礎架構做好準備,因應需求成長並提高硬體取得能力,請採用下列做法:
預估工作負載需求:設定自動配置器之前,請先評估基準用量和尖峰波動。如要檢查歷來用量、預測需求,以及設定準確的運算執行個體數量上下限,請使用 Capacity Planner。
設計資源取得方式:要求 GPU 或 TPU 等稀有硬體時,請從下列三個面向最佳化運算佈建:
位置彈性:使用區域性 MIG 將工作負載分散至多個可用區。
機型彈性:透過 MIG 執行個體彈性或 GKE 自訂 ComputeClass 允許使用多個機器系列。
時間彈性:如果工作可以等待運算資源,請使用彈性啟動佈建模式。
使用預留項目確保高容量:針對基準流量、尖峰規模活動或稀缺的 GPU 和 TPU,預先預留容量。預留項目可充分確保工作負載水平擴展時,目標可用區中有可用資源。如果單一 Slurm 工作超出一個預留項目,請將 Cluster Toolkit 分區分散到多個預留項目。
預先暖機備用容量,因應延遲敏感的工作負載:如果應用程式無法在流量突然激增時,等待新的運算執行個體佈建完成,請維持隨時可用的備用容量。設定 GKE 運算資源緩衝區,預先佈建運作中或待命節點,或在 Compute Engine MIG 中使用待命集區,恢復暫停的運算執行個體,不必等待完整的作業系統啟動。
設計可擴充的網路
如要在資源擴充時順暢移動資料,避免延遲或位址耗盡,請採用下列網路做法:
分配足夠的 IP 位址:確認子網路有足夠的可用 IP 位址,可容納自動配置器限制中的執行個體或節點數量上限。在 GKE 中,也請檢查 Pod 和 Service 的次要 IP 範圍。如果子網路的 IP 位址用盡,自動配置器就無法建立新的運算執行個體或 Pod。
選擇高處理量網路介面:如果工作負載會在節點間移轉大型資料集或模型權重,請選取高頻寬網路介面控制器,例如 Google 虛擬網路介面卡或遠端直接記憶體存取。這些介面可減少 CPU 負擔,並增加擴充運算執行個體之間的頻寬。
最佳化執行個體配置:針對多節點 AI 訓練或 HPC 工作,使用密集配置政策,或 Cluster Director 和 Cluster Toolkit 中的拓撲感知配置,將實體伺服器上的運算執行個體分組,並盡可能靠近彼此。將節點放在相近位置,可減少網路躍點和延遲時間。如果是容錯網路服務,請將運算執行個體分散到不同可用區,以免單一可用區服務中斷導致流量中斷。
設計可擴充的應用程式
如要讓應用程式在不中斷使用者服務的情況下水平擴展和縮減,請採用下列架構做法:
保持應用程式層無狀態:將使用者工作階段資料、檢查點和共用檔案儲存在外部儲存空間或資料庫,而非本機執行個體磁碟。這種設計可讓自動配置器隨時新增或移除運算執行個體和 Pod,不會遺失資料。
使用佇列和微服務解耦元件:將單體工作負載拆分為獨立服務,並透過負載平衡器或 Pub/Sub 等訊息佇列連結。這種架構可讓您根據各項服務的需求調整資源配置,包括使用事件導向自動配置器將資源縮減至零,以及吸收流量暴增,避免下游後端過載。
縮短容器啟動和模型載入時間:縮短資源建立和流量準備就緒之間的延遲時間,讓擴充的容量立即處理要求。在 GKE 中,串流或預先載入容器映像檔,並使用 CPU 啟動加速功能或 Pod 快照,加快執行階段初始化速度。如果是 AI 工作負載,請從 Cloud Storage FUSE、Run:ai Model Streamer 或預先填入的磁碟區串流模型權重。