需求擴充總覽

本文概述如何擴充運算能力,並在 Google Cloud 中取得硬體資源,以維持效能、控管成本及避免停機。如要處理變動的需求,您可以自動調度 Compute Engine 執行個體資源、在 Google Kubernetes Engine (GKE) 中自動調度管理容器或叢集中的工作負載、預先保留容量,以及在資源之間分配流量。

本文中的建議適用於所有可用的運算選項,但 Cloud Run 和 Batch 除外,因為這兩項服務會為您管理及調度運算基礎架構。如要進一步瞭解在 Google Cloud 中擴充前可使用的運算選項,請參閱「選擇運算選項」。

運算基礎架構資源調度選項

如要擴充運算能力並提高資源取得能力,請從運算服務支援的功能中選擇。您可以結合多項功能 (例如預留項目、自動配置器和負載平衡器),以符合工作負載需求。如要根據用途、支援的運算選項、觸發條件和用途,並排評估這些功能,請參閱本文的「比較資源調度選項」一節。

每項運算服務都會擴充容量,並透過下列選項協助您取得資源:

  • 所有運算選項:除了 Cloud Run 預留項目以外,在所有運算服務中,您都可以預先高度確保硬體可用性,並將使用者要求轉送至狀況良好的後端。您可以使用下列跨產品選項:

    • 預留項目:要求特定可用區的容量,以便立即或在未來日期使用。預留項目並非自動調度資源工具,但能高度確保在工作負載水平擴展時,圖形處理器 (GPU)、Tensor Processing Unit (TPU) 和本機 SSD 磁碟等硬體可用。

    • 使用 Cloud Load Balancing 分配流量:將傳入要求分配給健康狀態良好的運算執行個體、節點集區或容器,並在容量擴充時將流量轉送至新資源。

  • Compute Engine:建立虛擬機器 (VM) 或裸機執行個體,或使用代管執行個體群組 (MIG) 時,可以擴充容量。MIG 會將一組運算執行個體視為單一實體管理,並可根據負載、排程或硬體可用性,新增或移除容量。如果工作負載需要硬體隔離,您也可以在專用實體伺服器上,自動調度單一租戶節點群組的資源。可用的選項如下:

    • MIG 自動調度資源:根據 CPU 使用率、負載平衡器容量、Cloud Monitoring 指標、排程或預測,在 MIG 中新增或移除運算執行個體。

    • MIG 執行個體彈性:在 MIG 中為多個機型排序,提高資源取得率。

    • MIG 的大量模式和大小調整要求:當完整容量可用時,同時在 MIG 中新增所有要求的運算執行個體,包括 GPU、TPU 和 H4D 執行個體,以及彈性啟動型 VM。

    • MIG 中的待命集區:在 MIG 中保留預先設定、暫停或停止的運算執行個體待命集區,加快水平擴展速度。流量或 CPU 使用率增加時,MIG 會恢復或啟動運算執行個體,而不是建立新的執行個體。

    • 大量建立運算執行個體:在單一 API 要求中建立多個運算執行個體,並自動選取可用區和機器類型。

    • 單一租戶節點群組自動調度資源:根據客體運算執行個體需求,新增或移除專用實體單一租戶節點,以維持硬體隔離並最佳化自備授權成本。

    • 自訂自動調度管理工具:從您自己的排程器或開放原始碼排程器呼叫 Compute Engine API,根據自訂工作佇列或業務規則,建立、調整大小及刪除運算執行個體。

  • Cluster Director:Google 會為人工智慧 (AI)、機器學習 (ML) 和高效能運算 (HPC) 工作負載部署代管叢集,這些工作負載會使用 Slurm 自動化調度管理,或由可用區 MIG 支援的代管運算自動化調度管理。在 Slurm 叢集中,當佇列中的工作超過靜態基準節點時,Slurm 排程器會建立動態運算節點,並在閒置五分鐘後關閉。在代管運算叢集中,您可以透過 SSH 執行工作負載,或整合自己的排程器,並在調整 MIG 目標大小時調度資源。您可以使用下列選項:

    • 叢集自動調度資源:根據工作佇列需求,自動調度代管 Slurm 分區中的動態運算節點資源,或佈建由可用區 MIG 支援的代管運算叢集,透過 SSH 執行工作負載或整合自己的排程器。

    • 即時修改叢集:更新運作中的叢集,提高靜態或動態節點數上限、調整大小或新增 MIG、新增運算資源設定,或新增分區和節點集,不中斷運作中的工作。

    • 容量消耗選項:透過容量區塊的未來預留項目、日曆模式的未來預留項目、彈性啟動型 VM、Spot VM 或隨選運算執行個體,取得叢集運算節點。

  • Cluster Toolkit:您可以使用 YAML 藍圖和 Terraform 模組,以程式碼定義自行管理的 AI、機器學習和 HPC 叢集,並由 Slurm 或 GKE 自動調度管理。容量會根據 Slurm 工作佇列或 Kubernetes Pod 需求,或在您編輯及重新部署叢集藍圖時,自動調整。可用的選項如下:

    • Slurm 動態節點集:設定 slurm-nodeset-dynamic 模組,讓 Slurm 根據佇列中的工作建立及刪除臨時運算執行個體。

    • GKE 節點集區自動調度資源:使用 gke-node-pool 模組在藍圖中設定節點數量下限和上限,讓 GKE 根據 Pod 需求變化新增或移除節點。

    • 即時重新設定藍圖:更新及重新部署藍圖,在運作中的 Slurm 叢集新增或調整分區和靜態節點的大小,或在已部署的 GKE 叢集調整節點集區的大小。

    • 多預留項目 Slurm 分區:將多個預留項目支援的節點集分組到一個 Slurm 分區,讓大型工作跨不同預留項目分配容量。

  • GKE:容量會跨兩個層級調度資源。工作負載自動配置器會根據需求變化,調整 Pod 副本數量或容器 CPU 和記憶體要求。基礎架構自動配置器會新增或移除基礎節點和節點集區。在 Autopilot 模式下,Google 會為您管理節點容量,而在 Standard 模式下,您則須設定叢集自動配置器、節點集區自動建立功能和自訂 ComputeClass 資源。新創公司加速器也能縮短新 Pod 開始提供流量前所需的時間。可用的選項如下:

    • 節點和叢集容量:調整節點數量、建立節點集區,以及取得具備下列功能的硬體:

      • 自訂 ComputeClass:定義優先硬體備用規則、Spot VM 或彈性啟動偏好設定、預留項目用量、主動遷移至優先順序較高的硬體,以及工作負載層級節點集區自動建立。

      • 叢集自動配置器:當 Pod 等待資源或節點使用率偏低時,在現有的 Standard 模式節點集區中新增或移除節點。

      • 自動建立節點集區:根據待處理 Pod 的 CPU、記憶體、GPU、TPU 或可用區需求,平行建立及刪除節點集區。

      • 彈性啟動佈建:透過佇列式佈建,逐一或一次取得最多可使用七天的 GPU、TPU 和 H4D 節點,並透過 ComputeClasses 替換即將到期的節點。

      • 運算資源緩衝區:預先佈建備用的運作中或暫停待命節點,包括與 ComputeClass 優先順序一致的運作中緩衝區,讓待處理的 Pod 安排排程,不必等待新節點。

      • 容器最佳化運算平台:使用 Balanced 和 Scale-Out ComputeClass,加快 Autopilot 叢集和 Standard 叢集中 Autopilot 模式工作負載的節點分配和 Pod 放置速度。

      • GKE 中的單一租戶節點:在專用實體伺服器上執行 Standard 模式節點集區,以符合隔離或授權規定。

    • Pod 和工作負載容量:使用下列功能調整 Pod 副本、容器大小和批次佇列:

    • 啟動加速:在向外擴充期間,使用下列功能縮短容器初始化和模型載入時間:

      • Cloud Storage FUSE 搭配平行串流:使用平行讀取和檔案快取,將 Cloud Storage bucket 掛接為本機檔案系統。

      • CPU 啟動提升:在容器初始化期間,暫時授予額外的 CPU,然後將 CPU 要求恢復為基準值。

      • 映像檔串流:視需要從 Artifact Registry 串流容器映像檔區塊,讓 Pod 啟動,不必等待整個映像檔下載完成。

      • 次要開機磁碟:在節點啟動期間,將預先載入的 Persistent Disk 磁碟區與容器映像檔或模型資料,平行附加至節點。

      • 就地調整 Pod 大小:更新使用中容器的 CPU 和記憶體配置,不需重新啟動 Pod。

      • Pod 快照:從儲存的記憶體和檔案系統檢查點還原 Pod 副本,而非冷啟動。

      • Run:ai Model Streamer:從 Cloud Storage 或永久磁碟區,將 safetensors 格式的模型權重平行串流至 GPU 或 TPU 記憶體。

      • Volume Populator:在 Pod 啟動前,預先將 Cloud Storage 的模型權重和資料集載入 Google Cloud Hyperdisk ML 磁碟區。

  • Google Cloud VMware Engine:Google 管理專屬的 VMware 私有雲叢集,當實體 ESXi 主機加入或離開叢集時,容量會擴充或縮減。如要在 CPU、記憶體或 vSAN 儲存空間用量持續超過設定的門檻時,新增或移除 ESXi 主機,請使用自動調度資源政策。

比較資源調度選項

如要選取符合營運需求的資源調度或資源取得選項,請比較下表中的功能:

資源調度選項 主要目的 支援的運算選項 相容的資源調度選項 資源調度觸發條件 用途
預訂 預留可用區容量,以便立即使用或在未來使用,並享有高可用性保證 Cloud Run 以外的所有運算選項 所有資源調度選項 手動或日曆預留要求;非自動配置器
  • 預計成長和流量高峰事件
  • 大型遷移作業
  • 備份與災難復原
  • GPU 和 TPU 等高需求資源
使用 Cloud Load Balancing 分配流量 將傳入流量分配給健康狀態良好的運算執行個體、節點集區或容器 所有運算選項 所有資源調度選項 傳入的使用者要求和後端健康狀態檢查
  • 高流量網頁應用程式和 API
  • 多可用區和多區域可用性
  • 零停機向外擴充
MIG 自動調度資源 在 MIG 中新增或移除運算執行個體,因應變動的工作負載需求 Compute Engine 預留項目、MIG 執行個體彈性、MIG 中的待命集區、單一租戶節點群組自動調度資源、自訂自動調度資源 CPU 使用率、負載平衡器容量、Cloud Monitoring 指標、排程或預測
  • 網路服務和 API
  • 平行批次工作負載
  • 多可用區高可用性
  • 無狀態微服務
MIG 執行個體彈性 在 MIG 中為多個機型排序,提高資源取得性 Compute Engine MIG 自動調度資源、預留項目、Spot VM 建立 MIG 執行個體或向外擴充時,主要機型容量不足
  • 提高運算執行個體取得率
  • 在各機器系列之間取得成本和效能平衡
  • 無狀態網頁和批次工作負載
MIG 的大量模式和大小調整要求 在資源充足時,一次新增 MIG 中所有要求的運算執行個體 Compute Engine 和 Cluster Director 預留項目、即時叢集修改、自訂自動化調度管理工具 在大量模式中設定目標大小,或建立大小調整要求,並在硬體容量充足時執行
  • 分散式 AI/機器學習模型訓練
  • 需要同時使用所有運算執行個體的多節點工作
  • 時間彈性的 GPU、TPU 和 H4D 工作負載
MIG 中的待命集區 保留預先設定、已暫停或停止的運算執行個體待命集區,加快 MIG 水平擴展速度 Compute Engine MIG 自動調度資源、預留項目 手動調整大小或 MIG 水平擴展需求,可繼續或啟動集區運算執行個體
  • 作業系統或執行階段初始化速度緩慢的應用程式
  • 流量突然暴增
  • 待機成本低於運作中的閒置運算執行個體
大量建立運算執行個體 在單一 API 要求中建立多個運算執行個體,並自動選取可用區和機器 Compute Engine 預留項目、Spot VM、自訂自動化調度管理工具 單一 API 或 Google Cloud CLI 大量插入要求
  • 一次性批次容量爆發
  • 自訂叢集部署作業
  • 多實體硬體分配
單一租戶節點群組自動調度資源 自動調度專用實體伺服器的資源,處理獨立工作負載 Compute Engine 和 GKE 預留、MIG 自動調度資源、自訂自動調度管理工具、叢集自動配置器 訪客運算執行個體的資源需求
  • 安全性與法規遵循
  • 個別核心或個別通訊端授權最佳化
  • 硬體效能隔離
自訂自動調度管理工具 透過 Ray、SkyPilot 或 HTCondor 等排程器,控管運算執行個體建立作業、MIG 目標大小和刪除作業 Compute Engine 和 Cluster Director 預留項目、MIG 自動調度資源、MIG 的大量模式和大小調整要求、大量建立運算執行個體、單一租戶節點群組自動調度資源、即時叢集修改 自訂業務指標或外部排程器佇列
  • 專屬資源調度邏輯
  • 舊版地端部署排程器遷移
  • 精細的工作生命週期控管
Slurm 自動化調度管理和動態節點 自動調度 Slurm 分區中的動態運算節點,以執行批次、AI 和 HPC 工作 Cluster Director 和 Cluster Toolkit 預留項目、彈性啟動型 VM、Spot VM、即時叢集修改、即時藍圖重新設定 已排入佇列的 Slurm 工作和節點閒置逾時
  • HPC 工作負載
  • 大規模 AI/機器學習訓練
  • 批次模擬佇列
即時修改叢集 在運作中的叢集新增或調整分區、節點集、MIG,或靜態和動態節點限制 Cluster Director Slurm 自動化調度管理和動態節點、MIG 中的大量模式和大小調整要求、自訂自動化調度管理工具、預留項目 對使用中叢集提出叢集更新要求
  • 基準叢集擴充,不中斷工作
  • 在運作中的叢集新增 GPU、TPU 或 CPU 節點集和 MIG
即時重新設定藍圖 更新及重新部署藍圖,在運作中的叢集上新增或調整 Slurm 分區、靜態節點或 GKE 節點集區的大小 Cluster Toolkit Slurm 協調和動態節點、叢集自動配置器、預留項目 在運作中的叢集上更新及重新部署藍圖
  • 以基礎架構即程式碼的方式擴充叢集,不中斷工作
  • 多預留項目 Slurm 分區
自訂 ComputeClass 定義優先硬體備用規則、容量消耗和節點遷移 Standard 和 Autopilot 模式的 GKE 叢集自動配置器、節點集區自動建立、GKE 中的彈性啟動佈建、預留項目、運算資源緩衝區 符合 ComputeClass 選取器或高優先順序硬體可用性的待處理 Pod
  • GPU、TPU 或 CPU 系列的高可用性
  • 從預留項目改用彈性啟動或 Spot VM
  • 主動遷移回偏好的硬體
叢集自動配置器 在現有節點集區中新增或移除節點 Standard 模式的 GKE,以及 Cluster Toolkit GKE 藍圖 自訂 ComputeClasses、預留項目、單一租戶節點群組自動調度資源、HPA、VPA、運算資源緩衝區、將資源調度率降至零 待處理的 Pod 或節點使用率偏低
  • 流量不穩定的容器化工作負載
  • 需求突然暴增
自動建立節點集區 同時建立及刪除節點集區,以符合 Pod 硬體需求 GKE:在 Autopilot 模式中代管;可在 Standard 模式中設定 自訂 ComputeClasses、預留項目、GKE 的彈性啟動佈建、HPA、VPA、運算資源緩衝區 待處理的 Pod 需要現有節點集區中沒有的機器系列、加速器或可用區
  • 多樣化的 GPU、TPU 或 CPU 工作負載需求
  • 平行建立多個節點集區的多租戶叢集
在 GKE 中彈性啟動佈建 在運算資源開放時,透過佇列式佈建,一次取得一個或所有 GPU、TPU 和 H4D 節點 Standard 和 Autopilot 模式的 GKE 自訂 ComputeClass、自動建立節點集區、叢集自動配置器、Kueue 工作佇列 硬體容量開放時,待處理的 Pod 或排入佇列的 ProvisioningRequest 物件
  • AI/機器學習模型訓練與微調
  • 批次推論工作負載
  • 同時分配多節點加速器
運算資源緩衝區 預先佈建備用的有效或暫停待命節點,以便快速放置及取得 Pod Standard 和 Autopilot 模式的 GKE 自訂 ComputeClass、叢集自動配置器、自動建立節點集區、HPA、預留項目 排定的 Pod 耗用緩衝節點容量
  • 需要高度即時反應的應用
  • AI 推論和代理工作負載
  • 流量突然暴增
容器最佳化運算平台 使用代管基礎架構和 Balanced 或 Scale-Out ComputeClass,加快節點準備就緒和 Pod 放置速度 GKE:Autopilot 叢集,以及 Standard 叢集中的 Autopilot 模式工作負載 自動建立節點集區、HPA、VPA、運算資源緩衝區、預留項目 需要額外運算容量的待處理 Pod
  • 快速向外擴充叢集
  • 資源需求不定的工作負載
  • 代管基礎架構作業
HPA 新增或移除 Pod 副本,以符合工作負載需求 Standard 和 Autopilot 模式的 GKE 叢集自動配置器、自動建立節點集區、MPA、自訂和外部指標、將資源調度率降至零 CPU 用量、記憶體用量,或自訂和外部指標
  • 無狀態應用程式
  • 網路服務和 API
  • 要求量不固定
VPA 根據用量調整容器 CPU 和記憶體要求與限制 Standard 和 Autopilot 模式的 GKE 叢集自動配置器、自動建立節點集區、MPA、就地調整 Pod 大小、預留項目 容器 CPU 和記憶體用量記錄
  • 有狀態應用程式
  • 資源需求不確定的工作負載
  • 容器資源最佳化
MPA 同時依據 CPU 和容器記憶體要求,調度 Pod 副本資源 Standard 和 Autopilot 模式的 GKE 叢集自動配置器、節點集區自動建立、自訂和外部指標 CPU 需求和容器記憶體用量同時變化
  • 流量和記憶體需求不固定的無狀態服務
自訂和外部指標 根據應用程式或外部服務信號調度 Pod 副本資源 Standard 和 Autopilot 模式的 GKE HPA、MPA、將資源調度率降至零、叢集自動配置器、自動建立節點集區 應用程式指標或外部佇列和流量指標
  • 以佇列為基礎的工作站,例如 Pub/Sub 消費者
  • 受延遲時間限制的網路 API
  • AI 推論處理量目標
將資源調度率降至零 將閒置的 Pod 和節點集區縮減至零,並視需求或事件喚醒 Standard 和 Autopilot 模式的 GKE HPA、自訂和外部指標、叢集自動配置器、節點集區自動建立 HPA 自訂和外部指標或 KEDA 觸發條件中沒有需求或有新需求
  • 間歇性或突發性工作負載
  • 事件導向批次工作
  • 無閒置運算費用
Kueue 工作佇列 排入批次工作、強制執行團隊配額,以及協調同時分配節點 Standard 和 Autopilot 模式的 GKE GKE 的彈性啟動佈建功能、自訂 ComputeClass、叢集自動配置器、節點集區自動建立 叢集配額和硬體容量開放時,允許批次工作
  • 多團隊 GPU 和 TPU 配額管理
  • 已排入佇列的 AI 訓練和批次工作
Cloud Storage FUSE 搭配平行串流 將 Cloud Storage bucket 掛接為檔案系統,並平行讀取及快取 Standard 和 Autopilot 模式的 GKE HPA、叢集自動配置器、自動建立節點集區、Pod 快照 Pod 啟動和從掛接值區依序讀取檔案
  • 從 Cloud Storage 執行高處理量的 AI 訓練和推論
  • 多節點檢查點存取權
CPU 啟動提升 在初始化期間,暫時為容器分配額外 CPU Standard 和 Autopilot 模式的 GKE HPA、VPA、叢集自動配置器、節點集區自動建立 容器啟動和初始化階段
  • 啟動時需要大量 CPU 的應用程式,例如 Java 虛擬機器暖機
  • 對延遲時間敏感的 API 水平擴展
圖片串流 在 Pod 啟動期間,視需要從 Artifact Registry 串流容器映像檔區塊 Standard 和 Autopilot 模式的 GKE HPA、叢集自動配置器、節點集區自動建立、運算資源緩衝區 Pod 啟動時,從 Artifact Registry 提取容器映像檔
  • 大型 AI/機器學習容器映像檔
  • 快速水平擴充微服務
次要開機磁碟 在節點啟動時,附加預先載入的 Persistent Disk 磁碟區,其中包含容器映像檔或模型資料 Standard 和 Autopilot 模式的 GKE 自訂 ComputeClass、HPA、叢集自動配置器、節點集區自動建立、運算資源緩衝區 在設有次要開機磁碟映像檔的節點集區中啟動節點
  • 節點上預先載入的模型權重或資料集
  • 基礎容器映像檔層快取
就地調整 Pod 大小 更新使用中容器的 CPU 和記憶體配置,無須重新啟動 Pod Standard 和 Autopilot 模式的 GKE VPA、叢集自動配置器、節點集區自動建立 更新容器 CPU 或記憶體要求和限制
  • 有狀態或長期執行的應用程式
  • 垂直擴充,不會中斷連線或遺失狀態
Pod 快照 從儲存的記憶體和檔案系統檢查點還原 Pod 副本 Standard 和 Autopilot 模式的 GKE HPA、叢集自動配置器、節點集區自動建立、運算資源緩衝區 從儲存的快照建立 Pod 副本
  • 模型載入時間長的 AI 推論伺服器
  • 執行階段暖機緩慢的應用程式
  • 在需求高峰期間快速向外擴充
Run:ai Model Streamer 將模型張量平行串流至 GPU 或 TPU 記憶體 Standard 和 Autopilot 模式的 GKE HPA、叢集自動配置器、自動建立節點集區、Volume Populator AI 推論伺服器啟動和模型載入要求
  • 使用 vLLM 進行大型語言模型推論
  • 快速水平擴充 GPU 和 TPU 副本
Volume Populator 使用 Cloud Storage 的資料預先載入 Hyperdisk ML 磁碟區 Standard 和 Autopilot 模式的 GKE HPA、叢集自動配置器、自動建立節點集區、Pod 快照 建立參照 GCPDataSource 資源的 PersistentVolumeClaim
  • 預先載入的 AI/機器學習模型權重
  • 多個節點共用唯讀資料集存取權
自動調度資源政策 在 VMware 私有雲叢集中新增或移除 ESXi 主機 VMware Engine Cloud Load Balancing CPU、記憶體或 vSAN 儲存空間用量持續偏高
  • 負載可變的已遷移 VMware 叢集
  • 儲存空間密集或運算密集型 vSphere 工作負載

擴充性的最佳做法

如要設計可擴充的基礎架構,避免瓶頸或容量不足,請在運算容量、網路設計和應用程式架構中,套用本節的最佳做法。

規劃運算能力和取得方式

如要為基礎架構做好準備,因應需求成長並提高硬體取得能力,請採用下列做法:

  • 預估工作負載需求:設定自動配置器之前,請先評估基準用量和尖峰波動。如要檢查歷來用量、預測需求,以及設定準確的運算執行個體數量上下限,請使用 Capacity Planner。

  • 設計資源取得方式:要求 GPU 或 TPU 等稀有硬體時,請從下列三個面向最佳化運算佈建:

    • 位置彈性:使用區域性 MIG 將工作負載分散至多個可用區。

    • 機型彈性:透過 MIG 執行個體彈性或 GKE 自訂 ComputeClass 允許使用多個機器系列。

    • 時間彈性:如果工作可以等待運算資源,請使用彈性啟動佈建模式。

  • 使用預留項目確保高容量:針對基準流量、尖峰規模活動或稀缺的 GPU 和 TPU,預先預留容量。預留項目可充分確保工作負載水平擴展時,目標可用區中有可用資源。如果單一 Slurm 工作超出一個預留項目,請將 Cluster Toolkit 分區分散到多個預留項目。

  • 預先暖機備用容量,因應延遲敏感的工作負載:如果應用程式無法在流量突然激增時,等待新的運算執行個體佈建完成,請維持隨時可用的備用容量。設定 GKE 運算資源緩衝區,預先佈建運作中或待命節點,或在 Compute Engine MIG 中使用待命集區,恢復暫停的運算執行個體,不必等待完整的作業系統啟動。

設計可擴充的網路

如要在資源擴充時順暢移動資料,避免延遲或位址耗盡,請採用下列網路做法:

  • 分配足夠的 IP 位址:確認子網路有足夠的可用 IP 位址,可容納自動配置器限制中的執行個體或節點數量上限。在 GKE 中,也請檢查 Pod 和 Service 的次要 IP 範圍。如果子網路的 IP 位址用盡,自動配置器就無法建立新的運算執行個體或 Pod。

  • 選擇高處理量網路介面:如果工作負載會在節點間移轉大型資料集或模型權重,請選取高頻寬網路介面控制器,例如 Google 虛擬網路介面卡或遠端直接記憶體存取。這些介面可減少 CPU 負擔,並增加擴充運算執行個體之間的頻寬。

  • 最佳化執行個體配置:針對多節點 AI 訓練或 HPC 工作,使用密集配置政策,或 Cluster Director 和 Cluster Toolkit 中的拓撲感知配置,將實體伺服器上的運算執行個體分組,並盡可能靠近彼此。將節點放在相近位置,可減少網路躍點和延遲時間。如果是容錯網路服務,請將運算執行個體分散到不同可用區,以免單一可用區服務中斷導致流量中斷。

設計可擴充的應用程式

如要讓應用程式在不中斷使用者服務的情況下水平擴展和縮減,請採用下列架構做法:

  • 保持應用程式層無狀態:將使用者工作階段資料、檢查點和共用檔案儲存在外部儲存空間或資料庫,而非本機執行個體磁碟。這種設計可讓自動配置器隨時新增或移除運算執行個體和 Pod,不會遺失資料。

  • 使用佇列和微服務解耦元件:將單體工作負載拆分為獨立服務,並透過負載平衡器或 Pub/Sub 等訊息佇列連結。這種架構可讓您根據各項服務的需求調整資源配置,包括使用事件導向自動配置器將資源縮減至零,以及吸收流量暴增,避免下游後端過載。

  • 縮短容器啟動和模型載入時間:縮短資源建立和流量準備就緒之間的延遲時間,讓擴充的容量立即處理要求。在 GKE 中,串流或預先載入容器映像檔,並使用 CPU 啟動加速功能或 Pod 快照,加快執行階段初始化速度。如果是 AI 工作負載,請從 Cloud Storage FUSE、Run:ai Model Streamer 或預先填入的磁碟區串流模型權重。