開放原始碼程式庫 xDiT 採用平行處理和最佳化技術,加快 Diffusion Transformer (DiT) 模型的推論速度。有了這些技術,您就能採用可擴充的多 GPU 設定,處理要求嚴苛的工作負載。這個頁面展示如何在 Gemini Enterprise Agent Platform 使用 xDiT 和 Cloud GPU 部署 DiT 模型。
如要進一步瞭解 xDiT,請參閱 xDiT GitHub 專案。
優點
以下列出在 Agent Platform 上使用 xDiT 提供 DiT 模型的主要優點:
- 生成速度最高可達三倍:相較於其他服務解決方案,生成高解析度圖片和影片的時間大幅縮短。
- 可擴充的多 GPU 支援:有效率地將工作負載分配至多個 GPU,達到最佳效能。
- 混合平行處理:xDiT 支援多種平行處理方法,例如統一序列平行處理、PipeFusion、CFG 平行處理和資料平行處理。您可以結合這些方法,打造獨特的配方,將效能最佳化。
- 最佳化單一 GPU 效能:xDiT 即使在單一 GPU 上,也能提供更快的推論速度。
- GPU 加速:xDiT 整合多種核心加速方法,並採用 DiTFastAttn 技術,加快單一 GPU 的推論速度。
- 輕鬆部署:在 Gemini Enterprise Agent Platform 的 Model Garden 中,一鍵部署或使用 Colab Enterprise 筆記本,快速上手。
支援的模型
xDiT 適用於 Gemini Enterprise Agent Platform Model Garden 中的特定 DiT 模型架構,例如 CogVideoX-2b。如要確認 DiT 模型是否支援 Model Garden 中的 xDiT,請在 Model Garden 查看模型資訊卡。
混合平行處理,提升多 GPU 效能:
xDiT 結合多種平行處理技術,在多 GPU 設定中發揮最大效能。這些技術會共同分配工作負載,並盡可能提高資源使用率:
- 統一序列平行處理:這項技術會將輸入資料 (例如將圖片分割成多個區塊) 分割至多個 GPU,減少記憶體用量並提高擴充性。
- PipeFusion:PipeFusion 會將 DiT 模型分成多個階段,並將每個階段指派給不同的 GPU,以便平行處理模型的不同部分。
- CFG 平行處理:這項技術會使用無分類器引導 (CFG) 專門最佳化模型,這是控制生成圖像風格和內容的常見方法。這項技術會平行處理條件式和非條件式分支的運算,加快推論速度。
- 資料平行處理:這種方法會在每個 GPU 上複製整個模型,每個 GPU 處理不同的輸入資料批次,提高系統的整體處理量。
如要進一步瞭解效能提升,請參閱 xDiT 的 Flux.1 Schnell 或 CogVideoX-2b 報告。Google 成功在 Gemini Enterprise Agent Platform Model Garden 重現這些結果。
單一 GPU 加速
xDiT 程式庫可使用 torch.compile 和 onediff,提高 GPU 的執行階段速度,進而提升單一 GPU 服務的效能。這些技術也可以與混合平行處理搭配使用。
xDiT 還採用高效的注意力運算技術 DiTFastAttn,可解決 DiT 的運算瓶頸。目前,這項技術僅適用於單一 GPU 設定,或與資料平行處理搭配使用。
開始使用 Model Garden
Gemini Enterprise Agent Platform Model Garden 提供 xDiT 最佳化 Cloud GPU 服務容器。如果模型支援,當您使用一鍵部署或 Colab Enterprise 筆記本範例時,部署作業會使用這個容器。
下列範例使用 CogVideoX-2b 模型,示範如何在 xDiT 容器部署 DiT 模型。
使用一鍵部署功能
您可以使用模型資訊卡,部署含有 xDiT 容器的自訂 Agent Platform 端點。
前往模型資訊卡頁面,然後點選「Deploy」(部署)。
選取要用於部署作業的模型變化版本和機器類型。
按一下「部署」即可開始部署程序。您會收到兩封電子郵件通知,一封是模型上傳完成時,另一封是端點準備就緒時。
使用 Colab Enterprise 筆記本
如需彈性和自訂功能,請使用 Colab Enterprise 筆記本範例,透過 Agent Platform SDK for Python,部署具備 xDiT 容器的 Agent Platform 端點。
前往模型資訊卡頁面,然後點選「Open notebook」(開啟筆記本)。
選取 Vertex Serving 筆記本。筆記本會在 Colab Enterprise 中開啟。
執行筆記本,使用 xDiT 容器部署模型,並將預測要求傳送至端點。部署作業的程式碼片段如下:
import vertexai
from vertexai import model_garden
vertexai.init(project=<YOUR_PROJECT_ID>, location=<REGION>)
model = model_garden.OpenModel("thudm/cogvideox@cogvideox-2b")
endpoint = model.deploy()
xDiT 引數
xDiT 提供多種伺服器引數,可設定來針對特定用途最佳化效能。這些引數會在部署期間設為環境變數。以下是您可能需要設定的主要引數:
模型設定
MODEL_ID(字串):指定要載入的模型 ID。這個名稱應與登錄檔或路徑中的模型名稱相符。
執行階段最佳化引數
N_GPUS(整數):指定要用於推論的 GPU 數量。預設值為 1。WARMUP_STEPS(整數):推論開始前所需的暖機步驟數。啟用 PipeFusion 時,這點尤其重要,可確保效能穩定。預設值為 1。USE_PARALLEL_VAE(布林值):在裝置間平行處理 VAE 元件,有效處理高解析度圖片 (大於 2048 像素)。這可避免大型圖片發生 OOM 問題。預設值為 false。USE_TORCH_COMPILE(布林值):透過 torch.compile 啟用單一 GPU 加速功能,提供核心層級最佳化,提升效能。預設值為 false。USE_ONEDIFF(布林值):啟用 OneDiff 編譯加速技術,最佳化 GPU 核心執行速度。預設值為 false。
資料平行引數
DATA_PARALLEL_DEGREE(整數):設定資料平行處理程度。留空即可停用,或設為所選平行處理程度。USE_CFG_PARALLEL(布林值):啟用無分類器引導 (CFG) 的平行運算,也稱為分割批次。啟用時,常數平行處理程度為 2。使用 CFG 控制輸出樣式和內容時,請設為 true。預設值為 false。
序列平行引數 (USP - 統一序列平行處理)
ULYSSES_DEGREE(整數):設定統一序列平行處理方法的 Ulysses 度數,該方法結合了 DeepSpeed-Ulysses 和 Ring-Attention。這項設定可控制 all-to-all 通訊模式。如要使用預設值,請留空。RING_DEGREE(整數):設定序列平行處理中點對點通訊的環度。與 ULYSSES_DEGREE 搭配使用,形成 2D 程序網格。如要使用預設值,請留空。
張量平行引數
TENSOR_PARALLEL_DEGREE(整數):設定張量平行處理程度,沿著特徵維度在裝置間分割模型參數,降低每部裝置的記憶體成本。留空即可停用。SPLIT_SCHEME(字串):定義如何跨裝置分割模型張量 (例如依注意力頭、隱藏維度)。如要使用預設分割配置,請留空。
Ray 分散式引數
USE_RAY(布林值):啟用 Ray 分散式執行架構,在多個節點上調度運算資源。預設值為 false。RAY_WORLD_SIZE(整數):Ray 叢集中的程序總數。預設值為 1。VAE_PARALLEL_SIZE(整數):使用 Ray 時,專門用於 VAE 平行處理的程序數量。預設值為 0。DIT_PARALLEL_SIZE(整數):使用 Ray 時,專門用於 DiT 骨幹平行處理的程序數量。預設值為 0。
PipeFusion 平行引數
PIPEFUSION_PARALLEL_DEGREE(整數):設定 PipeFusion 的平行處理程度。PipeFusion 是序列層級的管道平行處理,可利用擴散模型的輸入時間冗餘特性。值越高,平行處理程度越高,但需要更多記憶體。預設值為 1。NUM_PIPELINE_PATCH(整數):將序列分割成多少個修補程式,以便進行管道處理。如要系統自動判斷,請留空。ATTN_LAYER_NUM_FOR_PP(字串):指定要用於管道平行處理的注意力層。可以半形逗號分隔 (例如「10,9」) 或空格分隔 (例如「10 9」)。留空即可使用所有層。
記憶體最佳化引數
ENABLE_MODEL_CPU_OFFLOAD(布林值):在未使用時,將模型權重卸載至 CPU 記憶體,減少 GPU 記憶體用量,但會增加延遲時間。預設值為 false。ENABLE_SEQUENTIAL_CPU_OFFLOAD(布林值):在正向傳遞期間,依序將模型層卸載至 CPU,以便推論大於 GPU 記憶體的模型。預設值為 false。ENABLE_TILING(布林值):一次解碼一個 VAE 元件圖塊,減少 GPU 記憶體用量。這個引數適用於較大的圖片或影片,可避免記憶體不足錯誤。預設值為 false。ENABLE_SLICING(布林值):將輸入張量分割成切片,用於 VAE 解碼,藉此減少 GPU 記憶體用量。預設值為 false。
DiTFastAttn 引數 (注意力最佳化)
USE_FAST_ATTN(布林值):啟用 DiTFastAttn 加速功能,進行單一 GPU 推論,並利用輸入時間縮減功能降低運算複雜度。預設值為 false。N_CALIB(整數):DiTFastAttn 最佳化的校正樣本數量。預設值為 8。THRESHOLD(浮點數):DiTFastAttn 中時間相似度縮減的類似程度門檻。預設值為 0.5。WINDOW_SIZE(整數):視窗注意力機制搭配殘差 快取時的視窗大小,可減少空間冗餘。預設值為 64。COCO_PATH(字串):DiTFastAttn 校正的 COCO 資料集路徑。USE_FAST_ATTN 為 true 時,必須提供這個引數。如不使用,請留空。
快取最佳化引數
USE_CACHE(布林值):啟用一般快取機制,減少多餘的運算。預設值為 false。USE_TEACACHE(布林值):啟用 TeaCache 最佳化方法,快取中繼結果。預設值為 false。USE_FBCACHE(布林值):啟用 First-Block-Cache 最佳化方法。預設值為 false。
精確度最佳化引數
USE_FP8_T5_ENCODER(布林值):為 T5 文字編碼器啟用 FP8 (8 位元浮點) 精確度,減少記憶體用量,並可能提高處理量,同時盡量降低對品質的影響。預設值為 false。
放送自訂項目
Model Garden 為支援的模型提供預設 xDiT 平行化設定。您可以使用 Python 版 Agent Platform SDK 檢查這些預設設定。
如要查看模型的預設部署設定 (例如「thudm/cogvideox@cogvideox-2b」),可以執行下列程式碼片段:
import vertexai
from vertexai import model_garden
vertexai.init(project=<YOUR_PROJECT_ID>, location=<REGION>)
model = model_garden.OpenModel("thudm/cogvideox@cogvideox-2b")
deploy_options = model.list_deploy_options()
# Example Response
# ['thudm/cogvideox@cogvideox-2b']
# [model_display_name: "CogVideoX-2b"
# container_spec {
# image_uri: "us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/xdit-serve.cu125.0-2.ubuntu2204.py310:model-garden.xdit-0-2-release_20250803.00_p0"
# env {
# name: "DEPLOY_SOURCE"
# value: "UI_NATIVE_MODEL"
# }
# env {
# name: "MODEL_ID"
# value: "THUDM/CogVideoX-2b"
# }
# env {
# name: "TASK"
# value: "text-to-video"
# }
# env {
# name: "N_GPUS"
# value: "2"
# }
# env {
# name: "USE_TORCH_COMPILE"
# value: "true"
# }
# env {
# name: "USE_CFG_PARALLEL"
# value: "true"
# }
# ..........]
list_deploy_options() 方法會傳回容器規格,包括定義 xDiT 設定的環境變數 (env)。
如要自訂平行處理策略,您可以在部署模型時覆寫這些環境變數。以下範例說明如何修改 RING_DEGREE 和 ULYSSES_DEGREE,為 2 個 GPU 的設定變更平行處理方式:
import vertexai
from vertexai import model_garden
# Replace with your project ID and region
vertexai.init(project="<YOUR_PROJECT_ID>", location="<REGION>")
model = model_garden.OpenModel("thudm/cogvideox@cogvideox-2b")
# Custom environment variables to override default settings
# This example sets N_GPUS as 2, so RING_DEGREE * ULYSSES_DEGREE must equal 2
container_env_vars = {
"N_GPUS": "2",
"RING_DEGREE": "1",
"ULYSSES_DEGREE": "2",
"USE_CFG_PARALLEL": "false",
# Add other environment variables to customize here
}
machine_type = "a3-highgpu-2g"
accelerator_type = "NVIDIA_H100_80GB"
accelerator_count = 2
# Deploy the model with the custom environment variables
endpoint = model.deploy(
machine_type=machine_type,
accelerator_type=accelerator_type,
accelerator_count=accelerator_count,
container_env_vars=container_env_vars
)
請務必參閱「瞭解 xDiT 專屬引數」一節,瞭解各個環境變數的詳細資訊。請確保平行處理程度 (例如 PIPEFUSION_PARALLEL_DEGREE、ULYSSES_DEGREE、RING_DEGREE 和 USE_CFG_PARALLEL) 的乘積等於 GPU 總數 (N_GPUS)。
如需更多不同模型的推論方法和設定範例,請參閱 xDiT 官方說明文件。如要進一步瞭解 Model Garden SDK,請參閱說明文件。