xDiT è una libreria open source che accelera l'inferenza per i modelli Diffusion Transformer (DiT) mediante tecniche di parallelismo e ottimizzazione. Queste tecniche consentono una configurazione scalabile su più GPU per workload impegnativi. Questa pagina mostra come eseguire il deployment dei modelli DiT utilizzando xDiT e le Cloud GPU su Gemini Enterprise Agent Platform.
Per saperne di più su xDiT, consulta il progetto GitHub xDiT.
Vantaggi
Il seguente elenco descrive i principali vantaggi dell'utilizzo di xDiT per la distribuzione di modelli DiT su Agent Platform:
- Generazione fino a tre volte più veloce: genera immagini e video ad alta risoluzione in una frazione del tempo rispetto ad altre soluzioni di pubblicazione.
- Supporto multi-GPU scalabile: distribuisci in modo efficiente i workload su più GPU per prestazioni ottimali.
- Parallelismo ibrido: xDiT supporta vari approcci di elaborazione parallela, come il parallelismo di sequenza unificato, PipeFusion, il parallelismo CFG e il parallelismo dei dati. Questi metodi possono essere combinati in una formula unica per ottimizzare il rendimento.
- Prestazioni ottimizzate per singola GPU: xDiT fornisce un'inferenza più rapida anche su una singola GPU.
- Accelerazione GPU: xDiT incorpora diversi metodi di accelerazione del kernel e utilizza tecniche di DiTFastAttn per velocizzare l'inferenza su una singola GPU.
- Deployment semplice: inizia rapidamente con il deployment con un solo clic o con i notebook Colab Enterprise in Model Garden di Gemini Enterprise Agent Platform.
Modelli supportati
xDiT è disponibile per alcune architetture di modelli DiT in Gemini Enterprise Agent Platform Model Garden, come CogVideoX-2b. Per verificare se un modello DiT supporta xDiT in Model Garden, visualizza la relativa scheda in Model Garden.
Parallelismo ibrido per prestazioni multi-GPU:
xDiT utilizza una combinazione di tecniche di parallelismo per massimizzare le prestazioni su configurazioni multi-GPU. Queste tecniche agiscono insieme per distribuire il workload e ottimizzare l'utilizzo delle risorse:
- Parallelismo delle sequenze unificato: questa tecnica suddivide i dati di input (ad esempio un'immagine in patch) su più GPU, riducendo la memoria utilizzata e migliorando la scalabilità.
- PipeFusion: PipeFusion divide il modello DiT in fasi e assegna ogni fase a una GPU diversa, consentendo l'elaborazione parallela di diverse parti del modello.
- Parallelismo CFG: questa tecnica ottimizza in modo specifico i modelli utilizzando la guida senza classificatore, un metodo comune per controllare lo stile e i contenuti delle immagini create dall'AI. Parallelizza il calcolo dei rami condizionali e incondizionali, velocizzando l'inferenza.
- Parallelismo dei dati: questo metodo replica l'intero modello su ogni GPU, con ogni GPU che elabora un batch diverso di dati di input, aumentando il throughput complessivo del sistema.
Per saperne di più sui miglioramenti delle prestazioni, consulta il report di xDiT su Flux.1 Schnell o CogVideoX-2b. Google è stata in grado di riprodurre questi risultati su Model Garden di Gemini Enterprise Agent Platform.
Accelerazione GPU singola
La libreria xDiT offre vantaggi per l'erogazione su una singola GPU utilizzando torch.compile e onediff per migliorare la velocità di runtime sulle GPU. Queste tecniche possono essere utilizzate anche in combinazione con il parallelismo ibrido.
xDiT dispone anche di una tecnica di calcolo dell'attenzione efficiente, chiamata DiTFastAttn, per risolvere il collo di bottiglia computazionale di DiT. Al momento, questa tecnica è disponibile solo per configurazioni con una singola GPU o in combinazione con il parallelismo dei dati.
Inizia a utilizzare Model Garden
Il container di pubblicazione Cloud GPU ottimizzato per xDiT è fornito all'interno di Model Garden di Gemini Enterprise Agent Platform. Per i modelli supportati, i deployment utilizzano questo container quando utilizzi i deployment con un solo clic o gli esempi di notebook di Colab Enterprise.
Gli esempi seguenti utilizzano il modello CogVideoX-2b per mostrare come eseguire il deployment di un modello DiT su un container xDiT.
Utilizza il deployment con un solo clic
Puoi eseguire il deployment di un endpoint Agent Platform personalizzato con il container xDiT utilizzando una scheda del modello.
Vai alla pagina della scheda del modello e fai clic su Esegui il deployment.
Per la variante del modello da utilizzare, seleziona un tipo di macchina da utilizzare per il deployment.
Fai clic su Esegui il deployment per avviare il processo di deployment. Riceverai due notifiche via email: una quando il modello viene caricato e un'altra quando l'endpoint è pronto.
Utilizza il notebook Colab Enterprise
Per flessibilità e personalizzazione, utilizza gli esempi di notebook Colab Enterprise per eseguire il deployment di un endpoint della piattaforma agente con il container xDiT utilizzando l'SDK della piattaforma agente per Python.
Vai alla pagina della model card e fai clic su Apri blocco note.
Seleziona il notebook Vertex Serving. Il notebook viene aperto in Colab Enterprise.
Esamina il notebook per eseguire il deployment di un modello utilizzando il container xDiT e invia richieste di previsione all'endpoint. Lo snippet di codice per il deployment è il seguente:
import vertexai
from vertexai import model_garden
vertexai.init(project=<YOUR_PROJECT_ID>, location=<REGION>)
model = model_garden.OpenModel("thudm/cogvideox@cogvideox-2b")
endpoint = model.deploy()
Argomenti xDiT
xDiT offre una serie di argomenti del server che possono essere configurati per ottimizzare le prestazioni per casi d'uso specifici. Questi argomenti vengono impostati come variabili di ambiente durante il deployment. Di seguito sono riportati gli argomenti chiave che potresti dover configurare:
Configurazione del modello
MODEL_ID(stringa): specifica l'identificatore del modello da caricare. Deve corrispondere al nome del modello nel registro o nel percorso.
Argomenti di ottimizzazione del runtime
N_GPUS(numero intero): specifica il numero di GPU da utilizzare per l'inferenza. Il valore predefinito è 1.WARMUP_STEPS(numero intero): numero di passaggi di warmup richiesti prima dell'inizio dell'inferenza. Ciò è particolarmente importante quando PipeFusion è abilitato per garantire prestazioni stabili. Il valore predefinito è 1.USE_PARALLEL_VAE(booleano): consente l'elaborazione efficiente di immagini ad alta risoluzione (superiori a 2048 pixel) parallelizzando il componente VAE su più dispositivi. In questo modo si evitano problemi di memoria insufficiente per le immagini di grandi dimensioni. Il valore predefinito è false.USE_TORCH_COMPILE(booleano): attiva l'accelerazione con una singola GPU tramite torch.compile, fornendo ottimizzazioni a livello di kernel per migliorare le prestazioni. Il valore predefinito è false.USE_ONEDIFF(booleano): attiva la tecnologia di accelerazione della compilazione OneDiff per ottimizzare la velocità di esecuzione del kernel della GPU. Il valore predefinito è false.
Argomenti del parallelismo dei dati
DATA_PARALLEL_DEGREE(integer): imposta il grado di parallelismo dei dati. Lascia vuoto per disattivare o imposta sul grado di parallelismo selezionato.USE_CFG_PARALLEL(booleano): attiva il calcolo parallelo per la guida senza classificatore (CFG), nota anche come suddivisione in batch. Se abilitato, il grado di parallelismo costante è 2. Imposta su true quando utilizzi la CFG per controllare lo stile e i contenuti dell'output. Il valore predefinito è false.
Argomenti di parallelismo delle sequenze (USP - Unified Sequence Parallelism)
ULYSSES_DEGREE(numero intero): imposta il grado Ulysses per l'approccio parallelo della sequenza unificata, che combina DeepSpeed-Ulysses e Ring-Attention. Questo controlla il pattern di comunicazione all-to-all. Lascia vuoto per utilizzare il valore predefinito.RING_DEGREE(numero intero): imposta il grado di anello per la comunicazione peer-to-peer nel parallelismo di sequenza. Funziona in combinazione con ULYSSES_DEGREE per formare la mesh di processo 2D. Lascia vuoto per utilizzare il valore predefinito.
Argomenti di parallelismo tensoriale
TENSOR_PARALLEL_DEGREE(numero intero): imposta il grado di parallelismo dei tensori, che suddivide i parametri del modello tra i dispositivi lungo le dimensioni delle caratteristiche per ridurre i costi di memoria per dispositivo. Lascia vuoto per disattivare.SPLIT_SCHEME(stringa): definisce come suddividere i tensori del modello tra i dispositivi (ad es. per attention head, dimensioni nascoste). Lascia vuoto per utilizzare lo schema di suddivisione predefinito.
Argomenti distribuiti di Ray
USE_RAY(booleano): abilita il framework di esecuzione distribuita Ray per la scalabilità dei calcoli su più nodi. Il valore predefinito è false.RAY_WORLD_SIZE(integer): numero totale di processi nel cluster Ray. Il valore predefinito è 1.VAE_PARALLEL_SIZE(integer): numero di processi dedicati all'elaborazione parallela VAE quando si utilizza Ray. Il valore predefinito è 0.DIT_PARALLEL_SIZE(numero intero): numero di processi dedicati all'elaborazione parallela del backbone DiT quando si utilizza Ray. Il valore predefinito è 0.
Argomenti di PipeFusion Parallel
PIPEFUSION_PARALLEL_DEGREE(numero intero): imposta il grado di parallelismo per PipeFusion, un parallelismo della pipeline a livello di sequenza che sfrutta le caratteristiche di ridondanza temporale dell'input dei modelli di diffusione. Valori più elevati aumentano il parallelismo, ma richiedono più memoria. Il valore predefinito è 1.NUM_PIPELINE_PATCH(numero intero): numero di patch in cui suddividere la sequenza per l'elaborazione della pipeline. Lascia vuoto per la determinazione automatica.ATTN_LAYER_NUM_FOR_PP(stringa): specifica quali livelli di attenzione utilizzare per il parallelismo della pipeline. Può essere separato da virgole (ad es. "10,9") o da spazi (ad es. "10 9"). Lascia vuoto per utilizzare tutti i livelli.
Argomenti di ottimizzazione della memoria
ENABLE_MODEL_CPU_OFFLOAD(booleano): trasferisce i pesi del modello alla memoria della CPU quando non sono in uso, riducendo la memoria utilizzata della GPU a scapito di una maggiore latenza. Il valore predefinito è false.ENABLE_SEQUENTIAL_CPU_OFFLOAD(booleano): esegue l'offload sequenziale dei livelli del modello alla CPU durante il pass in avanti, consentendo l'inferenza di modelli più grandi della memoria GPU. Il valore predefinito è false.ENABLE_TILING(booleano): riduce la memoria utilizzata dalla GPU decodificando il componente VAE un tile alla volta. Questo argomento è utile per immagini o video di grandi dimensioni e per evitare errori di memoria insufficiente. Il valore predefinito è false.ENABLE_SLICING(booleano): riduce la memoria utilizzata dalla GPU suddividendo il tensore di input in sezioni per la decodifica VAE. Il valore predefinito è false.
Argomenti DiTFastAttn (ottimizzazione dell'attenzione)
USE_FAST_ATTN(booleano): abilita l'accelerazione DiTFastAttn per l'inferenza su una singola GPU, utilizzando la riduzione temporale dell'input per ridurre la complessità computazionale. Il valore predefinito è false.N_CALIB(numero intero): numero di campioni di calibrazione per l'ottimizzazione di DiTFastAttn. Il valore predefinito è 8.THRESHOLD(float): soglia di somiglianza per la riduzione della somiglianza temporale in DiTFastAttn. Il valore predefinito è 0,5.WINDOW_SIZE(numero intero): dimensione della finestra per l'attenzione della finestra con memorizzazione nella cache residua per ridurre la ridondanza spaziale. Il valore predefinito è 64.COCO_PATH(stringa): percorso del set di dati COCO per la calibrazione di DiTFastAttn. Obbligatorio quando USE_FAST_ATTN è true. Lascia vuoto se non lo utilizzi.
Argomenti di ottimizzazione della cache
USE_CACHE(booleano): attiva i meccanismi di memorizzazione nella cache generali per ridurre i calcoli ridondanti. Il valore predefinito è false.USE_TEACACHE(booleano): attiva il metodo di ottimizzazione TeaCache per la memorizzazione nella cache dei risultati intermedi. Il valore predefinito è false.USE_FBCACHE(booleano): attiva il metodo di ottimizzazione First-Block-Cache. Il valore predefinito è false.
Argomenti di ottimizzazione della precisione
USE_FP8_T5_ENCODER(booleano): attiva la precisione FP8 (virgola mobile a 8 bit) per l'encoder di testo T5, riducendo la memoria utilizzata e potenzialmente migliorando il throughput con un impatto minimo sulla qualità. Il valore predefinito è false.
Personalizzazioni di pubblicazione
Model Garden fornisce configurazioni di parallelizzazione xDiT predefinite per i modelli supportati. Puoi esaminare queste impostazioni predefinite utilizzando l'SDK Agent Platform per Python.
Per visualizzare la configurazione di deployment predefinita per un modello, ad esempio "thudm/cogvideox@cogvideox-2b", puoi eseguire il seguente snippet di codice:
import vertexai
from vertexai import model_garden
vertexai.init(project=<YOUR_PROJECT_ID>, location=<REGION>)
model = model_garden.OpenModel("thudm/cogvideox@cogvideox-2b")
deploy_options = model.list_deploy_options()
# Example Response
# ['thudm/cogvideox@cogvideox-2b']
# [model_display_name: "CogVideoX-2b"
# container_spec {
# image_uri: "us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/xdit-serve.cu125.0-2.ubuntu2204.py310:model-garden.xdit-0-2-release_20250803.00_p0"
# env {
# name: "DEPLOY_SOURCE"
# value: "UI_NATIVE_MODEL"
# }
# env {
# name: "MODEL_ID"
# value: "THUDM/CogVideoX-2b"
# }
# env {
# name: "TASK"
# value: "text-to-video"
# }
# env {
# name: "N_GPUS"
# value: "2"
# }
# env {
# name: "USE_TORCH_COMPILE"
# value: "true"
# }
# env {
# name: "USE_CFG_PARALLEL"
# value: "true"
# }
# ..........]
Il metodo list_deploy_options() restituisce le specifiche del container, incluse le variabili di ambiente (env) che definiscono la configurazione xDiT.
Per personalizzare la strategia di parallelismo, puoi eseguire l'override di queste variabili di ambiente durante il deployment del modello. L'esempio seguente mostra come modificare RING_DEGREE e ULYSSES_DEGREE per una configurazione con 2 GPU, cambiando l'approccio di parallelismo:
import vertexai
from vertexai import model_garden
# Replace with your project ID and region
vertexai.init(project="<YOUR_PROJECT_ID>", location="<REGION>")
model = model_garden.OpenModel("thudm/cogvideox@cogvideox-2b")
# Custom environment variables to override default settings
# This example sets N_GPUS as 2, so RING_DEGREE * ULYSSES_DEGREE must equal 2
container_env_vars = {
"N_GPUS": "2",
"RING_DEGREE": "1",
"ULYSSES_DEGREE": "2",
"USE_CFG_PARALLEL": "false",
# Add other environment variables to customize here
}
machine_type = "a3-highgpu-2g"
accelerator_type = "NVIDIA_H100_80GB"
accelerator_count = 2
# Deploy the model with the custom environment variables
endpoint = model.deploy(
machine_type=machine_type,
accelerator_type=accelerator_type,
accelerator_count=accelerator_count,
container_env_vars=container_env_vars
)
Ricorda di consultare la sezione "Informazioni sugli argomenti specifici di xDiT" per i dettagli su ogni variabile di ambiente. Assicurati che il prodotto dei gradi di parallelismo (ad es. PIPEFUSION_PARALLEL_DEGREE, ULYSSES_DEGREE, RING_DEGREE e USE_CFG_PARALLEL) sia uguale al numero totale di GPU (N_GPUS).
Per altri esempi di ricette e configurazioni di distribuzione per modelli diversi, consulta la documentazione ufficiale di xDiT. Per ulteriori informazioni sull'SDK Model Garden, consulta la documentazione.