Servizi di rete per i deployment

I servizi di rete che configuri dipendono dall'opzione di deployment scelta (VM o cluster) e dall'infrastruttura.

Questo documento è destinato ad architetti, ingegneri di rete e sviluppatori che vogliono comprendere i servizi di rete per le loro implementazioni di AI Hypercomputer. Questo documento presuppone che tu abbia una familiarità di base con il networking cloud e i concetti di calcolo distribuito. Per ulteriori informazioni sulle opzioni di deployment, consulta la Panoramica delle opzioni di deployment.

Per informazioni dettagliate su architettura di rete, protocolli e topologie hardware, consulta la panoramica del networking GPU.

Networking per i deployment GKE ottimizzati per l'AI con Cluster Toolkit

Quando crei un cluster GKE ottimizzato per l'AI con Cluster Toolkit, il blueprint configura la rete nel seguente modo:

  • Il blueprint utilizza la rete VPC predefinita per il cluster GKE principale.
  • Crea due VPC aggiuntivi: uno per una seconda scheda di interfaccia di rete (NIC) host e un altro per il traffico di accesso diretto alla memoria remota (RDMA) da GPU a GPU.
  • Il progetto base applica un profilo di rete preconfigurato e gestito da Google al VPC utilizzato per il traffico GPU. Questo profilo configura automaticamente la rete per prestazioni RDMA ad alta velocità e bassa latenza.
  • Il blueprint crea automaticamente otto subnet dedicate all'interno del VPC RDMA, una per ogni NIC RDMA su una VM con acceleratore.
  • Configura regole firewall che consentono tutto il traffico TCP, UDP e ICMP tra i nodi all'interno del cluster.

Networking per i deployment GKE

La configurazione di rete per le configurazioni GKE dipende dal tipo di workload e dall'infrastruttura:

  • Per GPU generiche o carichi di lavoro non distribuiti, crea un cluster GKE senza GPUDirect RDMA. Questa configurazione utilizza una singola rete VPC per tutte le comunicazioni.
  • Per GPU in cluster o carichi di lavoro distribuiti, crea un cluster GKE con GPUDirect RDMA abilitato. Questa configurazione utilizza un ambiente multi-VPC che separa il traffico per uso generico dalla comunicazione GPU-GPU a larghezza di banda elevata.

Networking per i deployment del cluster Slurm

Utilizza Cluster Toolkit per eseguire il deployment dei workload AI e ML tramite progetti iniziali personalizzabili, ad esempio per le serie A4 o A3 Ultra.

I componenti di rete configurati dal blueprint per i deployment di GPU Slurm in cluster sono i seguenti:

  • Il blueprint crea tre VPC distinti: un VPC principale per il control plane Slurm, un VPC secondario per il traffico generale a livello di host e un VPC dedicato ad alte prestazioni per la comunicazione GPU-GPU.
  • Per il piano dati GPU, il progetto base applica un profilo di rete preconfigurato e gestito da Google ottimizzato per RoCE.
  • Il blueprint imposta un intervallo di indirizzi IP dedicato richiesto dal servizio Filestore, che fornisce la directory /home condivisa per il cluster.
  • Crea un VPC temporaneo e isolato per la creazione di immagini utilizzato solo durante il processo di creazione dell'immagine VM personalizzata per i nodi del cluster.

Networking per le istanze Compute Engine

Puoi utilizzare Compute Engine per creare VM autonome, istanze di calcolo collettive e gruppi di istanze gestite (MIG). I requisiti di rete specifici dipendono dal modello di infrastruttura del tipo di macchina:

  • GPU in cluster: queste serie di macchine (A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High con 8 GPU) richiedono una configurazione di rete multi-VPC per separare il traffico host-to-host generale dalla comunicazione GPU-to-GPU a larghezza di banda elevata.
  • GPU generiche: queste serie di macchine (G2, G4, A2 e N1 con T4 o V100) utilizzano un'architettura VPC singolo su interfacce gVNIC per tutte le comunicazioni. A3 Edge è un'eccezione che richiede quattro VPC di dati e GPUDirect-TCPX.

Per informazioni dettagliate sulle NIC e sulla configurazione di rete per il tuo tipo di macchina, consulta Networking e macchine GPU.

Passaggi successivi