Informazioni sulle policy del workload nei MIG

Questo documento spiega i requisiti e le limitazioni che si applicano quando utilizzi i criteri dei workload con i gruppi di istanze gestite (MIG). Per impostazione predefinita, gestisci la posizione delle istanze Compute Engine solo specificando le relative zone. Le policy del workload consentono di definire il posizionamento fisico e la topologia delle istanze di computing all'interno di una zona. Questo approccio ti aiuta, ad esempio, a ridurre al minimo la latenza di rete tra le istanze di computing posizionandole più vicine tra loro.

Puoi applicare policy del workload solo ai MIG che utilizzano istanze A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), H4D o TPU (TPU7x, v6e o v5p). Se utilizzi istanze A4X Max o A4X oppure crei un MIG con uno slice TPU multi-host, è necessaria una policy del workload, a meno che tu non crei una singola istanza di computing a scopo di test. Per le altre serie di macchine supportate, le policy dei workload sono facoltative.

Per controllare il posizionamento delle istanze di calcolo che utilizzano altre serie di macchine, utilizza i criteri di posizionamento.

Informazioni sulle policy workload

Le sezioni seguenti descrivono i casi d'uso delle policy del carico di lavoro e le proprietà che specifichi quando crei le policy del carico di lavoro.

Gestire il posizionamento e la topologia delle istanze di computing

Dopo aver creato una policy del workload e averla applicata a un MIG, le policy del workload ti aiutano a ottenere quanto segue:

  • Crea istanze di calcolo vicine tra loro: se la capacità è disponibile, Compute Engine crea istanze di calcolo vicine tra loro. In caso contrario, Compute Engine crea solo alcune o nessuna delle istanze di calcolo richieste.

  • Ottieni visibilità sulla topologia dell'istanza di computing: dopo aver applicato una policy del workload con un tipo di throughput elevato (HIGH_THROUGHPUT) a un MIG e il MIG crea istanze di computing, puoi visualizzare la posizione delle istanze di computing l'una rispetto all'altra. Queste informazioni ti aiutano a ridurre al minimo la latenza di rete e a risolvere gli errori. Per saperne di più, consulta Visualizzare la posizione fisica di un'istanza Compute Engine.

Puoi applicare la stessa policy del workload a più MIG. In questo caso, Compute Engine applica le regole di posizionamento a ogni MIG in modo indipendente.

La seguente sezione descrive le proprietà che devi specificare quando crei le policy dei workload.

Configura le proprietà della policy del workload

Quando crei una policy del workload, devi specificare le seguenti proprietà:

  • Tipo di carico di lavoro (type): questo campo definisce l'obiettivo di alto livello del tuo cluster. Puoi specificare solo HIGH_THROUGHPUT, che indica a Compute Engine di posizionare le istanze di calcolo il più vicino possibile per velocizzare la comunicazione.

  • In base alla serie di macchine utilizzata dalle istanze di computing nel MIG, puoi specificare facoltativamente una delle seguenti proprietà:

    • Topologia dell'acceleratore (acceleratorTopology): questa proprietà ti aiuta a ottenere prestazioni elevate per i carichi di lavoro distribuiti eseguiti su più istanze A4X Max o A4X oppure su slice TPU multi-host che utilizzano una configurazione di rete inter-acceleratore specializzata. Per ulteriori informazioni, consulta Proprietà della topologia dell'acceleratore.

    • Distanza massima della topologia (maxTopologyDistance): questa proprietà definisce il limite fisico più rigoroso per la creazione delle istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D, ad esempio lo stesso blocco o sottoblocco. Se Compute Engine non riesce a rispettare questo limite rigoroso a causa di errori di disponibilità delle risorse, crea solo una parte o nessuna delle istanze di calcolo richieste. Per saperne di più, consulta Proprietà Distanza topologia massima.

Proprietà della topologia dell'acceleratore

Per ottenere prestazioni di rete su larga scala e non bloccanti, Compute Engine organizza le istanze A4X Max e A4X in una gerarchia fisica di blocchi e sottoblocchi.

Per creare un MIG con istanze A4X Max o A4X o sezioni TPU multi-host, devi applicare al MIG una policy del workload che specifichi la proprietà della topologia dell'acceleratore (acceleratorTopology). Questa proprietà definisce la configurazione della rete fisica per una fetta di istanze di computing. Uno slice funge da singolo acceleratore massivo che fornisce il massimo throughput per i tuoi workload di AI o ML distribuiti.

La tabella seguente mostra i valori della topologia dell'acceleratore per A4X Max e A4X. Per saperne di più sui valori di topologia per gli slice TPU multi-host, consulta la sezione Topologia TPU.

Valore della topologia dell'acceleratore Descrizione Serie di macchine supportate Numero massimo di istanze di Compute
1x72 Compute Engine organizza le istanze di calcolo in sottoblocchi densamente allocati di 18 istanze di calcolo, per un totale di 72 GPU. Poiché ogni sottoblocco richiede il proprio MIG, puoi creare un massimo di 18 istanze di calcolo per MIG. Un blocco completo è composto da 25 MIG, per un totale di 450 istanze di calcolo. A4X Max e A4X 18

Per ulteriori informazioni sulle istanze A4X Max e A4X, vedi Serie di macchine A4X Max e A4X.

Proprietà Distanza topologia massima

Quando crei e applichi una policy del workload a un gruppo di istanze gestite, Compute Engine tenta di creare le istanze di calcolo vicine tra loro. Se hai bisogno della massima compattezza in una zona, ti consigliamo di specificare la proprietà di distanza topologia massima (maxTopologyDistance). Un valore massimo della distanza di topologia specifica di creare istanze A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D nello stesso cluster, blocco o sottoblocco.

La tabella seguente mostra i valori massimi della distanza della topologia e le serie di macchine che supportano:

Valore della distanza topologia massima Descrizione Serie di macchine supportate Numero massimo di istanze di Compute
Non specificato (non consigliato) Compute Engine tenta di posizionare le istanze di calcolo il più vicino possibile l'una all'altra, ma senza alcuna garanzia di distanza massima tra le istanze di calcolo in una zona. A4, A3 Ultra, A3 Mega, A3 High (8 GPU) e H4D 1500
CLUSTER Compute Engine crea istanze di calcolo in blocchi adiacenti all'interno di un cluster. A4 e H4D 1500
BLOCK Compute Engine crea istanze di computing nello stesso blocco. A4, A3 Ultra, A3 Mega, A3 High (8 GPU) o H4D
  • Per A4 o H4D: 150
  • Per A3 Ultra, A3 Mega o A3 High (8 GPU): 256
SUBBLOCK Compute Engine crea istanze di calcolo nello stesso sottoblocco, riducendo al minimo la latenza di rete. A4, A3 Ultra e H4D 22

Prezzi

Non sono previsti costi aggiuntivi per la creazione, l'eliminazione o l'applicazione di policy del workload a un MIG.

Serie di macchine supportate

Puoi applicare le policy dei carichi di lavoro solo ai MIG con istanze di Compute che utilizzano le seguenti combinazioni di serie di macchine e modelli di provisioning:

Serie di macchine Avvio flessibile Spot Con prenotazione Standard
A4X Max No No Sì No
A4X No No Sì No
A4 Sì Sì Sì No
A3 Ultra Sì Sì Sì No
A3 Mega No Sì Sì No
A3 High (8 GPU) No Sì Sì No
H4D Sì Sì Sì No
TPU7x Sì Sì Sì Sì
TPU v6e Sì Sì Sì Sì
TPU v5p Sì Sì Sì Sì

Limitazioni

Per le policy del workload nei MIG si applicano le seguenti limitazioni:

  • Puoi applicare una policy del workload a un MIG esistente o modificarne la policy del workload solo se non sono presenti istanze di Compute nel MIG.

  • Puoi applicare le policy di workload ai MIG a livello di regione solo se questi utilizzano le seguenti forme di distribuzione target:

    • Per i MIG con una dimensione target: ANY o ANY_SINGLE_ZONE

    • Per le richieste di ridimensionamento del gruppo di istanze gestite: ANY_SINGLE_ZONE

  • Non puoi aggiornare una policy del workload dopo averla creata.

  • Non puoi configurare un secondo modello di istanza se il MIG utilizza una policy del workload.

  • Non puoi utilizzare le policy del workload insieme alle policy di posizionamento.

Passaggi successivi