Formule di ottimizzazione del Goodput

Questo documento ti aiuta a ottimizzare il goodput, ovvero la velocità di trasferimento dei dati utili, per i tuoi carichi di lavoro. Per ottenere questa ottimizzazione, abbiamo selezionato ricette di goodput riproducibili che utilizzano modelli e framework di machine learning (ML) comuni. Per esaminare queste ricette, consulta l' organizzazione GitHub di AI Hypercomputer. Le ricette di goodput sono state testate su cluster creati utilizzando Cluster Toolkit.

Per garantire un'affidabilità ottimale del carico di lavoro e massimizzare il goodput, puoi anche identificare in modo proattivo i nodi di un cluster Google Kubernetes Engine (GKE) che probabilmente subiranno un degrado nelle prossime cinque ore. Questo avviso anticipato ti aiuta a evitare di pianificare nuovi carichi di lavoro su VM a rischio, riducendo così il rischio di interruzioni dei job. Per saperne di più, consulta Attivare la previsione dello stato dei nodi.

Prima di iniziare

Prima di utilizzare le ricette di goodput descritte in questo documento, completa i seguenti passaggi, se non l'hai già fatto:

  1. Scegli un acceleratore più adatto al tuo carico di lavoro

  2. Scegli un metodo di consumo in base all'acceleratore scelto

  3. Crea il cluster

Ricette

Sono disponibili le seguenti ricette di goodput riproducibili per il pre-addestramento sui cluster GKE:

Nome della ricetta Acceleratore Modello Framework Tipo di workload
Llama3.1 70B - A3 Mega A3 Mega Llama3.1 70B NeMo Pre-addestramento su GKE

Passaggi successivi