Se scrivi il tuo codice di addestramento anziché utilizzare AutoML}, ci sono diversi modi per eseguire l'addestramento serverless di Gemini Enterprise Agent Platform da prendere in considerazione. Questo documento fornisce una breve panoramica e un confronto dei diversi modi in cui puoi eseguire l'addestramento serverless.
Risorse di addestramento serverless su Agent Platform
Esistono tre tipi di risorse di Agent Platform che puoi creare per addestrare modelli personalizzati su Agent Platform:
Quando crei un job personalizzato, devi specificare le impostazioni di cui ha bisogno Agent Platform per eseguire il codice di addestramento, tra cui:
- Un pool di worker
per l'addestramento con un nodo singolo (
WorkerPoolSpec) oppure più pool di worker per l'addestramento distribuito - Impostazioni facoltative per la configurazione della pianificazione dei job (
Scheduling), l'impostazione di determinate variabili di ambiente per il codice di addestramento, l'utilizzo di un service account personalizzato e l'utilizzo del peering di rete VPC
All'interno dei pool di worker, puoi specificare le seguenti impostazioni:
- Tipi di macchina e acceleratori
- Configurazione del tipo di codice di addestramento eseguito dal pool di worker
runs: un'applicazione di addestramento Python (
PythonPackageSpec) o un container personalizzato (ContainerSpec)
I job di ottimizzazione degli iperparametri hanno impostazioni aggiuntive da configurare, ad esempio la metrica. Scopri di più su ll'ottimizzazione degli iperparametri.
Una pipeline di addestramento orchestra i job di addestramento serverless o i job di ottimizzazione degli iperparametri con passaggi aggiuntivi, come il caricamento di un set di dati o il caricamento del modello su Agent Platform al termine del job di addestramento.
Risorse di addestramento serverless
Per visualizzare le pipeline di addestramento esistenti nel progetto, vai alla pagina Training Pipelines nella sezione Agent Platform della Google Cloud console.
Vai alle pipeline di addestramento
Per visualizzare i job personalizzati esistenti nel progetto, vai alla pagina Job personalizzati.
Per visualizzare i job di ottimizzazione degli iperparametri esistenti nel progetto, vai alla pagina Ottimizzazione degli iperparametri.
Vai all'ottimizzazione degli iperparametri
Container predefiniti e personalizzati
Prima di inviare un job di addestramento serverless, un job di ottimizzazione degli iperparametri o una pipeline di addestramento ad Agent Platform, devi creare un'applicazione di addestramento Python o un container personalizzato per definire il codice di addestramento e le dipendenze che vuoi eseguire su Agent Platform. Se crei un'applicazione di addestramento Python utilizzando TensorFlow, PyTorch, scikit-learn o XGBoost, puoi utilizzare i nostri container predefiniti per eseguire il codice. Se non sai quale di queste opzioni scegliere, consulta i requisiti del codice di addestramento per saperne di più.
Addestramento distribuito
Puoi configurare un job di addestramento serverless, un job di ottimizzazione degli iperparametri o una pipeline di addestramento per l'addestramento distribuito specificando più pool di worker:
- Utilizza il primo pool di worker per configurare la replica principale e imposta il conteggio delle repliche su 1.
- Aggiungi altri pool di worker per configurare le repliche dei worker, le repliche dei server dei parametri o le repliche degli valutatori, se il framework di machine learning supporta queste attività di cluster aggiuntive per l'addestramento distribuito.
Scopri di più sull' utilizzo dell'addestramento distribuito.
Passaggi successivi
- Scopri come creare una risorsa permanente per eseguire job di addestramento serverless.
- Consulta Creare job di addestramento serverless per scoprire come creare job di addestramento serverless per eseguire le applicazioni di addestramento serverless su Gemini Enterprise Agent Platform.
- Consulta Creare pipeline di addestramento per scoprire come creare pipeline di addestramento per eseguire applicazioni di addestramento serverless su Gemini Enterprise Agent Platform.
- Consulta Utilizzare l'ottimizzazione degli iperparametri per scoprire di più sulle ricerche di ottimizzazione degli iperparametri.