Gemini Enterprise Agent Platform Experiments è uno strumento che ti aiuta a monitorare e analizzare diverse architetture di modelli, iperparametri e ambienti di addestramento, consentendoti di monitorare i passaggi, gli input e gli output di un'esecuzione di esperimento. Gemini Enterprise Agent Platform Esperimenti può anche valutare il rendimento complessivo del modello rispetto ai set di dati di test e durante la sessione di addestramento. Puoi quindi utilizzare queste informazioni per selezionare il modello migliore per il tuo caso d'uso specifico.
Le esecuzioni di esperimenti non comportano costi aggiuntivi. Ti vengono addebitate solo le risorse che utilizzi durante l'esperimento, come descritto nei prezzi di Gemini Enterprise Agent Platform.
| Che cosa vuoi fare? | Guarda il notebook di esempio |
|---|---|
| Monitora metriche e parametri | Confronta i modelli |
| Monitora la derivazione dell'esperimento | Addestramento del modello |
| Monitora le esecuzioni della pipeline | Confronta le esecuzioni della pipeline |
Monitora passaggi, input e output
Agent Platform Experiments ti consente di monitorare:
- I passaggi di un'esecuzione di esperimento, ad esempio la pre-elaborazione e l'addestramento.
- Gli input, ad esempio algoritmo, parametri e set di dati.
- Gli output di questi passaggi, ad esempio modelli, checkpoint e metriche.
Puoi quindi capire cosa ha funzionato e cosa no e identificare ulteriori strade per la sperimentazione.
Per esempi di percorsi utente, consulta:
Analizza il rendimento del modello
Agent Platform Experiments ti consente di monitorare e valutare il rendimento complessivo del modello rispetto ai set di dati di test e durante la sessione di addestramento. Questa funzionalità consente di comprendere le caratteristiche di rendimento dei modelli: il rendimento complessivo di un modello specifico, i punti deboli e i punti di forza.
Per esempi di percorsi utente, consulta:
Confronta il rendimento del modello
Agent Platform Experiments ti consente di raggruppare e confrontare più modelli tra le esecuzioni di esperimenti. Ogni modello ha i propri parametri, tecniche di modellazione, architetture e input specificati. Questo approccio aiuta a selezionare il modello migliore.
Per esempi di percorsi utente, consulta:
Cerca esperimenti
La Google Cloud console fornisce una visualizzazione centralizzata degli esperimenti, una visualizzazione trasversale delle esecuzioni degli esperimenti e i dettagli di ogni esecuzione. L'SDK Agent Platform per Python fornisce API per utilizzare esperimenti, esecuzioni di esperimenti, parametri di esecuzione di esperimenti, metriche e artefatti.
Agent Platform Experiments, insieme a Gemini Enterprise Agent Platform ML Metadata, fornisce un modo per trovare gli artefatti monitorati in un esperimento. In questo modo puoi visualizzare rapidamente la derivazione dell'artefatto e gli artefatti utilizzati e prodotti dai passaggi di un'esecuzione.
Ambito dell'assistenza
Gemini Enterprise Agent Platform Experiments supporta lo sviluppo di modelli utilizzando l'addestramento personalizzato di Gemini Enterprise Agent Platform, i notebook di Gemini Enterprise Agent Platform Workbench, Notebooks e tutti i framework ML Python nella maggior parte dei framework ML. Per alcuni framework ML, come TensorFlow, Gemini Enterprise Agent Platform Experiments fornisce integrazioni approfondite nel framework che rendono l'esperienza utente automagica. Per altri framework ML, Gemini Enterprise Agent Platform Experiments fornisce un SDK Agent Platform per Python indipendente dal framework che puoi utilizzare. (vedi: Container predefiniti per TensorFlow, scikit-learn, PyTorch, XGBoost).
Modelli e concetti di dati
Gemini Enterprise Agent Platform Experiments è un contesto
in Agent Platform ML Metadata in cui un esperimento
può contenere n esecuzioni di esperimenti oltre a n esecuzioni di pipeline. Un'esecuzione di esperimento
è costituita da parametri, metriche di riepilogo, metriche delle serie temporali e
PipelineJob, Artifact,
e Execution risorse di Gemini Enterprise Agent Platform.
Vertex AI TensorBoard, una
versione gestita di TensorBoard open source, viene utilizzata per l'archiviazione delle metriche delle serie temporali. Le esecuzioni e gli artefatti di un'esecuzione di pipeline sono visualizzabili
nella Google Cloud console.
Termini di Agent Platform Experiments
Esperimento, esecuzione di esperimento ed esecuzione di pipeline
Esperimento
- Un esperimento è un contesto che può contenere un insieme di n esecuzioni di esperimenti oltre alle esecuzioni di pipeline in cui un utente può esaminare, come gruppo, diverse configurazioni come artefatti di input o iperparametri.
Esecuzione esperimento
- Un'esecuzione specifica e monitorabile all'interno di un esperimento Vertex AI, che registra gli input (come algoritmo, parametri e set di dati) e gli output (come modelli, checkpoint e metriche) per monitorare e confrontare le iterazioni di sviluppo ML. Per saperne di più, consulta Creare e gestire le esecuzioni di esperimenti.
Esecuzione pipeline
- A un esperimento possono essere associati uno o più PipelineJob di Vertex, in cui ogni PipelineJob è rappresentato come una singola esecuzione. In questo contesto, i parametri dell'esecuzione vengono dedotti dai parametri del PipelineJob. Le metriche vengono dedotte dagli artefatti system.Metric prodotti da PipelineJob. Gli artefatti dell'esecuzione vengono dedotti dagli artefatti prodotti da PipelineJob.
ExperimentRun possono essere associate una o più risorse PipelineJob di Gemini Enterprise Agent Platform.
In questo contesto, i parametri, le metriche e gli artefatti non vengono dedotti.
Consulta Associa una pipeline a un esperimento.
Parametri e metriche
Consulta Registra i parametri.
Metriche di riepilogo
- Le metriche di riepilogo sono un singolo valore per ogni chiave di metrica in un'esecuzione di esperimento. Ad esempio, l'accuratezza del test di un esperimento è l'accuratezza calcolata rispetto a un set di dati di test alla fine dell'addestramento che può essere acquisita come metrica di riepilogo a valore singolo.
Consulta Registra le metriche di riepilogo.
Metriche delle serie temporali
- Le metriche delle serie temporali sono valori di metriche longitudinali in cui ogni valore rappresenta un passaggio nella parte della routine di addestramento di un'esecuzione. Le metriche delle serie temporali vengono archiviate in Vertex AI TensorBoard. Vertex AI Experiments archivia un riferimento alla risorsa Vertex TensorBoard.
Consulta Registra le metriche delle serie temporali.
Tipi di risorse
Job di pipeline
- Un job di pipeline o un'esecuzione di pipeline corrisponde alla risorsa PipelineJob nell'API Vertex AI. È un'istanza di esecuzione della definizione della pipeline ML, definita come un insieme di attività ML interconnesse da dipendenze di input-output.
Elemento
- Un artefatto è un'entità discreta o un insieme di dati prodotti e utilizzati da un flusso di lavoro di machine learning. Esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.
Agent Platform Experiments ti consente di utilizzare uno schema per definire il tipo di artefatto. Ad esempio, i tipi di schema supportati includono system.Dataset, system.Model e system.Artifact. Per saperne di più, consulta
Schemi di sistema.