Una parte fondamentale del metodo scientifico è la registrazione sia delle osservazioni sia dei parametri di un esperimento. Nella data science, è anche fondamentale monitorare i parametri, gli artefatti e le metriche utilizzati in un esperimento di machine learning (ML). Questi metadati ti aiutano a:
- Analizzare le esecuzioni di un sistema ML di produzione per comprendere le variazioni nella qualità delle previsioni.
- Analizzare gli esperimenti di ML per confrontare l'efficacia di diversi set di iperparametri.
- Monitorare la derivazione degli artefatti ML, ad esempio set di dati e modelli, per comprendere esattamente cosa ha contribuito alla creazione di un artefatto o come è stato utilizzato per creare artefatti discendenti.
- Eseguire di nuovo un flusso di lavoro ML con gli stessi artefatti e parametri.
- Monitorare l'utilizzo a valle degli artefatti ML per scopi di governance.
I metadati ML di Agent Platform ti consentono di registrare i metadati e gli artefatti prodotti dal tuo sistema ML ed eseguire query su questi metadati per analizzare, eseguire il debug e controllare il rendimento del tuo sistema ML o degli artefatti che produce.
I metadati ML di Agent Platform si basano sui concetti utilizzati nella libreria open source ML Metadata (MLMD) sviluppata dal team TensorFlow Extended di Google.
Panoramica dei metadati ML di Agent Platform
I metadati ML di Agent Platform acquisiscono i metadati del tuo sistema ML come un grafico.
Nel grafico dei metadati, gli artefatti e le esecuzioni sono nodi e gli eventi sono bordi che collegano gli artefatti come input o output delle esecuzioni. I contesti rappresentano sottografi utilizzati per raggruppare logicamente set di artefatti ed esecuzioni.
Puoi applicare i metadati delle coppie chiave-valore ad artefatti, esecuzioni e contesti. Ad esempio, un modello potrebbe avere metadati che descrivono il framework utilizzato per addestrare il modello e le metriche di rendimento, come accuratezza, precisione e richiamo del modello.
Scopri di più sul monitoraggio dei metadati del tuo sistema ML. Se ti interessa analizzare i metadati di Agent Platform Pipelines, consulta questo tutorial passo passo.
Derivazione degli artefatti ML
Per comprendere le variazioni nel rendimento del tuo sistema ML, devi essere in grado di analizzare i metadati prodotti dal tuo flusso di lavoro ML e la derivazione dei suoi artefatti. La derivazione di un artefatto include tutti i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati che discendono da questo artefatto.
Ad esempio, la derivazione di un modello potrebbe includere i seguenti elementi:
- I dati di addestramento, test e valutazione utilizzati per creare il modello.
- Gli iperparametri utilizzati durante l'addestramento del modello.
- Il codice utilizzato per addestrare il modello.
- I metadati registrati dal processo di addestramento e valutazione, come l'accuratezza del modello.
- Gli artefatti che discendono da questo modello, come i risultati delle previsioni batch.
Monitorando i metadati del tuo sistema ML utilizzando i metadati ML di Agent Platform, puoi rispondere a domande come le seguenti:
- Quale set di dati è stato utilizzato per addestrare un determinato modello?
- Quali modelli della mia organizzazione sono stati addestrati utilizzando un determinato set di dati?
- Quale esecuzione ha prodotto il modello più accurato e quali iperparametri sono stati utilizzati per addestrare il modello?
- A quali target di deployment è stato eseguito il deployment di un determinato modello e quando?
- Quale versione del tuo modello è stata utilizzata per creare una previsione in un determinato momento?
Scopri di più su l'analisi dei metadati del tuo sistema ML.