Utilizza la console Google Cloud per controllare il rendimento del modello. Analizza gli errori di test per migliorare in modo iterativo la qualità del modello correggendo i problemi relativi ai dati.
Questo tutorial è composto da più pagine:
Crea un set di dati di classificazione delle immagini e importa le immagini.
Valuta e analizza le prestazioni del modello.
Esegui il deployment di un modello in un endpoint e invia una previsione.
Ogni pagina presuppone che tu abbia già eseguito le istruzioni delle pagine precedenti del tutorial.
1. Informazioni sui risultati della valutazione del modello AutoML
Al termine dell'addestramento, il modello viene valutato automaticamente in base alla suddivisione dei dati di test. I risultati della valutazione corrispondenti vengono visualizzati facendo clic sul nome del modello nella pagina Registro dei modelli o nella pagina Set di dati.
Da qui, puoi trovare le metriche per misurare le prestazioni del modello.
Puoi trovare un'introduzione più dettagliata alle diverse metriche di valutazione nella sezione Valuta, testa ed esegui il deployment del modello.
2. Analizzare i risultati del test
Se vuoi continuare a migliorare le prestazioni del modello, il primo passo è spesso esaminare i casi di errore e indagare sulle potenziali cause. La pagina di valutazione di ogni classe presenta immagini di test dettagliate della classe specifica classificate come falsi negativi, falsi positivi e veri positivi. La definizione di ogni categoria è disponibile nella sezione Valuta, testa ed esegui il deployment del modello.
Per ogni immagine in ogni categoria, puoi controllare ulteriormente i dettagli della previsione facendo clic sull'immagine e accedere ai risultati dell'analisi dettagliata. Sul lato destro della pagina vedrai il riquadro Esamina immagini simili, in cui vengono presentati gli esempi più vicini del set di addestramento con distanze misurate nello spazio delle funzionalità.
Esistono due tipi di problemi relativi ai dati a cui potresti prestare attenzione:
Incoerenza delle etichette. Se un campione visivamente simile del set di addestramento ha etichette diverse dal campione di test, è possibile che una delle etichette sia errata o che la sottile differenza richieda più dati per l'apprendimento del modello o che le etichette di classe attuali non siano sufficientemente accurate per descrivere il campione specificato. L'esame di immagini simili può aiutarti a ottenere informazioni accurate sulle etichette correggendo i casi di errore o escludendo il campione problematico dal set di test. Puoi modificare comodamente l'etichetta dell'immagine di test o delle immagini di addestramento nel riquadro Esamina immagini simili nella stessa pagina.
Valori anomali. Se un campione di test viene contrassegnato come outlier, è possibile che nel set di addestramento non siano presenti campioni visivamente simili per addestrare il modello. L'esame di immagini simili del set di addestramento può aiutarti a identificare questi campioni e ad aggiungere immagini simili al set di addestramento per migliorare ulteriormente le prestazioni del modello in questi casi.
Passaggi successivi
Se le prestazioni del modello ti soddisfano, segui le istruzioni riportate nella pagina successiva di questo tutorial per eseguire il deployment del modello AutoML addestrato in un endpoint e inviare un'immagine al modello per la previsione. In caso contrario, se apporti correzioni ai dati, addestra un nuovo modello utilizzando l'esercitazione Addestramento di un modello di classificazione delle immagini AutoML.