Questa pagina descrive le metriche di valutazione del modello che puoi utilizzare per rilevare i pregiudizi del modello, che possono essere visualizzati nell'output di previsione del modello dopo l'addestramento. Per gli esempi e la notazione in questa pagina, utilizziamo un set di dati ipotetico di domande di ammissione all'università che descriviamo in dettaglio in Introduzione alla valutazione del modello per l'equità.
Per le descrizioni delle metriche generate dai dati di pre-addestramento, consulta Metriche dei pregiudizi dei dati.
Panoramica
Nel nostro set di dati di esempio per le domande di ammissione all'università, abbiamo 200 candidati dalla California nella slice 1 e 100 candidati dalla Florida nella slice 2. Dopo l'addestramento del modello, abbiamo le seguenti matrici di confusione:
| Candidati dalla California | Accettazioni (previste) | Rifiuti (previsti) |
|---|---|---|
| Accettazioni (dati di fatto) | 50 (vero positivo) | 10 (falso negativo) |
| Rifiuti (dati di fatto) | 20 (falso positivo) | 120 (vero negativo) |
| Candidati dalla Florida | Accettazioni (previste) | Rifiuti (previsti) |
|---|---|---|
| Accettazioni (dati di fatto) | 20 (vero positivo) | 0 (falso negativo) |
| Rifiuti (dati di fatto) | 30 (falso positivo) | 50 (vero negativo) |
In genere, puoi interpretare il segno della maggior parte delle metriche nel seguente modo:
Valore positivo: indica un potenziale pregiudizio a favore della slice 1 rispetto alla slice 2.
Valore zero: indica che non ci sono pregiudizi tra la slice 1 e la slice 2.
Valore negativo: indica un potenziale pregiudizio a favore della slice 2 rispetto alla slice 1.
Indichiamo quando questa regola non si applica a una metrica.
Differenza di accuratezza
La differenza di accuratezza misura la differenza di accuratezza tra la slice 1 e la slice 2:
((Veri positivi per la slice 1 + Veri negativi per la slice 1)/Numero totale di istanze per la slice 1) - ((Veri positivi per la slice 2 + Veri negativi per la slice 2)/Numero totale di istanze per la slice 2)
Nel nostro set di dati di esempio:
((50 accettazioni previste correttamente per la California + 120 rifiuti previsti correttamente per la California)/ 200 candidati dalla California) - ((20 accettazioni previste correttamente per la Florida + 50 rifiuti previsti correttamente per la Florida)/ 100 candidati dalla Florida) = 170/200 - 70/100 = 0,15
Il valore positivo della differenza di accuratezza indica che il modello è più accurato per i candidati dalla California rispetto ai candidati dalla Florida. Questo potrebbe indicare un potenziale pregiudizio a favore dei candidati dalla California.
Differenza nelle proporzioni positive nelle etichette previste (DPPPL)
La differenza nelle proporzioni positive nelle etichette previste (DPPPL) misura se il modello tende a fare previsioni positive in modo sproporzionato per una slice rispetto all'altra. DPPPL calcola la differenza nelle proporzioni positive nelle etichette previste, dove le proporzioni positive nelle etichette previste sono (risultati positivi previsti/numero totale di istanze) per una slice:
((Veri positivi per la slice 1 + Falsi positivi per la slice 1)/Numero totale di istanze per la slice 1) - ((Veri positivi per la slice 2 + Falsi positivi per la slice 2)/Numero totale di istanze per la slice 2)
Per il nostro set di dati di esempio:
((50 accettazioni previste correttamente per la California + 20 accettazioni previste in modo errato per la California)/ 200 candidati dalla California) - ((20 accettazioni previste correttamente per la Florida + 30 accettazioni previste in modo errato per la Florida)/ 100 candidati dalla Florida) = 70/200 - 50/100 = -0,15
Il valore negativo di DPPPL indica che il modello accetta in modo sproporzionato più candidati dalla Florida rispetto ai candidati dalla California.
Differenza di richiamo
La differenza di richiamo misura la differenza di richiamo tra la slice 1 e la slice 2, considerando solo i risultati positivi etichettati. La differenza di richiamo può anche essere chiamata Pari opportunità.
(Veri positivi per la slice 1/(Veri positivi per la slice 1 + Falsi negativi per la slice 1)) - (Veri positivi per la slice 2/(Veri positivi per la slice 2 + Falsi negativi per la slice 2))
Nel nostro set di dati di esempio:
(50 accettazioni previste correttamente per la California/(50 accettazioni previste correttamente per la California + 10 rifiuti previsti in modo errato per la California)) - (20 accettazioni previste correttamente per la Florida/(20 accettazioni previste correttamente per la Florida + 0 rifiuti previsti in modo errato per la Florida)) = 50/60 - 20/20 = -0,17
Il valore negativo indica che il modello è più efficace nel richiamare i candidati dalla Florida rispetto ai candidati dalla California. In altre parole, il modello tende a essere più accurato nelle decisioni di accettazione per i candidati dalla Florida rispetto a quelli dalla California.
Differenza di specificità
La differenza di specificità misura la differenza di specificità, nota anche come la percentuale di veri negativi, tra la slice 1 e la slice 2. Possiamo considerarla come la differenza di richiamo, ma per i risultati negativi etichettati:
(Veri negativi per la slice 1/(Veri negativi per la slice 1 + Falsi positivi per la slice 1)) - (Veri negativi per la slice 2/(Veri negativi per la slice 2 + Falsi positivi per la slice 2))
Nel nostro set di dati di esempio:
(120 rifiuti previsti correttamente per la California/(120 rifiuti previsti correttamente per la California + 20 accettazioni previste in modo errato per la California)) - (50 rifiuti previsti correttamente per la Florida/(50 rifiuti previsti correttamente per la Florida + 30 accettazioni previste in modo errato per la Florida)) = 120/140 - 50/80 = 0,23
Il valore positivo indica che, per i rifiuti delle domande, il modello ha un richiamo migliore per i candidati dalla California rispetto ai candidati dalla Florida. In altre parole, il modello tende a essere più corretto nelle decisioni di rifiuto per i candidati dalla California rispetto a quelli dalla Florida.
Differenza nel rapporto tra i tipi di errori
La differenza nel rapporto tra i tipi di errori misura la differenza nella distribuzione degli errori (falsi negativi e falsi positivi) tra la slice 1 e la slice 2. Il rapporto tra i tipi di errori viene calcolato come (falsi negativi (errore di tipo I)/falsi positivi (errore di tipo II)). La differenza nel rapporto tra i tipi di errori può anche essere chiamata Uguaglianza di trattamento.
(Falsi negativi per la slice 1/Falsi positivi per la slice 1) - (Falsi negativi per la slice 2/Falsi positivi per la slice 2)
Nel nostro set di dati di esempio:
(10 rifiuti previsti in modo errato per la California/20 accettazioni previste in modo errato per la California) - (0 rifiuti previsti in modo errato per la Florida/30 accettazioni previste in modo errato per la Florida) = (10/20 - 0/30) = 0,5
Sebbene il modello commetta 30 errori sia per i candidati dalla California sia per quelli dalla Florida, il valore positivo per la differenza nel rapporto tra i tipi di errori indica che il modello tende a prevedere in modo eccessivo i risultati positivi (falsi positivi più elevati) e quindi a prevedere in modo insufficiente i risultati negativi (errori di falsi negativi inferiori) per i candidati dalla California, rispetto ai candidati dalla Florida.
Il segno della differenza nel rapporto tra i tipi di errori può essere interpretato in genere come:
Valore positivo: indica che il modello commette in modo sproporzionato più errori di falsi positivi che errori di falsi negativi per la slice 1.
Valore zero: indica che il modello commette la stessa quantità di errori di falsi positivi per entrambe le slice.
Valore negativo: indica che il modello commette in modo sproporzionato più errori di falsi positivi che errori di falsi negativi per la slice 2.
Il segno di questa metrica non indica necessariamente un pregiudizio nel modello, perché la dannosità dei falsi negativi o dei falsi positivi dipende dall'applicazione del modello.
Passaggi successivi
Leggi il riferimento al componente della pipeline di valutazione del modello.
Scopri di più sulle metriche di equità in A Survey on Bias and Fairness in Machine Learning.