Valutare un modello giudice

Per le metriche basate su modelli, Gemini Enterprise Agent Platform Evals valuta i tuoi modelli con un modello di base, come Gemini, che è stato configurato e richiesto come modello di valutazione. Se vuoi saperne di più sul modello di valutazione, la serie di personalizzazione avanzata del modello di valutazione descrive strumenti aggiuntivi che puoi utilizzare per valutare e configurare il modello di valutazione.

Per il flusso di lavoro di valutazione di base, consulta la guida rapida alle valutazioni dell'AI generativa. La serie di personalizzazione avanzata del modello di valutazione include le seguenti pagine:

  1. Valuta un modello di valutazione (pagina corrente)
  2. Configura un modello di valutazione

Panoramica

L'utilizzo di valutatori umani per valutare i modelli linguistici di grandi dimensioni (LLM) può essere costoso e richiedere molto tempo. L'utilizzo di un modello di valutazione è un modo più scalabile per valutare gli LLM. Le valutazioni dell'AI generativa utilizzano un modello Gemini configurato come modello di valutazione, con prompt personalizzabili per valutare il modello per vari casi d'uso.

Le sezioni seguenti mostrano come valutare un modello di giudice personalizzato per il tuo caso d'uso ideale.

Prepara il set di dati

Per valutare le metriche basate su modelli, prepara un set di dati di valutazione con le valutazioni umane come dati di fatto. L'obiettivo è confrontare i punteggi delle metriche basate su modelli con le valutazioni umane e verificare se le metriche basate su modelli hanno la qualità ideale per il tuo caso d'uso.

  • Per PointwiseMetric, prepara la colonna {metric_name}/human_rating nel set di dati come dato di fatto per il risultato {metric_name}/score generato dalle metriche basate su modelli.

  • Per PairwiseMetric, prepara la colonna {metric_name}/human_pairwise_choice nel set di dati come dato di fatto per il risultato {metric_name}/pairwise_choice generato dalle metriche basate su modelli.

Utilizza il seguente schema del set di dati:

Metrica basata su modello Colonna Valutazione umana
PointwiseMetric {metric_name}/human_rating
PairwiseMetric {metric_name}/human_pairwise_choice

Metriche disponibili

Per un PointwiseMetric che restituisce solo 2 punteggi (ad esempio 0 e 1) e un PairwiseMetric che ha solo 2 tipi di preferenza (Modello A o Modello B), sono disponibili le seguenti metriche:

Metrica Calcolo
Accuratezza bilanciata a 2 classi \( (1/2)*(True Positive Rate + True Negative Rate) \)
Punteggio F1 bilanciato a 2 classi \( ∑_{i=0,1} (cnt_i/sum) * f1(class_i) \)
Matrice di confusione Utilizza i campi confusion_matrix e confusion_matrix_labels per calcolare metriche come la percentuale di veri positivi (TPR), la percentuale di veri negativi (TNR), la percentuale di falsi positivi (FPR) e la percentuale di falsi negativi (FNR).

Ad esempio, il seguente risultato: 
confusion_matrix = [[20, 31, 15],
    [10, 11,  3],
   [ 3,  2,  2]]
confusion_matrix_labels = ['BASELINE', 'CANDIDATE', 'TIE']
 si traduce nella seguente matrice di confusione: 
             BASELINE |  CANDIDATE | TIE
   BASELINE.    20         31        15
   CANDIDATE.   10         11         3
   TIE.         3           2         2 |

Per un PointwiseMetric che restituisce più di 2 punteggi (ad esempio da 1 a 5) e un PairwiseMetric che ha più di 2 tipi di preferenza (Modello A, Modello B o Pareggio), sono disponibili le seguenti metriche:

Metrica Calcolo
Accuratezza bilanciata multiclasse \( (1/n) *∑_{i=1...n}(recall(class_i)) \)
Punteggio F1 bilanciato per più classi \( ∑_{i=1...n} (cnt_i/sum) * f1(class_i) \)

Dove:

  • \( f1 = 2 * precision * recall / (precision + recall) \)

    • \( precision = True Positives / (True Positives + False Positives) \)

    • \( recall = True Positives / (True Positives + False Negatives) \)

  • \( n \) : il numero di classi

  • \( cnt_i \) : numero di \( class_i \) nei dati di fatto

  • \( sum \): numero di elementi nei dati di fatto

Per calcolare altre metriche, puoi utilizzare librerie open source.

Valuta la metrica basata su modello

L'esempio seguente aggiorna la metrica basata su modello con una definizione personalizzata di fluidità, quindi valuta la qualità della metrica.

from vertexai.preview.evaluation import {
   AutoraterConfig,
   PairwiseMetric,
}
from vertexai.preview.evaluation.autorater_utils import evaluate_autorater


# Step 1: Prepare the evaluation dataset with the human rating data column.
human_rated_dataset = pd.DataFrame({
  "prompt": [PROMPT_1, PROMPT_2],
    "response": [RESPONSE_1, RESPONSE_2],
  "baseline_model_response": [BASELINE_MODEL_RESPONSE_1, BASELINE_MODEL_RESPONSE_2],
    "pairwise_fluency/human_pairwise_choice": ["model_A", "model_B"]
})

# Step 2: Get the results from model-based metric
pairwise_fluency = PairwiseMetric(
    metric="pairwise_fluency",
    metric_prompt_template="please evaluate pairwise fluency..."
)

eval_result = EvalTask(
    dataset=human_rated_dataset,
    metrics=[pairwise_fluency],
).evaluate()

# Step 3: Calibrate model-based metric result and human preferences.
# eval_result contains human evaluation result from human_rated_dataset.
evaluate_autorater_result = evaluate_autorater(
  evaluate_autorater_input=eval_result.metrics_table,
  eval_metrics=[pairwise_fluency]
)

Passaggi successivi