Valutare i modelli utilizzando Agent Platform

Questa pagina descrive come valutare i modelli utilizzando Gemini Enterprise Agent Platform. Per una panoramica, consulta Valutazione del modello in Agent Platform.

Prerequisiti

  1. Segui i passaggi illustrati in Configurazione di un progetto e di un ambiente di sviluppo. Inoltre, attiva i seguenti servizi:

  2. Agent Platform può valutare i modelli addestrati tramite AutoML o addestramento personalizzato. Per la guida alla console Google Cloud , devi aver importato un modello addestrato in Gemini Enterprise Agent Platform Model Registry.

  3. Carica il set di dati di test in BigQuery o Cloud Storage. Il set di dati di test deve contenere i dati empirici reali, ovvero il risultato effettivo previsto per un'inferenza. Ottieni il link al file o l'ID del set di dati.

  4. Avere un output dell'inferenza batch sotto forma di tabella BigQuery o URI Cloud Storage.

  5. Assicurati che il tuo service account Compute Engine predefinito disponga delle seguenti autorizzazioni IAM:

    • Agent Platform Administrator (aiplatform.admin)
    • Agent Platform Service Agent (aiplatform.serviceAgent)
    • Storage Object Admin (storage.objectAdmin)
    • Dataflow Worker (dataflow.worker)
    • BigQuery Data Editor (bigquery.dataEditor) (obbligatorio solo se fornisci i dati sotto forma di tabelle BigQuery)

Crea una valutazione

Console

  1. Nella console Google Cloud , vai alla pagina Modelli di Gemini Enterprise Agent Platform.

    Vai alla pagina Modelli

  2. Fai clic sul nome del modello da valutare.

  3. Fai clic sul numero di versione del modello.

  4. Nella scheda Valuta, fai clic su Crea valutazione.

  5. Inserisci un nome della valutazione.

  6. Seleziona un obiettivo, ad esempio classificazione o regressione.

  7. Inserisci il nome della colonna target di valutazione, ovvero la colonna dei dati di addestramento che il modello è addestrato a prevedere.

  8. Per Seleziona origine, seleziona l'origine del set di dati di test.

    1. In Tabella BigQuery, inserisci il percorso BigQuery.

    2. In File su Cloud Storage, inserisci il percorso Cloud Storage.

  9. Per Output di previsioni in batch, seleziona un formato di output.

    1. Inserisci il percorso BigQuery o l'URI Cloud Storage.

  10. Fai clic su Inizia valutazione.

Python

Per visualizzare il flusso di lavoro di valutazione del modello dell'API Agent Platform in Gemini Enterprise Agent Platform Pipelines, consulta i notebook di esempio per i seguenti tipi di modello:

SDK Python

L'SDK per la valutazione dei modelli con Agent Platform è in versione sperimentale. Per registrarti alla versione sperimentale, compila il modulo di onboarding.

Agent Platform invia automaticamente una notifica via email quando un job di valutazione del modello viene completato.

Visualizzare le metriche di valutazione

Console

  1. Nella console Google Cloud , vai alla pagina Modelli di Gemini Enterprise Agent Platform.

    Vai alla pagina Modelli

  2. Vai alla versione del modello.

  3. Visualizza le metriche nella scheda Valuta.

Python

Per visualizzare il flusso di lavoro di valutazione del modello dell'API Agent Platform in Gemini Enterprise Agent Platform Pipelines, consulta i notebook di esempio per i seguenti tipi di modello:

SDK Python

L'SDK per la valutazione dei modelli con Agent Platform è in versione sperimentale. Per registrarti alla versione sperimentale, compila il modulo di onboarding.

Confrontare le metriche di valutazione

Puoi confrontare i risultati della valutazione tra diversi modelli, versioni dei modelli e job di valutazione. Per saperne di più sul controllo delle versioni del modello, consulta Controllo delle versioni in Model Registry.

Puoi confrontare solo modelli dello stesso tipo, ad esempio classificazione, regressione o previsione. Quando confronti modelli diversi, tutte le versioni del modello devono essere dello stesso tipo.

Puoi confrontare solo 5 o meno valutazioni alla volta.

  1. Vai a Model Registry di Gemini Enterprise Agent Platform nella console Google Cloud :

    Vai alla pagina Modelli

  2. Vai al modello o alla versione del modello:

    • Per confrontare diversi modelli nella pagina Modelli, seleziona le caselle di controllo accanto ai nomi dei modelli che vuoi confrontare.

    • Per confrontare diverse versioni del modello:

      1. Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.

      2. Seleziona le caselle di controllo accanto alle versioni che vuoi confrontare.

    • Per confrontare i job di valutazione per la stessa versione del modello:

      1. Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.

      2. Fai clic sul numero di versione.

      3. Seleziona le caselle di controllo accanto ai job di valutazione che vuoi confrontare.

  3. Fai clic su Confronta.

Passaggi successivi