Valutare i modelli utilizzando Agent Platform

Questa pagina descrive come valutare i modelli utilizzando Gemini Enterprise Agent Platform. Per una panoramica, consulta Valutazione del modello in Agent Platform.

Prerequisiti

  1. Segui i passaggi descritti in Configurare un progetto e un ambiente di sviluppo. Inoltre, attiva i seguenti servizi:

  2. Agent Platform può valutare i modelli addestrati tramite AutoML o addestramento personalizzato. Per la Google Cloud console guida, devi aver importato un modello addestrato in Gemini Enterprise Agent Platform Model Registry.

  3. Carica il set di dati di test in BigQuery o Cloud Storage. Il set di dati di test deve contenere la verità di base, ovvero il risultato effettivo previsto per un'inferenza. Ottieni il link al file o l'ID del set di dati.

  4. Disponi di un output di inferenza batch sotto forma di una tabella BigQuery o URI Cloud Storage.

  5. Assicurati che il service account Compute Engine predefinito disponga delle seguenti autorizzazioni IAM:

    • Agent Platform Administrator (aiplatform.admin)
    • Agent Platform Service Agent (aiplatform.serviceAgent)
    • Storage Object Admin (storage.objectAdmin)
    • Dataflow Worker (dataflow.worker)
    • BigQuery Data Editor (bigquery.dataEditor) (obbligatorio solo se fornisci i dati sotto forma di tabelle BigQuery)

Crea una valutazione

Console

  1. Nella Google Cloud console, vai alla pagina Modelli di Gemini Enterprise Agent Platform.

    Vai alla pagina Modelli

  2. Fai clic sul nome del modello da valutare.

  3. Fai clic sul numero di versione del modello.

  4. Nella scheda Valuta, fai clic su Crea valutazione.

  5. Inserisci un nome della valutazione.

  6. Seleziona un obiettivo, ad esempio classificazione o regressione.

  7. Inserisci il nome della colonna di destinazione della valutazione, ovvero la colonna dei dati di addestramento che il modello è addestrato a prevedere.

  8. In Seleziona origine, seleziona l'origine del set di dati di test.

    1. In Tabella BigQuery, inserisci il percorso BigQuery.

    2. Per File in Cloud Storage, inserisci il percorso Cloud Storage.

  9. In Output di previsioni in batch, seleziona un formato di output.

    1. Inserisci il percorso BigQuery o l'URI Cloud Storage.

  10. Fai clic su Inizia valutazione.

Python

Per visualizzare il workflow di valutazione del modello dell'API Agent Platform in Gemini Enterprise Agent Platform Pipelines, consulta i notebook di esempio per i seguenti tipi di modelli:

SDK Python

L'SDK per la valutazione dei modelli con Agent Platform è in versione sperimentale. Per registrarti alla versione sperimentale, compila il modulo di onboarding.

Agent Platform invia automaticamente una notifica via email al termine di un job di valutazione del modello.

Visualizza le metriche di valutazione

Console

  1. Nella Google Cloud console, vai alla pagina Modelli di Gemini Enterprise Agent Platform.

    Vai alla pagina Modelli

  2. Vai alla versione del modello.

  3. Visualizza le metriche nella scheda Valuta.

Python

Per visualizzare il workflow di valutazione del modello dell'API Agent Platform in Gemini Enterprise Agent Platform Pipelines, consulta i notebook di esempio per i seguenti tipi di modelli:

SDK Python

L'SDK per la valutazione dei modelli con Agent Platform è in versione sperimentale. Per registrarti alla versione sperimentale, compila il modulo di onboarding.

Confronta le metriche di valutazione

Puoi confrontare i risultati della valutazione tra modelli, versioni dei modelli e job di valutazione diversi. Per ulteriori informazioni sul controllo delle versioni dei modelli, consulta Controllo delle versioni in Model Registry.

Puoi confrontare solo modelli dello stesso tipo, ad esempio classificazione, regressione o previsione. Quando confronti modelli diversi, tutte le versioni dei modelli devono essere dello stesso tipo.

Puoi confrontare al massimo 5 valutazioni alla volta.

  1. Vai a Gemini Enterprise Agent Platform Model Registry nella Google Cloud console:

    Vai alla pagina Modelli

  2. Vai al modello o alla versione del modello:

    • Per confrontare modelli diversi nella pagina Modelli, seleziona le caselle di controllo accanto ai nomi dei modelli da confrontare.

    • Per confrontare versioni di modelli diverse:

      1. Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.

      2. Seleziona le caselle di controllo accanto alle versioni da confrontare.

    • Per confrontare i job di valutazione per la stessa versione del modello:

      1. Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.

      2. Fai clic sul numero di versione.

      3. Seleziona le caselle di controllo accanto ai job di valutazione da confrontare.

  3. Fai clic su Confronta.

Passaggi successivi