Valuta i modelli di previsione AutoML

Questa pagina mostra come valutare i modelli di previsione AutoML utilizzando le metriche di valutazione del modello. Queste metriche forniscono misure quantitative del rendimento del modello sul set di test. L'interpretazione e l'utilizzo di queste metriche dipendono dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio, potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi o viceversa. Questi tipi di domande influiscono sulle metriche su cui ti concentri.

Prima di iniziare

Prima di poter valutare un modello, devi addestrarlo e attendere il completamento dell'addestramento.

Utilizza la console o l'API per controllare lo stato del job di addestramento.

Google Cloud Console

1. Nella Google Cloud console, nella sezione Agent Platform, vai a the Addestramento page.

   Vai alla pagina Addestramento

2. Se lo stato del job di addestramento è "Addestramento", continua ad attendere il completamento del job. Se lo stato del job di addestramento è "Completato", puoi iniziare la valutazione del modello.

API

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

• LOCATION: regione in cui è memorizzato il modello.
• PROJECT: il tuo [ID progetto](/resource-manager/docs/creating-managing-projects#identifiers). .
• TRAINING_PIPELINE_ID: ID della pipeline di addestramento.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Per inviare la richiesta, scegli una di queste opzioni:

curl

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

Recuperare le metriche di valutazione

Puoi ottenere un insieme aggregato di metriche di valutazione per il tuo modello. I seguenti contenuti descrivono come ottenere queste metriche utilizzando la Google Cloud console o l'API.

Google Cloud Console

1. Nella Google Cloud console, nella sezione Agent Platform, vai a la pagina Modelli.

   Vai alla pagina Modelli

2. Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.

3. Seleziona il modello dall'elenco dei modelli.

4. Seleziona il numero di versione del modello.

5. Nella scheda Valuta, puoi visualizzare le metriche di valutazione aggregate del modello.

API

Per visualizzare le metriche di valutazione aggregate del modello, utilizza il projects.locations.models.evaluations.get metodo.

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

• LOCATION: regione in cui è memorizzato il modello.
• PROJECT: il tuo [ID progetto](/resource-manager/docs/creating-managing-projects#identifiers). .
• MODEL_ID: l'ID della risorsa modello. Il MODEL_ID viene visualizzato nella pipeline di addestramento al termine dell'addestramento del modello. Fai riferimento alla Prima di iniziare sezione per ottenere il MODEL_ID.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Per inviare la richiesta, scegli una di queste opzioni:

curl

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

Metriche di valutazione del modello

Un file di schema determina le metriche di valutazione fornite da Agent Platform per ogni obiettivo.

Puoi visualizzare e scaricare i file di schema dalla seguente posizione di Cloud Storage location:
gs://google-cloud-aiplatform/schema/modelevaluation/

Le metriche di valutazione per i modelli di previsione sono:

• MAE: l'errore medio assoluto (MAE) è la differenza media assoluta tra i valori target e i valori previsti. Questa metrica va da zero a infinito e un valore inferiore corrisponde a un modello di qualità superiore.
• MAPE: l'errore percentuale assoluto medio (MAPE, Mean Absolute Percentage Error) corrisponde alla differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica va da zero a infinito, dove un valore più basso indica un modello di qualità migliore.
  Se la colonna di destinazione non contiene nessun valore, il MAPE non viene mostrato. In questo caso, il MAPE non è definito.
• RMSE: l'errore quadratico medio è la radice quadrata della media dei quadrati delle differenze tra i valori target e quelli previsti. L'RMSE è più sensibile agli outlier rispetto al MAE. Di conseguenza,se la preoccupazione principale riguarda gli errori di grande entità, l'RMSE può essere una metrica più utile da valutare. In modo simile al MAE, un valore minore indica un modello di qualità migliore (0 rappresenta un predittore perfetto).
• RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, tranne per il fatto che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. L'RMSLE penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. Può anche essere una buona metrica quando non vuoi penalizzare le differenze per valori di previsione elevati più di quanto non faresti per valori di previsione bassi. Questa metrica va da zero a infinito e un valore inferiore corrisponde a un modello di qualità superiore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
• r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va da zero a uno. Un valore più alto indica una maggiore aderenza alla retta di regressione.
• Quantile: il quantile percentuale, che indica la probabilità che un valore osservato sia inferiore al valore previsto. Ad esempio, al quantile 0,2, i valori osservati dovrebbero essere inferiori ai valori previsti nel 20% dei casi. Agent Platform fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
• Quantile osservato: mostra la percentuale di valori effettivi inferiori al valore previsto per un determinato quantile. Agent Platform fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
• Perdita di pinball scalata: la perdita di pinball scalata a un determinato quantile. Un valore inferiore indica un modello di qualità superiore al quantile specificato. Agent Platform fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
• Attribuzioni delle funzionalità del modello: Agent Platform mostra l'impatto di ciascuna funzionalità su un modello. I valori sono forniti sotto forma percentuale per ogni funzionalità: più alta è la percentuale, maggiore è l'impatto della funzionalità sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le funzionalità più importanti siano pertinenti per i tuoi dati e il tuo problema aziendale. Per scoprire di più, consulta Attribuzioni delle funzionalità per la previsione.

Passaggi successivi

• Ottieni inferenze dal modello di previsione.