Confrontare e analizzare le corse

Puoi utilizzare l'SDK Agent Platform per Python per visualizzare i dati delle esecuzioni di Vertex AI Experiments e confrontare le esecuzioni.

• Recupera i dati delle esecuzioni
• Confronta le esecuzioni

La Google Cloud console fornisce una visualizzazione dei dati associati a queste esecuzioni.

• Visualizza i dati delle esecuzioni dell'esperimento
• Confronta le esecuzioni dell'esperimento

Recupera i dati delle esecuzioni dell'esperimento

Questi esempi riguardano il recupero delle metriche di esecuzione, dei parametri di esecuzione, delle metriche delle serie di runtime, degli artefatti e delle metriche di classificazione per una particolare esecuzione dell'esperimento.

Metriche di riepilogo

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

• run_name: specifica il nome di esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• project: . Puoi trovarli nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Parametri

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

• run_name: specifica il nome di esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• project: . Puoi trovarli nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Metriche delle serie temporali

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

• run_name: specifica il nome di esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• project: . Puoi trovarli nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Artefatti

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

• run_name: specifica il nome di esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• project: . Puoi trovarli nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Metriche di classificazione

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

• run_name: specifica il nome di esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• project: . Puoi trovarli nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Confronta le esecuzioni

Utilizzando l'SDK Agent Platform per Python, puoi recuperare i dati associati al tuo esperimento. I dati delle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

Confronta le esecuzioni

I dati delle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

• experiment_name: fornisci un nome per l'esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• project: . Puoi trovare questi ID nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Google Cloud Console

Utilizza la Google Cloud console per visualizzare i dettagli delle esecuzioni dell'esperimento e confrontarle tra loro.

Visualizza i dati delle esecuzioni dell'esperimento

1. Nella Google Cloud console, vai alla pagina Esperimenti.
   Vai a Esperimenti.
   Viene visualizzato un elenco degli esperimenti associati a un progetto.
2. Seleziona l'esperimento contenente l'esecuzione che vuoi controllare.
   Viene visualizzato un elenco di esecuzioni, grafici dei dati delle serie temporali e una tabella di dati di metriche e parametri. Tieni presente che, in questo caso, sono selezionate tre esecuzioni, ma nei grafici dei dati delle serie temporali vengono visualizzate solo due righe. Non è presente una terza riga perché la terza esecuzione dell'esperimento non ha dati delle serie temporali da visualizzare.
   
   
3. Fai clic sul nome dell'esecuzione per passare alla pagina dei dettagli.
   
   Vengono visualizzati la barra di navigazione e i grafici dei dati delle serie temporali.
   
4. Per visualizzare metriche, parametri, artefatti e dettagli dell'esecuzione selezionata, fai clic sui rispettivi pulsanti nella barra di navigazione.
   • Metriche
     
   • Parametri
     
   • Artefatti
     
     Per visualizzare la derivazione degli artefatti, fai clic sul link Apri l'artefatto nell'archivio metadati. Viene visualizzato il grafico di derivazione associato all'esecuzione.
     
   • Dettagli
     

Per condividere i dati con altri utenti, utilizza gli URL associati alle visualizzazioni. Ad esempio, condividi l'elenco delle esecuzioni dell'esperimento associate a un esperimento:

Confronta le esecuzioni dell'esperimento

Puoi selezionare le esecuzioni da confrontare sia all'interno di un esperimento sia tra esperimenti.

1. Nella Google Cloud console, vai alla pagina Esperimenti.
   Vai a Esperimenti.
   Viene visualizzato un elenco degli esperimenti.
2. Seleziona l'esperimento contenente le esecuzioni che vuoi confrontare. Viene visualizzato un elenco di esecuzioni.
3. Seleziona le esecuzioni dell'esperimento che vuoi confrontare. Fai clic su Confronta.
   
   Per impostazione predefinita, vengono visualizzati i grafici che confrontano le metriche delle serie temporali delle esecuzioni dell'esperimento selezionate.
4. Per aggiungere altre esecuzioni da qualsiasi esperimento nel tuo progetto, fai clic su Aggiungi esecuzione.

Per condividere i dati con altri utenti, utilizza gli URL associati alle visualizzazioni. Ad esempio, condividi la visualizzazione di confronto dei dati delle metriche delle serie temporali:

Per scoprire come aggiornare lo stato di un'esecuzione, consulta Creare e gestire le esecuzioni dell'esperimento.

Passaggi successivi

• Monitora le esecuzioni e gli artefatti