Compare e analise corridas

Pode usar o SDK Vertex AI para Python para ver os dados de execuções do Vertex AI Experiments e comparar as execuções.

A Google Cloud consola fornece uma visualização dos dados associados a estas execuções.

Obtenha dados de execuções de experiências

Estas amostras envolvem a obtenção de métricas de execução, parâmetros de execução, métricas de séries de tempo de execução, artefactos e métricas de classificação para uma execução de experiência específica.

Métricas de resumo

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

Parâmetros

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

Métricas de intervalos temporais

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

Artefactos

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

Métricas de classificação

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

Compare execuções

Com o SDK da Vertex AI para Python, pode obter os dados associados à sua experiência. Os dados das execuções da experiência são devolvidos num DataFrame.

Compare execuções

Os dados das execuções da experiência são devolvidos num DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df
  • experiment_name: indique um nome para a experiência. Pode encontrar a sua lista de experiências na Google Cloud consola selecionando Experiências na navegação da secção.
  • project: . Pode encontrar estes IDs na página de Google Cloud boas-vindas da consola.
  • location: consulte a lista de localizações disponíveis.

Google Cloud consola

Use a Google Cloud consola para ver detalhes das suas execuções de experiências e comparar as execuções de experiências entre si.

Veja os dados de execução da experiência

  1. Na Google Cloud consola, aceda à página Experiências.
    Aceda a Experiências.
    É apresentada uma lista de experiências associadas a um projeto.
  2. Selecione a experiência que contém a execução que quer verificar.
    É apresentada uma lista de execuções, gráficos de dados de intervalos temporais e uma tabela de dados de métricas e parâmetros. Repare que, neste caso, estão selecionadas três execuções, mas apenas aparecem duas linhas nos gráficos de dados de séries cronológicas. Não existe uma terceira linha porque a terceira execução da experiência não tem dados de séries cronológicas para apresentar.
    Lista de execuções, dados de séries cronológicas e tabela de métricas e parâmetros do Vertex AI
  3. Clique no nome da publicação para navegar para a respetiva página de detalhes.
    Navegação na execução da experiência do Vertex AI
    Aparecem a barra de navegação e os gráficos de dados de séries cronológicas.
    Barra de navegação do Vertex AI com gráficos de dados de séries cronológicas
  4. Para ver as métricas, os parâmetros, os artefactos e os detalhes da execução selecionada, clique nos respetivos botões na barra de navegação.
    • Métricas
      Métricas de execução de experiências do Vertex AI
    • Parâmetros
      Parâmetros de execução da experiência do Vertex AI
    • Artefactos
      Artefactos de execução de experiências do Vertex AI
      Para ver a linhagem de artefactos, clique no link Abrir artefacto no Metadata Store. É apresentado o gráfico de linhagem associado à execução.
      Gráfico de linhagem de artefactos da Vertex AI
    • Detalhes
      Detalhes da execução da experiência do Vertex AI

Para partilhar os dados com outras pessoas, use os URLs associados às vistas. Por exemplo, partilhe a lista de execuções de experiências associadas a uma experiência:

Vertex AI share list of runs

Compare execuções de experiências

Pode selecionar execuções para comparar numa experiência e entre experiências.

  1. Na Google Cloud consola, aceda à página Experiências.
    Aceda a Experiências.
    É apresentada uma lista de experiências.
  2. Selecione a experiência que contém as execuções que quer comparar. É apresentada uma lista de execuções. Lista de execuções do Vertex AI
  3. Selecione as execuções de experiências que quer comparar. Clique em Comparar.
    Vertex AI select runs
    Por predefinição, os gráficos comparam as métricas de séries de tempos das execuções de experiências selecionadas. Gráficos de execução do Vertex AI
  4. Para adicionar execuções adicionais de qualquer experiência no seu projeto, clique em Adicionar execução. Adicione execuções do Vertex AI

Para partilhar os dados com outras pessoas, use os URLs associados às vistas. Por exemplo, partilhe a vista de comparação dos dados de métricas de séries cronológicas:

Partilhe dados do Vertex AI

Consulte o artigo Crie e faça a gestão de execuções de experiências para saber como atualizar o estado de uma execução.

O que se segue?