Introdução ao Gemini Enterprise Agent Platform Experiments

Os experimentos da Gemini Enterprise Agent Platform são uma ferramenta que ajuda a rastrear e analisar diferentes arquiteturas de modelo, hiperparâmetros e ambientes de treinamento, permitindo que você rastreie as etapas, as entradas e as saídas de uma execução de experimento. Os experimentos da Gemini Enterprise Agent Platform também podem avaliar o desempenho do modelo de forma agregada, em conjuntos de dados de teste e durante o treinamento. Você pode usar essas informações para selecionar o melhor modelo para seu caso de uso específico

As execuções de experimento não geram cobranças adicionais. Você só é cobrado pelos recursos usados durante o experimento, conforme descrito nos preços da Gemini Enterprise Agent Platform.

O que você quer fazer? Confira a amostra de notebook
acompanhar métricas e parâmetros Comparar modelos
monitorar linhagem do experimento Treinamento de modelo
rastrear execuções de pipeline Compare execuções de pipeline

Rastrear etapas, entradas e saídas

Os experimentos da Agent Platform permitem acompanhar:

  • etapas de uma execução do experimento, por exemplo, pré-processamento, treinamento,
  • entradas, por exemplo, algoritmo, parâmetros, conjuntos de dados
  • resultados dessas etapas, por exemplo, modelos, pontos de controle, métricas.

Assim, você pode descobrir o que funcionou e o que não funcionou, além de identificar mais caminhos para experimentação.

Confira alguns exemplos de jornada do usuário:

Analisar o desempenho do modelo

Os experimentos da Agent Platform permitem acompanhar e avaliar o desempenho agregado do modelo em comparação com conjuntos de dados de teste e durante a execução do treinamento. Essa atividade ajuda a entender as características de desempenho dos modelos: como um modelo específico funciona em geral, em que ele falha e onde se destaca.

Confira alguns exemplos de jornada do usuário:

Comparar o desempenho do modelo

Os experimentos da Agent Platform permitem agrupar e comparar vários modelos em execuções de experimentos. Cada modelo tem os próprios parâmetros especificados, técnicas de modelagem, arquiteturas e entrada. Essa abordagem ajuda a selecionar o melhor modelo.

Confira alguns exemplos de jornada do usuário:

Pesquisar experiências

O Google Cloud console fornece uma visualização centralizada dos experimentos, uma visão transversal das execuções e os detalhes de cada execução. O SDK da Agent Platform para Python fornece APIs para consumir experimentos, execuções de experimento, parâmetros de execução do experimento, métricas e artefatos.

Os experimentos da Agent Platform, junto com os metadados de ML da Gemini Enterprise Agent Platform, oferecem uma maneira de encontrar os artefatos acompanhados em um experimento. Isso permite que você confira rapidamente a linhagem do artefato e os artefatos consumidos e produzidos por etapas em uma corrida.

Escopo do suporte

Os experimentos da Gemini Enterprise Agent Platform oferecem suporte ao desenvolvimento de modelos usando o treinamento personalizado da Gemini Enterprise Agent Platform, notebooks do Gemini Enterprise Agent Platform Workbench, Notebooks e todos os frameworks de ML do Python na maioria dos frameworks de ML. Para alguns frameworks de ML, como o TensorFlow, os experimentos da Gemini Enterprise Agent Platform oferecem integrações profundas no framework que torna a experiência do usuário automática. Para outros frameworks de ML, os experimentos da Gemini Enterprise Agent Platform fornecem um SDK da Agent Platform de framework neutro para Python que você pode usar. Consulte Contêineres pré-criados para TensorFlow, scikit-learn, PyTorch e XGBoost.

Modelos de dados e conceitos

Os experimentos da Gemini Enterprise Agent Platform são um contexto nos metadados de ML da Agent Platform em que um experimento pode conter n execuções de experimentos além de n execuções de pipeline. Uma execução de experimento consiste em parâmetros, métricas de resumo, métricas de série temporal e PipelineJob, Artifact, e Execution recursos da Gemini Enterprise Agent Platform. TensorBoard da Vertex AI, uma versão gerenciada do TensorBoard de código aberto, é usada para o armazenamento de métricas de séries temporais. As execuções e os artefatos de uma execução de pipeline são visíveis no Google Cloud console.

Termos dos experimentos da Agent Platform

Experimento, execução de experimentos e execução de pipelines

experimento
  • Um experimento é um contexto que pode conter um conjunto de n execuções de experimentos e de pipelines onde um usuário pode investigar, em grupo, diferentes configurações, como artefatos de entrada ou hiperparâmetros.
Consulte Criar um experimento.

Execução de experimento
  • Uma execução específica e rastreável em um experimento da Vertex AI, que registra entradas (como algoritmo, parâmetros e conjuntos de dados) e saídas (como modelos, pontos de controle e métricas) para monitorar e comparar iterações de desenvolvimento de ML. Para mais informações, consulte Criar e gerenciar execuções de experimentos.
Consulte Criar e gerenciar execuções de experimentos.

execução de pipeline
  • Um ou mais PipelineJobs do Vertex podem ser associados a um experimento em que cada PipelineJob é representado como uma única execução. Nesse contexto, os parâmetros da execução são inferidos pelos parâmetros do PipelineJob. As métricas são inferidas dos artefatos do system.Metric produzidos por esse PipelineJob. Os artefatos da execução são inferidos dos artefatos produzidos pelo PipelineJob.
Um ou mais recursos PipelineJob da Gemini Enterprise Agent Platform podem ser associados a um recurso ExperimentRun. Nesse contexto, os parâmetros, as métricas e os artefatos não são inferidos.

Consulte Associar um pipeline a um experimento.

Parâmetros e métricas

Consulte Parâmetros de registro.

Métricas de resumo
  • As métricas de resumo são um valor único para cada chave de métrica de uma execução de experimento. Por exemplo, a precisão de um experimento é a precisão calculada com base em um conjunto de dados de teste no final do treinamento, que pode ser capturado como uma única métrica de resumo de valor.

Consulte Métricas de resumo de registros.

métricas de série temporal
  • As métricas de série temporal são valores de métrica longitudinais em que cada valor representa uma etapa na parte da rotina de treinamento de uma execução. As métricas de séries temporais são armazenadas no TensorBoard da Vertex AI. O Vertex AI Experiments armazena uma referência ao recurso Vertex TensorBoard.

Consulte Registrar métricas de série temporal.

Tipos de recurso

pipeline job
  • Um job de pipeline ou uma execução de pipeline corresponde ao recurso PipelineJob na API Vertex AI. É uma instância de execução da definição de pipeline de ML, que é definida como um conjunto de tarefas de ML interconectadas por dependências de entrada e saída.

artifact
  • Um artefato é uma entidade distinta ou parte dos dados produzidos e consumidos por um fluxo de trabalho de machine learning. Exemplos de artefatos incluem conjuntos de dados, modelos, arquivos de entrada e registros de treinamento.

Os experimentos da Agent Platform permitem usar um esquema para definir o tipo de artefato. Por exemplo, os tipos de esquema compatíveis incluem system.Dataset, system.Model e system.Artifact. Para ver mais informações, consulte Esquemas do sistema.

Tutorial do notebook

A seguir