Os experimentos da plataforma de agentes do Gemini Enterprise são uma ferramenta que ajuda a rastrear e analisar diferentes arquiteturas de modelo, hiperparâmetros e ambientes de treinamento, permitindo que você rastreie as etapas, as entradas e as saídas de uma execução de experimento. Os experimentos da plataforma de agentes do Gemini Enterprise também podem avaliar o desempenho do modelo de forma agregada em conjuntos de dados de teste e durante o treinamento. Você pode usar essas informações para selecionar o melhor modelo para seu caso de uso específico
As execuções de experimento não geram cobranças adicionais. Você só é cobrado pelos recursos usados durante o experimento, conforme descrito nos preços da plataforma de agentes do Gemini Enterprise.
| O que você quer fazer? | Confira a amostra de notebook |
|---|---|
| acompanhar métricas e parâmetros | Comparar modelos |
| monitorar linhagem do experimento | Treinamento de modelo |
| rastrear execuções de pipeline | Compare execuções de pipeline |
Rastrear etapas, entradas e saídas
Com os experimentos da plataforma de agentes, você acompanha:
- etapas de uma execução do experimento, por exemplo, pré-processamento, treinamento,
- entradas, por exemplo, algoritmo, parâmetros, conjuntos de dados
- resultados dessas etapas, por exemplo, modelos, pontos de controle, métricas.
Assim, você pode descobrir o que funcionou e o que não funcionou, além de identificar mais caminhos para experimentação.
Confira alguns exemplos de jornada do usuário:
Analisar o desempenho do modelo
Com os experimentos da plataforma de agentes, você acompanha e avalia o desempenho agregado do modelo em comparação com conjuntos de dados de teste e durante a execução do treinamento. Essa atividade ajuda a entender as características de desempenho dos modelos: como um modelo específico funciona em geral, em que ele falha e onde se destaca.
Confira alguns exemplos de jornada do usuário:
Comparar o desempenho do modelo
Com os experimentos da plataforma de agentes, você agrupa e compara vários modelos em execuções de experimentos. Cada modelo tem os próprios parâmetros especificados, técnicas de modelagem, arquiteturas e entrada. Essa abordagem ajuda a selecionar o melhor modelo.
Confira alguns exemplos de jornada do usuário:
Pesquisar experiências
O console do Google Cloud fornece uma visualização centralizada dos experimentos, uma visão transversal das execuções e os detalhes de cada execução. O SDK da plataforma de agentes para Python fornece APIs para consumir experimentos, execuções de experimento, parâmetros de execução do experimento, métricas e artefatos.
Os experimentos da plataforma de agentes, junto com os metadados de ML da plataforma de agentes do Gemini Enterprise, oferecem uma maneira de encontrar os artefatos rastreados em um experimento. Isso permite que você confira rapidamente a linhagem do artefato e os artefatos consumidos e produzidos por etapas em uma execução.
Escopo do suporte
O Gemini Enterprise Agent Platform Experiments é compatível com o desenvolvimento de modelos usando o treinamento personalizado da plataforma de agentes do Gemini Enterprise, notebooks do Workbench da plataforma de agentes do Gemini Enterprise , Notebooks e todos os frameworks de ML do Python na maioria dos frameworks de ML. Para alguns frameworks de ML, como o TensorFlow, o Gemini Enterprise Agent Platform Experiments oferece integrações profundas no framework que torna a experiência do usuário automática. Para outros frameworks de ML, os experimentos da plataforma de agentes do Gemini Enterprise fornecem um SDK da plataforma de agentes para Python de framework neutro que você pode usar. Consulte Contêineres pré-criados para TensorFlow, scikit-learn, PyTorch e XGBoost.
Modelos de dados e conceitos
Os experimentos da plataforma de agentes do Gemini Enterprise são um contexto
nos metadados de ML da plataforma de agentes em que um experimento
pode conter n execuções de experimentos além de n execuções de pipeline. Uma execução
de experimento consiste em parâmetros, métricas de resumo, métricas de série temporal e
PipelineJob, Artifact
e Execution recursos da plataforma de agentes do Gemini Enterprise.
TensorBoard da Vertex AI, uma
versão gerenciada do TensorBoard de código aberto, é usada para o armazenamento de métricas
de séries temporais. As execuções e os artefatos de uma execução de pipeline são visíveis
no console do Google Cloud .
Termos dos experimentos da plataforma de agentes
Experimento, execução de experimentos e execução de pipelines
experimento
- Um experimento é um contexto que pode conter um conjunto de n execuções de experimentos e de pipelines onde um usuário pode investigar, em grupo, diferentes configurações, como artefatos de entrada ou hiperparâmetros.
Execução de experimento
- Uma execução específica e rastreável em um experimento da Vertex AI, que registra entradas (como algoritmo, parâmetros e conjuntos de dados) e saídas (como modelos, checkpoints e métricas) para monitorar e comparar iterações de desenvolvimento de ML. Para mais informações, consulte Criar e gerenciar execuções de experimentos.
execução de pipeline
- Um ou mais PipelineJobs do Vertex podem ser associados a um experimento em que cada PipelineJob é representado como uma única execução. Nesse contexto, os parâmetros da execução são inferidos pelos parâmetros do PipelineJob. As métricas são inferidas dos artefatos do system.Metric produzidos por esse PipelineJob. Os artefatos da execução são inferidos dos artefatos produzidos pelo PipelineJob.
PipelineJob da plataforma de agentes do Gemini Enterprise
podem ser associados a um recurso ExperimentRun.
Nesse contexto, os parâmetros, as métricas e os artefatos não são inferidos.
Consulte Associar um pipeline a um experimento.
Parâmetros e métricas
Consulte Parâmetros de registro.
Métricas de resumo
- As métricas de resumo são um valor único para cada chave de métrica de uma execução de experimento. Por exemplo, a precisão de um experimento é a precisão calculada com base em um conjunto de dados de teste no final do treinamento, que pode ser capturado como uma única métrica de resumo de valor.
Consulte Métricas de resumo de registros.
métricas de série temporal
- As métricas de série temporal são valores de métrica longitudinais em que cada valor representa uma etapa na parte da rotina de treinamento de uma execução. As métricas de séries temporais são armazenadas no TensorBoard da Vertex AI. O Vertex AI Experiments armazena uma referência ao recurso Vertex TensorBoard.
Consulte Registrar métricas de série temporal.
Tipos de recurso
pipeline job
- Um job ou uma execução de pipeline corresponde ao recurso "PipelineJob" na API Vertex AI. É uma instância de execução da definição do pipeline de ML, que é definida como um conjunto de tarefas de ML interconectadas por dependências de entrada/saída.
artifact
- Um artefato é uma entidade distinta ou parte dos dados produzidos e consumidos por um fluxo de trabalho de machine learning. Exemplos de artefatos incluem conjuntos de dados, modelos, arquivos de entrada e registros de treinamento.
Os experimentos da plataforma de agente permitem usar um esquema para definir o tipo de
artefato. Por exemplo, os tipos de esquema compatíveis incluem system.Dataset,
system.Model e system.Artifact. Para ver mais informações, consulte
Esquemas do sistema.