Se estiver a escrever o seu próprio código de preparação em vez de usar o AutoML, existem várias formas de fazer a preparação personalizada a considerar. Este documento oferece uma breve vista geral e comparação das diferentes formas de executar a preparação personalizada.
Recursos de preparação personalizados no Vertex AI
Existem três tipos de recursos do Vertex AI que pode criar para preparar modelos personalizados no Vertex AI:
Quando cria uma tarefa personalizada, especifica as definições de que o Vertex AI precisa para executar o seu código de preparação, incluindo:
- Um conjunto de trabalhadores
para o treino de nó único (
WorkerPoolSpec
) ou vários conjuntos de trabalhadores para o treino distribuído - Definições opcionais para configurar o agendamento de tarefas (
Scheduling
), definir determinadas variáveis de ambiente para o seu código de preparação, usar uma conta de serviço personalizada e usar o peering de redes da VPC
Nos conjuntos de trabalhadores, pode especificar as seguintes definições:
- Tipos de máquinas e aceleradores
- Configuração do tipo de código de preparação que o conjunto de trabalhadores executa: uma aplicação de preparação Python (
PythonPackageSpec
) ou um contentor personalizado (ContainerSpec
)
As tarefas de hiperaperfeiçoamento dos parâmetros têm definições adicionais para configurar, como a métrica. Saiba mais acerca da ajuste de hiperparâmetros.
Um pipeline de preparação organiza tarefas de preparação personalizadas ou tarefas de ajuste de hiperparâmetros com passos adicionais, como carregar um conjunto de dados ou carregar o modelo para o Vertex AI após a conclusão bem-sucedida da tarefa de preparação.
Recursos de formação personalizados
Para ver pipelines de preparação existentes no seu projeto, aceda à página Pipelines de preparação na secção Vertex AI daGoogle Cloud consola.
Para ver tarefas personalizadas existentes no seu projeto, aceda à página Tarefas personalizadas.
Aceda a Tarefas personalizadas
Para ver tarefas de aperfeiçoamento de hiperparâmetros existentes no seu projeto, aceda à página Aperfeiçoamento de hiperparâmetros.
Aceder ao aperfeiçoamento de hiperparâmetros
Contentores pré-criados e personalizados
Antes de enviar uma tarefa de preparação personalizada, uma tarefa de ajuste de hiperparâmetros ou um pipeline de preparação para o Vertex AI, tem de criar uma aplicação de preparação em Python ou um contentor personalizado para definir o código de preparação e as dependências que quer executar no Vertex AI. Se criar uma aplicação de preparação Python com o TensorFlow, o PyTorch, o scikit-learn ou o XGBoost, pode usar os nossos contentores pré-criados para executar o seu código. Se não tiver a certeza de qual destas opções escolher, consulte os requisitos do código de formação para saber mais.
Preparação distribuída
Pode configurar uma tarefa de treino personalizada, uma tarefa de ajuste de hiperparâmetros ou um pipeline de treino para treino distribuído especificando vários conjuntos de trabalhadores:
- Use o primeiro conjunto de trabalhadores para configurar a réplica principal e defina o número de réplicas como 1.
- Adicione mais pools de trabalhadores para configurar réplicas de trabalhadores, réplicas de servidores de parâmetros ou réplicas de avaliadores, se a sua framework de aprendizagem automática suportar estas tarefas de cluster adicionais para a preparação distribuída.
Saiba mais sobre a utilização da preparação distribuída.
O que se segue?
- Saiba como criar um recurso persistente para executar tarefas de preparação personalizadas.
- Consulte o artigo Crie tarefas de preparação personalizadas para saber como criar tarefas de preparação personalizadas para executar as suas aplicações de preparação personalizadas na Vertex AI.
- Consulte o artigo Crie pipelines de preparação para saber como criar pipelines de preparação para executar aplicações de preparação personalizadas no Vertex AI.
- Consulte o artigo Use o aperfeiçoamento de hiperparâmetros para saber mais sobre as pesquisas de aperfeiçoamento de hiperparâmetros.