Neste documento, explicamos as principais diferenças entre treinar um modelo na Vertex AI usando o AutoML, o treinamento personalizado, o Ray na Vertex AI ou treinar um modelo usando o BigQuery ML.
Com o AutoML, você cria e treina um modelo com o mínimo de esforço técnico. é possível usar o AutoML para prototipar modelos rapidamente e explorar novos conjuntos de dados, antes de investir em desenvolvimento. Por exemplo, é possível usá-lo para saber quais recursos são melhores para um determinado conjunto de dados.
Com o treinamento personalizado, é possível criar um aplicativo de treinamento otimizado para o resultado desejado. Você tem controle total sobre a funcionalidade do aplicativo de treinamento. Ou seja, é possível focar em qualquer objetivo, usar qualquer algoritmo, desenvolver funções ou métricas de perda próprias ou fazer qualquer outra personalização.
Com o Ray na Vertex AI, é possível usar o framework de computação distribuída do Ray na infraestrutura do Google Cloud . O Ray na Vertex AI oferece um ambiente gerenciado com recursos de computação configuráveis, integração com serviços como a inferência da Vertex AI e o BigQuery, além de opções de rede flexíveis para desenvolver e executar cargas de trabalho distribuídas.
Com o BigQuery, é possível treinar modelos usando os dados do BigQuery diretamente no BigQuery. Com os comandos SQL, é possível criar rapidamente um modelo e usá-lo para receber inferências em lote.
Para comparar as diferentes funcionalidades e especialidades necessárias para cada serviço, consulte a tabela a seguir.
| AutoML | Treinamento personalizado | Ray na Vertex AI | BigQuery ML | |
|---|---|---|---|---|
| É preciso ter experiência em ciência de dados. | Não | Sim, para desenvolver o aplicativo de treinamento e realizar algumas das preparações de dados, como a engenharia de atributos. | É útil ter uma compreensão básica dos conceitos de machine learning e dos fluxos de trabalho de ciência de dados. | Não |
| Capacidade de programação necessária | Não. O AutoML não tem código. | Sim, para desenvolver o aplicativo de treinamento. | Sim. | Sim. |
| Tempo para treinar o modelo | Baixo. Não é necessário preparar os dados, e não é necessário nenhum desenvolvimento. | Alto. É necessária mais preparação de dados, e o desenvolvimento do aplicativo de treinamento é necessário. O treinamento distribuído pode reduzir o tempo necessário para treinar um modelo. | O tempo de treinamento depende da lógica do código (preparação e treinamento de dados) e do tempo de provisionamento de recursos. | Baixo. A velocidade de desenvolvimento do modelo aumenta porque você não precisa criar a infraestrutura necessária para inferências em lote ou treinamento de modelo, já que o BigQuery ML usa o mecanismo computacional do BigQuery. Isso acelera o treinamento, a avaliação e a inferência. |
| Limites dos objetivos de machine learning | Sim. É preciso segmentar um dos objetivos predefinidos do AutoML. | Não | Não | Sim |
| Pode otimizar manualmente o desempenho do modelo com o ajuste de hiperparâmetro | Não. O AutoML faz alguns ajustes automáticos de hiperparâmetros, mas não é possível modificar os valores usados. | Sim. É possível ajustar o modelo durante cada execução de treinamento para fins de experimentação e comparação. | Sim. Como você está fornecendo o código de treinamento personalizado, é possível definir ou ajustar manualmente os valores dos hiperparâmetros antes de iniciar um job do Ray na Vertex AI. | Sim. O BigQuery ML tem suporte para ajuste de hiperparâmetros durante o treinamento de modelos de ML usando as instruções CREATE MODEL. |
| Pode controlar aspectos do ambiente de treinamento | Limitado. Para conjuntos de dados de imagem e tabulares, é possível especificar o número de horas de nó a serem treinadas e permitir a parada antecipada do treinamento. | Sim. Especifique aspectos do ambiente, como tipo de máquina do Compute Engine, tamanho do disco, framework de machine learning e número de nós, além da imagem do Docker que você quer usar para o treinamento. | Sim. Você tem controle significativo sobre vários aspectos do ambiente de treinamento. Por exemplo, é possível trazer suas próprias imagens de contêiner personalizadas do Docker para o cluster do Ray na Vertex AI. Ao criar um cluster do Ray, é possível especificar o tipo de máquina para o nó principal e os nós de trabalho, incluindo o número e o tipo de aceleradores (GPUs) que você quer usar, entre outros. | Não |
| Limites no tamanho dos dados |
Sim. O AutoML usa conjuntos de dados gerenciados. As limitações de tamanho de dados variam de acordo com o tipo de conjunto de dados. Consulte um dos seguintes tópicos para mais detalhes: |
Para conjuntos de dados não gerenciados, não. Os conjuntos de dados gerenciados têm os mesmos limites dos objetos de conjuntos de dados gerenciados criados e hospedados pelo BigQuery e são usados para treinar modelos do AutoML. | Não. No entanto, há um tamanho máximo de resposta de consulta de 10 GB para leituras do BigQuery. Essa é uma limitação do tamanho da resposta da API do BigQuery, não necessariamente um limite na quantidade total de dados que o Ray na Vertex AI pode processar do BigQuery por consultas iterativas ou paralelas. | Sim. O BigQuery ML aplica cotas adequadas por projeto. Para saber mais, consulte Cotas e limites. |
A seguir
- Escolha um tutorial de introdução para começar o Vertex AI Training.
- Saiba mais sobre como treinar um modelo ML.
- Saiba mais sobre como criar um job de treinamento personalizado usando Python.
- Saiba mais sobre o Ray na Vertex AI.