O Vertex AI oferece previsões online no Google Distributed Cloud (GDC) air-gapped através da API Online Prediction. Uma previsão é o resultado de um modelo de aprendizagem automática preparado. Especificamente, as previsões online são pedidos síncronos feitos ao ponto final do seu modelo.
A previsão online permite-lhe carregar, implementar, publicar e fazer pedidos usando os seus próprios modelos de previsão num conjunto de contentores suportados. Use a previsão online quando fizer pedidos em resposta à introdução de dados na aplicação ou em situações que exijam inferência atempada.
Pode usar a API Online Prediction aplicando recursos personalizados do Kubernetes ao cluster de previsão dedicado que o seu operador de infraestrutura (IO) cria para si.
Antes de receber previsões online, tem de exportar artefactos do modelo e implementar o modelo num ponto final. Esta ação associa recursos de computação ao modelo para publicar previsões online com baixa latência.
Em seguida, pode obter previsões online a partir de um modelo preparado personalizado formatando e enviando um pedido.
Imagens de contentores disponíveis
A tabela seguinte contém a lista de contentores suportados para a previsão online na nuvem distribuída:
Estrutura de ML | Versão | Aceleradores suportados | Imagens suportadas |
---|---|---|---|
TensorFlow | 2.14 | CPU | tf2-cpu.2-14 |
GPU | tf2-gpu.2-14 | ||
PyTorch | 2.4 | CPU | pytorch-cpu.2-4 |
GPU | pytorch-gpu.2-4 | ||
2.1 (DESCONTINUADO) | CPU | pytorch-cpu.2-1 | |
GPU | pytorch-gpu.2-1 |