Saiba mais sobre as previsões online

O Vertex AI oferece previsões online no Google Distributed Cloud (GDC) air-gapped através da API Online Prediction. Uma previsão é o resultado de um modelo de aprendizagem automática preparado. Especificamente, as previsões online são pedidos síncronos feitos ao ponto final do seu modelo.

A previsão online permite-lhe carregar, implementar, publicar e fazer pedidos usando os seus próprios modelos de previsão num conjunto de contentores suportados. Use a previsão online quando fizer pedidos em resposta à introdução de dados na aplicação ou em situações que exijam inferência atempada.

Pode usar a API Online Prediction aplicando recursos personalizados do Kubernetes ao cluster de previsão dedicado que o seu operador de infraestrutura (IO) cria para si.

Antes de receber previsões online, tem de exportar artefactos do modelo e implementar o modelo num ponto final. Esta ação associa recursos de computação ao modelo para publicar previsões online com baixa latência.

Em seguida, pode obter previsões online a partir de um modelo preparado personalizado formatando e enviando um pedido.

Imagens de contentores disponíveis

A tabela seguinte contém a lista de contentores suportados para a previsão online na nuvem distribuída:

Estrutura de ML Versão Aceleradores suportados Imagens suportadas
TensorFlow 2.14 CPU tf2-cpu.2-14
GPU tf2-gpu.2-14
PyTorch 2.4 CPU pytorch-cpu.2-4
GPU pytorch-gpu.2-4
2.1 (DESCONTINUADO) CPU pytorch-cpu.2-1
GPU pytorch-gpu.2-1