Saiba mais sobre as previsões on-line

A Vertex AI oferece previsões on-line no Google Distributed Cloud (GDC) isolado por ar usando a API Online Prediction. Uma previsão é a saída de um modelo de machine learning treinado. Especificamente, as previsões on-line são solicitações síncronas feitas no endpoint do modelo.

Com a previsão on-line, é possível fazer upload, implantar, veicular e fazer solicitações usando seus próprios modelos de previsão em um conjunto de contêineres compatíveis. Use a previsão on-line ao fazer solicitações em resposta à entrada do aplicativo ou em situações que exigem inferência em tempo hábil.

É possível usar a API Online Prediction aplicando recursos personalizados do Kubernetes ao cluster de previsão dedicado que o operador de infraestrutura (IO) cria para você.

Antes de receber previsões on-line, é necessário exportar os artefatos do modelo e implantar o modelo em um endpoint. Essa ação associa recursos de computação ao modelo para veicular previsões on-line com baixa latência.

Depois, é possível receber previsões on-line de um modelo treinado de forma personalizada formatando e enviando uma solicitação.

Imagens de contêiner disponíveis

A tabela a seguir contém a lista de contêineres compatíveis com a previsão on-line no Distributed Cloud:

Framework de ML Versão Aceleradores compatíveis Imagens compatíveis
TensorFlow 2,18 CPU tf2-cpu.2-18
GPU tf2-gpu.2-18
PyTorch 2.4 CPU pytorch-cpu.2-4
GPU pytorch-gpu.2-4
2.1 (DESCONTINUADO) CPU pytorch-cpu.2-1
GPU pytorch-gpu.2-1