了解在线预测

Vertex AI 通过 Online Prediction API 在 Google Distributed Cloud (GDC) 气隙环境中提供在线预测。预测结果是经过训练的机器学习模型的输出。具体来说，在线预测是指向模型端点发出的同步请求。

借助在线预测，您可以上传、部署、提供和请求使用一组受支持的容器中的自有预测模型。如果您需要发出请求以响应应用输入，或者在其他需要及时推断的情况下，可以使用在线预测。

您可以将 Kubernetes 自定义资源应用于您的基础设施运维人员 (IO) 为您创建的专用预测集群，从而使用在线预测 API。

在获取在线预测结果之前，您必须导出模型制品并将模型部署到端点。此操作会将计算资源与模型相关联，以便以低延迟方式执行在线预测。

然后，您可以设置格式并发送请求，从而从自定义训练模型获取在线预测结果。

可用容器映像

下表列出了 Distributed Cloud 中在线预测功能支持的容器：

机器学习框架 版本 支持的加速器 支持的图片
TensorFlow 2.14 CPU tf2-cpu.2-14
GPU tf2-gpu.2-14
PyTorch 2.4 CPU pytorch-cpu.2-4
GPU pytorch-gpu.2-4
2.1（已弃用） CPU pytorch-cpu.2-1
GPU pytorch-gpu.2-1