您必须将预测自定义资源部署在基础架构运维人员 (IO) 为您创建的预测集群中。运维人员会在同一集群中创建预测工作负载。
如需创建预测集群，请与 IO 协作，将预测项目关联起来，并在 Google Distributed Cloud (GDC) 气隙环境中分配在线预测所需的节点池。
准备工作
如需设置项目并在预测集群中部署预测资源，您必须拥有必要的权限。
请求 IAM 组织角色
请与您的组织 IAM 管理员联系，请求以下角色：
- Project Creator (
project-creator)：在您的组织中创建新项目。
请求 IAM 项目角色
请与您的项目 IAM 管理员联系，请求在项目命名空间中使用以下角色：
- Vertex AI Prediction Admin (
vertex-ai-prediction-admin)：管理用于通过在线预测部署模型的资源。
如需详细了解这些角色，请参阅 准备 IAM 权限。
请求预测集群
如需创建预测集群，请执行以下步骤：
确定组织中要与新集群关联的项目，以便进行在线预测。
如需创建项目，请参阅 为 Vertex AI 设置项目。 进行 API 调用时，您需要项目 ID。
从 Distributed Cloud 中可用的机器类型列表中，为集群中工作负载所需的节点选择机器类型。
您选择的机器类型取决于预测模型的大小和复杂性，并决定 IO 为集群提供的计算和图形处理单元 (GPU) 资源。 为节点选择机器类型时，请遵循节点选择建议 。
使用预测集群工单模板向 IO 发送电子邮件，以 开具工单并向其提出创建集群的请求。
如有必要，请与 IO 沟通，直到他们完成创建与您的项目关联的预测集群，并在集群中分配适当的节点池。
集群配置完成后，预测集群即可用于在线预测。
节点选择建议
当 IO 在集群中创建节点池时，他们会分配 Distributed Cloud 中提供的其中一种 机器类型 ，以便为 工作器节点提供预定义的资源集。根据模型的大小和复杂性，您需要不同的计算性能，因此需要特定数量的 CPU、内存和 GPU。如果您想创建预测集群，则必须在与 IO 的沟通中提供这些详细信息。
当您与 IO 确定预测集群中所需的节点池的机器类型时，必须遵循以下做法：
- Distributed Cloud 会为强制性系统组件向节点添加计算开销。因此，您必须为节点池选择比您打算在模型资源池中使用的机器类型更大的机器类型 。
- 选择可提供满足您需求所需的最低内存和计算资源的解决方案。例如，如果您的模型需要 8 个 vCPU，请选择
n2-highcpu-8-gdc机器类型，这是 Distributed Cloud 中具有 8 个 vCPU 和 8 GB 内存的最小解决方案。 - 随着您的进展，只有当较小的解决方案不足以满足您的需求以及模型的大小和复杂性时，才考虑性能更高的解决方案。务必遵循最小权限原则，仅使用执行特定工作流所需的资源。这种负责任的方法可确保在 Distributed Cloud 环境中谨慎使用资源。
- 仅当您的模型需要 GPU 时，才选择具有 GPU 的解决方案。
- 如果您的模型需要 GPU，请考虑
a2-highgpu-1g-gdc机器类型，这是提供 GPU 的最小解决方案。
预测集群工单模板
使用以下模板向 IO 发送电子邮件。该电子邮件会开具工单，以创建在线预测所需的预测集群。
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]