建立預測叢集

您必須在基礎架構運算子 (IO) 為您建立的預測叢集中，部署預測自訂資源。運算子會在同一個叢集中建立預測工作負載。

如要建立預測叢集，請與 IO 合作，在 Google Distributed Cloud (GDC) 實體隔離方案中，建立預測專案與線上預測所需節點集區的關聯。

事前準備

如要設定專案並在預測叢集中部署預測資源，您必須具備必要權限。

要求 IAM 機構角色

請與組織 IAM 管理員聯絡，要求對方授予下列角色：

  • 專案建立者 (project-creator)：在機構中建立新專案。

要求 IAM 專案角色

請與專案 IAM 管理員聯絡，要求在專案命名空間中取得下列角色：

  • Vertex AI Prediction 管理員 (vertex-ai-prediction-admin)：管理用於透過線上預測部署模型的資源。

如要進一步瞭解這些角色，請參閱「準備 IAM 權限」。

要求預測叢集

如要建立預測叢集，請按照下列步驟操作：

  1. 找出要與線上預測新叢集建立關聯的機構專案。

    如要建立專案，請參閱「設定 Vertex AI 專案」。進行 API 呼叫時，您需要專案 ID。

  2. 從 Distributed Cloud 的可用機器類型清單中，為叢集中工作負載所需的節點選擇機器類型。

    所選機器類型取決於預測模型的大小和複雜度，並決定 IO 提供給叢集的運算和圖形處理器 (GPU) 資源。為節點選取機器類型時，請遵循節點選取建議。

  3. 使用預測叢集案件範本傳送電子郵件給 IO，開啟案件並提出建立叢集的要求。

  4. 如有必要，請與 IO 溝通，直到他們完成建立與專案相關聯的預測叢集，並在叢集內指派適當的節點集區。

完成叢集佈建後，預測叢集即可用於線上預測。

節點選取建議

IO 在叢集中建立節點集區時，會指派 Distributed Cloud 中的其中一個可用機型，為 worker 節點提供預先定義的資源組合。視模型大小和複雜度而定，您需要不同的運算效能，因此需要特定數量的 CPU、記憶體和 GPU。如要建立預測叢集，請務必在與 IO 溝通時提供這些詳細資料。

在 IO 中決定預測叢集所需的節點集區機型時，請務必遵守下列做法：

  • Distributed Cloud 會為節點新增運算負荷，以處理必要的系統元件。因此，您必須為節點集區選擇比模型資源集區中使用的機器類型更大的機器類型。
  • 請選擇能提供符合您需求最低記憶體和運算資源的解決方案。舉例來說，如果模型需要八個 vCPU，請選擇 n2-highcpu-8-gdc 機型，這是 Distributed Cloud 中最小的解決方案，配備八個 vCPU 和 8 GB 記憶體。
  • 隨著進度推進，只有在較小的解決方案無法滿足需求，以及模型的大小和複雜度時，才考慮使用效能較高的解決方案。請務必遵守最小權限原則，只使用執行特定工作流程所需的資源。這種負責任的做法可確保在 Distributed Cloud 環境中謹慎使用資源。
  • 如果模型需要 GPU，請務必選擇有 GPU 的解決方案。
  • 如果模型需要 GPU，請考慮a2-highgpu-1g-gdc機型，這是提供 GPU 的最小解決方案。

預測叢集案件範本

請使用下列範本傳送電子郵件給 IO。這封電子郵件會開啟案件，以建立線上預測所需的預測叢集。

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]