建立預測叢集

您可以與基礎架構運作人員 (IO) 合作，建立預測叢集，在 Google Distributed Cloud (GDC) 實體隔離環境中提供線上預測。IO 會連結預測專案，並分配必要的節點集區。接著，您在這個叢集中部署預測自訂資源，IO 會在叢集中建立預測工作負載。

每個組織只能有一個預測叢集。不過，IO 可以將多個專案附加及連結至叢集，以便分隔及整理端點。

事前準備

如要設定專案並在預測叢集中部署預測資源，您必須具備必要權限。

要求 IAM 組織角色

請與 IAM 機構組織管理員聯絡，要求對方授予下列角色：

  • 專案建立者 (project-creator)：在組織中建立新專案。

要求 IAM 專案角色

請與 IAM 專案管理員聯絡，要求在專案命名空間中取得下列角色：

  • Vertex AI Prediction 管理員 (vertex-ai-prediction-admin)：管理用於透過線上預測部署模型的資源。

如要進一步瞭解這些角色，請參閱「準備 IAM 權限」。

要求預測叢集

如要建立預測叢集，請按照下列步驟操作：

  1. 找出貴組織中要與新叢集建立關聯的專案，以便進行線上預測。

    如要建立專案，請參閱「設定 Vertex AI 專案」。發出 API 呼叫時，您需要提供專案 ID。

  2. 從 Distributed Cloud 的可用機器類型清單中，選擇叢集中工作負載所需節點的機器類型。

    您選擇的機型取決於預測模型的大小和複雜度，並決定 IO 為叢集提供的運算和圖形處理器 (GPU) 資源。為節點選取機型時，請遵循節點選取建議。

  3. 使用預測叢集案件範本傳送電子郵件給 IO，開立案件並提出建立叢集的要求。

  4. 如有必要，請與 IO 溝通，直到他們完成建立與專案相關聯的預測叢集，並在叢集內指派適當的節點集區。

完成叢集佈建後，預測叢集即可用於線上預測。

節點選取建議

IO 在叢集中建立節點集區時，會指派 Distributed Cloud 中可用的機型之一，為 worker 節點提供一組預先定義的資源。視模型大小和複雜度而定，您需要不同的運算效能，因此需要特定數量的 CPU、記憶體和 GPU。如要建立預測叢集，請務必在與 IO 溝通時提供這些詳細資料。

在預測叢集中，使用 IO 決定節點集區所需的機器類型時，請務必遵守下列做法：

  • Distributed Cloud 會為強制性系統元件的節點增加運算負擔。因此，您必須為節點集區選擇比模型資源集區更大的機器類型。
  • 請選擇能提供最低記憶體和運算資源，且符合您需求的解決方案。舉例來說，如果模型需要八個 vCPU，請選擇 n2-highcpu-8-gdc 機器類型，這是 Distributed Cloud 中最小的解決方案，配備八個 vCPU 和 8 GB 記憶體。
  • 隨著進度推進，只有在較小的解決方案無法滿足需求，以及模型的大小和複雜度時，才考慮使用效能較高的解決方案。請務必遵循最小權限原則，只使用執行特定工作流程所需的資源。這種負責任的做法可確保 Distributed Cloud 環境中的資源使用得當。
  • 如果模型需要 GPU，請務必選擇有 GPU 的解決方案。
  • 如果模型需要 GPU，請考慮使用 a2-highgpu-1g-gdc 機型，這是提供 GPU 的最小解決方案。

預測叢集案件範本

請使用下列範本，傳送電子郵件給 IO。電子郵件會開啟客服案件，建立線上預測所需的預測叢集。

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]