為 MIG 建立工作負載政策

本文說明如何為具有 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D Compute Engine 執行個體的受管理執行個體群組 (MIG) 建立工作負載政策。如要為多主機 TPU 配量建立工作負載政策，請參閱「建立含多主機 TPU 配量的 MIG」。

您可以透過工作負載政策，指定 MIG 中 Compute Engine 執行個體的配置或拓撲。舉例來說，您可以使用工作負載政策，將運算執行個體放置在彼此相近的位置，盡量減少人工智慧 (AI)、機器學習 (ML) 或高效能運算 (HPC) 工作負載的網路延遲。如要進一步瞭解建立工作負載政策時套用的規定和限制，請參閱「關於工作負載政策」。

事前準備

  • 如果尚未設定驗證，請先完成設定。 驗證可確認您的身分，以便存取 Google Cloud 服務和 API。如要從本機開發環境執行程式碼或範例，請選取下列其中一個選項，向 Compute Engine 進行驗證：

    選取這個頁面上範例的預計用途分頁：

    gcloud

    1. 安裝 Google Cloud CLI。 完成後，執行下列指令來初始化 Google Cloud CLI：

      gcloud init

      如果您使用外部識別資訊提供者 (IdP)，請先 使用聯合身分登入 gcloud CLI。

  • 設定預設區域和可用區。

    • REST

    如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

      安裝 Google Cloud CLI。

      如果您使用外部識別資訊提供者 (IdP)，請先 使用聯合身分登入 gcloud CLI。

    詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

必要的角色

如要取得建立及套用工作負載政策至 MIG 所需的權限，請要求管理員授予您專案的Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立工作負載政策並套用至 MIG 的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要建立工作負載政策並套用至 MIG，必須具備下列權限：

  • 如要建立工作負載政策，請按照下列步驟操作： compute.resourcePolicies.create 在專案中

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

建立工作負載政策

如要建立工作負載政策，請根據 MIG 中 Compute 執行個體使用的機器系列，採用下列其中一種方法：

為 A4X Max 或 A4X 執行個體建立工作負載政策

如果您在 MIG 中將工作負載政策套用至 A4X Max 或 A4X 執行個體，則建立政策時必須指定加速器拓撲值。這項動作可協助工作負載達成大規模無阻斷的網路效能。

如要為 A4X Max 或 A4X 執行個體建立工作負載政策，請選取下列任一選項：

gcloud

如要為 A4X Max 或 A4X 執行個體建立工作負載政策，請使用 gcloud compute resource-policies create workload-policy 指令搭配 --accelerator-topology=1x72 旗標：

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

更改下列內容：

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型可用的區域。如要查看 A4X Max 或 A4X 機型適用的區域，請參閱「適用區域和可用區」。

REST

如要為 A4X Max 或 A4X 執行個體建立工作負載政策，請向 resourcePolicies.insert 方法提出 POST要求。在要求主體中，加入設為 1x72 的 acceleratorTopology 欄位：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

更改下列內容：

  • PROJECT_ID：您要在當中建立工作負載政策的專案 ID。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型可用的區域。如要查看 A4X Max 或 A4X 機型適用的區域，請參閱「適用區域和可用區」。

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

為 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體建立工作負載政策

如要在 MIG 中的 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體套用工作負載政策，建議您在建立政策時指定拓撲距離最大值。這項動作有助於確保運算執行個體之間的距離更近。不過，您指定的放置位置越緊湊，要在其中建立運算執行個體的可用區可能就越少資源。

如要為 A4、A3 Ultra、A3 Mega 或 A3 High (8 個 GPU) 執行個體建立工作負載政策，請選取下列任一選項：

gcloud

如要建立工作負載政策，請使用 gcloud compute resource-policies create workload-policy 指令。根據您要在 MIG 中放置運算執行個體的緊密度，在指令中加入下列旗標：

  • 如要盡量將運算執行個體放在彼此附近，請加入 --type=high-throughput 旗標：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • 如要進一步控管運算執行個體的放置位置，請加入 --max-topology-distance 和 --type=high-throughput 旗標：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

更改下列內容：

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型可用的區域。如要查看提供 GPU 機型的區域，請參閱「適用區域及可用區」。

  • TOPOLOGY_DISTANCE：拓撲距離上限。縮短最大距離可能會降低 VM 可用性。請指定下列其中一個值：

    • 如要將 A4 或 H4D 執行個體放在同一個叢集中，請按照下列步驟操作：CLUSTER

    • 如要將 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體放在同一個區塊中：BLOCK

    • 如要將 A4、A3 Ultra 或 H4D 執行個體放在同一個子區塊中： SUBBLOCK

REST

如要建立工作負載政策，請向 resourcePolicies.insert 方法發出 POST 要求。根據您要在 MIG 中放置運算執行個體的緊密度，在要求主體中加入下列欄位：

  • 如要盡量將運算執行個體放在彼此附近，請在要求主體中加入 type 欄位：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • 如要進一步控管運算執行個體的放置位置，請在要求本文中加入 maxTopologyDistance 和 type 欄位：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

更改下列內容：

  • PROJECT_ID：您要在當中建立工作負載政策的專案 ID。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型可用的區域。如要查看提供 GPU 機型的區域，請參閱「適用區域及可用區」。

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

  • TOPOLOGY_DISTANCE：拓撲距離上限。縮短最大距離可能會降低 VM 可用性。請指定下列其中一個值：

    • 如要將 A4 或 H4D 執行個體放在同一個叢集中，請按照下列步驟操作：CLUSTER

    • 如要將 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體放在同一個區塊中：BLOCK

    • 如要將 A4、A3 Ultra 或 H4D 執行個體放在同一個子區塊中： SUBBLOCK

後續步驟