為 MIG 建立工作負載政策

本文說明如何為具有 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D Compute Engine 執行個體的代管執行個體群組 (MIG) 建立政策。如要進一步瞭解建立工作負載政策時套用的規定和限制，請參閱「關於工作負載政策」一文。

您可以透過工作負載政策，指定 MIG 中 Compute Engine 執行個體的放置位置或拓撲。舉例來說，您可以使用工作負載政策，將運算執行個體放置在彼此靠近的位置，盡量減少人工智慧 (AI)、機器學習 (ML) 或高效能運算 (HPC) 工作負載的網路延遲。

事前準備

  • 如果尚未設定驗證，請先完成設定。 驗證可確認您的身分，以便存取 Google Cloud 服務和 API。如要從本機開發環境執行程式碼或範例，請選取下列其中一個選項，向 Compute Engine 進行驗證：

    選取這個頁面上的分頁，瞭解如何使用範例：

    gcloud

    1. 安裝 Google Cloud CLI。 完成後，執行下列指令來初始化 Google Cloud CLI：

      gcloud init

      若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

  • 設定預設地區和區域。

    • REST

    如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

      安裝 Google Cloud CLI。

      若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

    詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

必要的角色

如要取得建立及套用工作負載政策至代管執行個體群組：MIG 所需的權限，請要求系統管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立工作負載政策並套用至 MIG 的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要建立工作負載政策並套用至 MIG，必須具備下列權限：

  • 如要建立工作負載政策，請按照下列步驟操作： compute.resourcePolicies.create 在專案中

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

建立工作負載政策

如要建立工作負載政策，請根據 MIG 中運算執行個體使用的機器系列，採用下列其中一種方法：

為 A4X Max 或 A4X 執行個體建立工作負載政策

如果您在 MIG 中將工作負載政策套用至 A4X Max 或 A4X 執行個體，則建立政策時，必須指定加速器拓撲值。這項動作可協助工作負載達成大規模無阻斷的網路效能。

如要為 A4X Max 或 A4X 執行個體建立工作負載政策，請選取下列任一選項：

gcloud

如要為 A4X Max 或 A4X 執行個體建立工作負載政策，請使用 gcloud compute resource-policies create workload-policy 指令搭配 --accelerator-topology=1x72 旗標：

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

更改下列內容：

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型所在的區域。如要查看提供 A4X Max 或 A4X 機器類型的地區，請參閱「可用地區和區域」。

REST

如要為 A4X Max 或 A4X 執行個體建立工作負載政策，請對 resourcePolicies.insert 方法發出 POST 要求。在要求主體中，加入設為 1x72 的 acceleratorTopology 欄位：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

更改下列內容：

  • PROJECT_ID：您要在當中建立工作負載政策的專案 ID。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型所在的區域。如要查看提供 A4X Max 或 A4X 機器類型的地區，請參閱「可用地區和區域」。

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

為 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體建立工作負載政策

如要在 MIG 中的 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體套用工作負載政策，建議您在建立政策時指定拓撲距離上限值。這項動作有助於確保運算執行個體之間的放置位置更接近。不過，您指定的放置位置越緊密，要在其中建立運算執行個體的區域可能就越少資源可用。

如要為 A4、A3 Ultra、A3 Mega 或 A3 High (8 個 GPU) 執行個體建立工作負載政策，請選取下列任一選項：

gcloud

如要建立工作負載政策，請使用 gcloud compute resource-policies create workload-policy 指令。根據您要在 MIG 中放置 Compute 執行個體的緊密程度，在指令中加入下列標記：

  • 如要盡可能將運算執行個體彼此靠近，請加入 --type=high-throughput 旗標：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • 如要進一步控管運算執行個體的放置位置，請加入 --max-topology-distance 和 --type=high-throughput 旗標：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

更改下列內容：

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型所在的區域。如要查看提供 GPU 機器類型的區域，請參閱「可用地區和區域」。

  • TOPOLOGY_DISTANCE：拓撲距離上限。最大距離越短，VM 可用性的機率就越低。請指定下列其中一個值：

    • 如要將 A4 或 H4D 執行個體放在同一個叢集中，請按照下列步驟操作：CLUSTER

    • 如要將 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體放在同一個區塊中：BLOCK

    • 如要將 A4、A3 Ultra 或 H4D 執行個體放在同一個子區塊中： SUBBLOCK

REST

如要建立工作負載政策，請對 resourcePolicies.insert 方法發出 POST 要求。根據您要在 MIG 中放置運算執行個體的緊密度，請在要求內容中加入下列欄位：

  • 如要盡量將運算執行個體放在彼此附近，請在要求主體中加入 type 欄位：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • 如要進一步控管運算執行個體的放置位置，請在要求主體中加入 maxTopologyDistance 和 type 欄位：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

更改下列內容：

  • PROJECT_ID：您要在當中建立工作負載政策的專案 ID。

  • REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的機型所在的區域。如要查看提供 GPU 機器類型的區域，請參閱「可用地區和區域」。

  • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

  • TOPOLOGY_DISTANCE：拓撲距離上限。最大距離越短，VM 可用性的機率就越低。請指定下列其中一個值：

    • 如要將 A4 或 H4D 執行個體放在同一個叢集中，請按照下列步驟操作：CLUSTER

    • 如要將 A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) 或 H4D 執行個體放在同一個區塊中：BLOCK

    • 如要將 A4、A3 Ultra 或 H4D 執行個體放在同一個子區塊中： SUBBLOCK

後續步驟