建立 AI 適用的 G2 MIG

本文說明如何建立使用 G2 機器類型的代管執行個體群組 (MIG)。如要進一步瞭解這些加速器最佳化機器類型，請參閱「G2 系列」。

建立 MIG 後，您就能以單一實體的形式管理多個虛擬機器 (VM)。MIG 中的每個 VM 都是以執行個體範本為基礎。MIG 會自動管理群組中的 VM，因此可提供高可用性和擴充性。如要進一步瞭解 MIG，請參閱 Compute Engine 說明文件中的代管執行個體群組。

如要瞭解建立 VM 或叢集的其他方式，請參閱「部署選項總覽」。

限制

使用 G2 VM 建立 MIG 時，請考量機型和 MIG 的限制。

G2 VM 的限制

建立 G2 VM 時，請注意以下限制：

  • 使用 G2 機型類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • G2 機型僅適用於特定區域和可用區。
  • G2 機型僅適用於 Cascade Lake 平台。
  • 使用 G2 機型的執行個體不支援標準永久磁碟 (pd-standard)。如需支援的磁碟類型，請參閱「G2 支援的磁碟類型」。
  • 您無法在採用 G2 機型的執行個體上建立多重執行個體 GPU。
  • 如要變更 G2 執行個體的機型，請參閱「修改加速器最佳化執行個體」。
  • 使用 G2 機型的執行個體無法使用深度學習 VM 映像檔做為開機磁碟。
  • Container-Optimized OS 目前的預設驅動程式不支援在 G2 機型上執行的 L4 GPU。此外，Container-Optimized OS 僅支援特定驅動程式集。如要在 G2 機器類型上使用 Container-Optimized OS，請參閱下列注意事項：
    • 使用支援最低建議 NVIDIA 驅動程式版本 525.60.13 以上版本的 Container-Optimized OS。詳情請參閱 Container-Optimized OS 版本資訊。
    • 安裝驅動程式時，請指定適用於 L4 GPU 的最新版本。例如：sudo cos-extensions install gpu -- -version=525.60.13。
  • 您必須使用 Google Cloud CLI 或 REST，才能在下列情境中建立 G2 執行個體：
    • 您想指定自訂記憶體值。
    • 您想自訂可見的 CPU 核心數量。

MIG 的限制

事前準備

建立 MIG 前，請先完成下列步驟 (如尚未完成)：

  1. 選擇計費方案：您選擇的計費方案會決定取得及使用 GPU 資源的方式。詳情請參閱「選擇消耗量選項」。
  2. 取得容量：取得容量的程序會因消費選項而異。如要瞭解如何為所選用量方案取得容量，請參閱「容量總覽」。

必要的角色

如要取得建立 MIG 所需的權限，請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立 MIG 所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要建立 MIG，必須具備下列權限：

  • 如要建立 MIG，請在專案上按一下 compute.instanceGroupManagers.create。

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

總覽

使用 G2 機型建立 MIG 的步驟如下：

  1. 選用： 建立密集配置政策
  2. 建立執行個體範本
  3. 建立 MIG
  4. 安裝 GPU 驅動程式

針對每個 MIG，您必須選擇是否要使用密集配置政策、使用大小調整要求，或兩者皆否。如要進一步瞭解何時該使用各個選項，請參閱本文的「MIG 限制」。

選用：建立密集配置政策

您可以建立密集配置政策來指定 VM 配置。將密集配置政策套用至 VM 時，Compute Engine 會盡力建立彼此距離最近的 VM。如果您的應用程式對延遲時間很敏感，且需要盡可能精簡，請在建立密集配置政策時，指定 maxDistance 欄位 (預覽版)。maxDistance 值越低，VM 彼此會越靠近，但也會增加無法建立部分 VM 的可能性。

如要建立密集配置政策，請選取下列任一選項：

gcloud

如要建立密集配置政策，請使用 gcloud beta compute resource-policies create group-placement 指令：

gcloud beta compute resource-policies create group-placement POLICY_NAME \
    --collocation=collocated \
    --max-distance=MAX_DISTANCE \
    --region=REGION

更改下列內容：

  • POLICY_NAME：密集配置政策的名稱。
  • MAX_DISTANCE：VM 的最大距離設定，可指定 (預覽版，建議使用) 或不指定 (移除 --max-distance 旗標)。 您可以根據機型支援的項目，指定下列其中一個值：
    • 如要將 VM 放置在同一個子區塊中，請按照下列步驟操作：1
    • 如要將 VM 放在同一個區塊，請按照下列步驟操作：2
    • 如要將 VM 放置在相鄰區塊中，請按照下列步驟操作：3
    確認最大距離設定支援您打算建立的機器系列和 VM 數量。詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
  • REGION：要建立密集配置政策的區域。指定要建立執行個體的可用區所屬的區域，並確認您要使用的機型適用於該區域。如要瞭解地區，請參閱「各區域和可用區的 GPU 供應情形」。

REST

如要建立密集配置政策，請對 beta resourcePolicies.insert 方法發出 POST 要求。在要求主體中，加入設為 COLLOCATED 的 collocation 欄位，以及 maxDistance 欄位。

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "POLICY_NAME",
    "groupPlacementPolicy": {
      "collocation": "COLLOCATED",
      "maxDistance": MAX_DISTANCE
    }
  }

更改下列內容：

  • PROJECT_ID：您的專案 ID。
  • POLICY_NAME：密集配置政策的名稱。
  • MAX_DISTANCE：VM 的最大距離設定，可指定 (預覽版，建議使用) 或不指定 (移除 maxDistance 欄位)。 您可以根據機型支援的項目，指定下列其中一個值：
    • 如要將 VM 放置在同一個子區塊中，請按照下列步驟操作：1
    • 如要將 VM 放在同一個區塊，請按照下列步驟操作：2
    • 如要將 VM 放置在相鄰區塊中，請按照下列步驟操作：3
    確認最大距離設定支援您打算建立的機器系列和 VM 數量。詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
  • REGION：要建立密集配置政策的區域。指定要建立執行個體的可用區所屬的區域，並確認您要使用的機型適用於該區域。如要瞭解地區，請參閱「各區域和可用區的 GPU 供應情形」。

建立執行個體範本

建立執行個體範本，指定 MIG 的 VM 屬性。

如要建立執行個體範本，請選取下列任一選項：

下列指令也會設定執行個體的存取權範圍。為簡化權限管理，Google 建議您將執行個體的存取權範圍設為 cloud-platform 存取權，然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。

gcloud

如要建立區域執行個體範本，請使用 gcloud compute instance-templates create 指令。

您需要指定的參數取決於此部署作業使用的消耗選項。選取與計費方案對應的分頁。

預留項目

G2 執行個體支援下列預訂類型：

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目，執行個體必須採用標準佈建模式。舉例來說，請使用下列建立參數。

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY \
    --reservation=RESERVATION

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • any (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用預留項目的容量，但前提是必須有相符的預留容量。否則，執行個體會使用隨選容量。

      • specific (需要預留容量)：要求執行個體使用明確指定的預留項目容量。 執行個體不得使用隨選容量。如果預留容量不足，執行個體建立作業就會失敗。

    • RESERVATION：要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值，指定下列其中一個值：

      • 如果您指定 any，請將 RESERVATION 替換為空字串 ("")。或者，您也可以完全移除 --reservation 旗標。

      • 如果您指定 specific，請將 RESERVATION 替換為下列內容：

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容：

        • RESERVATION_OWNER_PROJECT_ID：建立預留項目的專案 ID。
        • RESERVATION_NAME：預訂名稱。

  2. 根據預設，如果執行個體當機，或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體，系統會自動重新啟動執行個體。如要停用自動重新啟動功能，請新增下列標記：

    --no-restart-on-failure

  3. 選用步驟：如果您選擇使用密集配置政策，請在指令中加入下列旗標：

    --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  4. 選用：如要連結本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  5. 執行更改後的指令。

隨選

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • any (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用預留項目的容量，但前提是必須有相符的預留容量。否則，執行個體會使用隨選容量。

      • none (必須使用隨需容量)：禁止執行個體使用任何預留容量。

  2. 根據預設，如果執行個體當機，或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體，系統會自動重新啟動執行個體。如要停用自動重新啟動功能，請新增下列標記：

    --no-restart-on-failure

  3. 選用步驟：如果您選擇使用密集配置政策，請在指令中加入下列旗標：

    --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  4. 選用：如要連結本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  5. 執行更改後的指令。

彈性啟動

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --reservation-affinity=none \
    --instance-termination-action=DELETE \
    --max-run-duration=RUN_DURATION \
    --maintenance-policy=TERMINATE \
    --provisioning-model=FLEX_START

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • RUN_DURATION：您希望要求的 VM 執行的時間長度。您必須將值格式化為天數、時數、分鐘數或秒數，並分別加上 d、h、m 和 s。例如，指定 30m 代表 30 分鐘，或指定 1d2h3m4s 代表 1 天 2 小時 3 分 4 秒。值必須介於 10 分鐘至 7 天之間。

  2. 選用：如要連結本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  3. 執行更改後的指令。

Spot

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • TERMINATION_ACTION：Compute Engine 預先終止執行個體時採取的動作，可以是 STOP (預設) 或 DELETE。

  2. 選用步驟：如果您選擇使用密集配置政策，請在指令中加入下列旗標：

    --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如要連結本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 選用：如要使用 NVIDIA RTX 虛擬工作站 (vWS)，請新增下列標記。

    建立使用 NVIDIA RTX Virtual Workstation 的執行個體時，Compute Engine 會自動新增 vWS 授權。如要瞭解虛擬工作站的定價，請參閱 GPU 定價頁面。

    --accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT

    請將 VWS_ACCELERATOR_COUNT 替換為所需的虛擬 GPU 數量。

  5. 執行更改後的指令。

REST

如要建立區域執行個體範本，請對 regionInstanceTemplates.insert 方法發出 POST 要求。

您需要指定的參數取決於此部署作業使用的消耗選項。選取與計費方案對應的分頁。

預留項目

G2 執行個體支援下列預訂類型：

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目，執行個體必須採用標準佈建模式。舉例來說，請使用下列建立參數。

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY",
    "key": "compute.googleapis.com/reservation-name",
    "values": [
      "RESERVATION"
    ]
  }
  }
}

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。

    • AUTOMATIC_RESTART：如果執行個體當機，或 Compute Engine 因排定的停止作業 (例如維護事件) 而停止執行個體，則執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設)，或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • ANY_RESERVATION (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用的預留項目容量，但前提是必須有相符的預留項目容量。否則，執行個體會使用隨選容量。

      • SPECIFIC_RESERVATION (需要預留容量)：要求執行個體使用明確指定的預留項目容量。 執行個體不得使用隨選容量。如果預留容量不足，執行個體建立作業就會失敗。

    • RESERVATION：要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值，指定下列其中一個值：

      • 如果您指定了 ANY_RESERVATION，請刪除 RESERVATION，讓值成為空字串 ("")。或者，您也可以完全移除 key 和 values 欄位。

      • 如果您指定 SPECIFIC_RESERVATION，請將 RESERVATION 替換為下列內容：

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容：

        • RESERVATION_OWNER_PROJECT_ID：建立預留項目的專案 ID。
        • RESERVATION_NAME：預訂名稱。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列 instanceProperties 子欄位：

        "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如要使用本機 SSD 磁碟，請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 選用：如要使用 NVIDIA RTX 虛擬工作站 (vWS)，請新增下列欄位。

    建立使用 NVIDIA RTX Virtual Workstation 的執行個體時，Compute Engine 會自動新增 vWS 授權。如要瞭解虛擬工作站的定價，請參閱 GPU 定價頁面。

    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-l4-vws"
    }
  ]

    請將 VWS_ACCELERATOR_COUNT 替換為所需的虛擬 GPU 數量。

  5. 提交要求。

隨選

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY"
  }
  }
}

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。

    • AUTOMATIC_RESTART：如果執行個體當機，或 Compute Engine 因排定的停止作業 (例如維護事件) 而停止執行個體，則執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設)，或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • ANY_RESERVATION (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用的預留項目容量，但前提是必須有相符的預留項目容量。否則，執行個體會使用隨選容量。

      • NO_RESERVATION (必須使用隨需容量)：禁止執行個體使用任何預留容量。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列 instanceProperties 子欄位：

        "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如要使用本機 SSD 磁碟，請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 選用：如要使用 NVIDIA RTX 虛擬工作站 (vWS)，請新增下列欄位。

    建立使用 NVIDIA RTX Virtual Workstation 的執行個體時，Compute Engine 會自動新增 vWS 授權。如要瞭解虛擬工作站的定價，請參閱 GPU 定價頁面。

    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-l4-vws"
    }
  ]

    請將 VWS_ACCELERATOR_COUNT 替換為所需的虛擬 GPU 數量。

  5. 提交要求。

彈性啟動

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "reservationAffinity": {
        "consumeReservationType": "NO_RESERVATION"
      },
    "scheduling": {
        "instanceTerminationAction": "DELETE",
        "maxRunDuration": {
          "seconds": RUN_DURATION
        },
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "FLEX_START"
      }

  }
}

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • RUN_DURATION：要求的 VM 要執行的時間長度 (以秒為單位)。值必須介於 600 (600 秒，即 10 分鐘) 和 604800 (604,800 秒，即 7 天) 之間。

  2. 選用：如要使用本機 SSD 磁碟，請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  3. 提交要求。

Spot

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling":
    {
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "TERMINATION_ACTION",
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": false
    }
  }
}

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：用於 G2 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • REGION：要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。

    • TERMINATION_ACTION：Compute Engine 預先終止執行個體時採取的動作，可以是 STOP (預設) 或 DELETE。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列 instanceProperties 子欄位：

        "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如要使用本機 SSD 磁碟，請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 選用：如要使用 NVIDIA RTX 虛擬工作站 (vWS)，請新增下列欄位。

    建立使用 NVIDIA RTX Virtual Workstation 的執行個體時，Compute Engine 會自動新增 vWS 授權。如要瞭解虛擬工作站的定價，請參閱 GPU 定價頁面。

    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-l4-vws"
    }
  ]

    請將 VWS_ACCELERATOR_COUNT 替換為所需的虛擬 GPU 數量。

  5. 提交要求。

建立執行個體範本後，您可以查看範本，瞭解其 ID 並檢查執行個體屬性。

建立 MIG

完成所有前置步驟後，請根據您的情境建立 MIG，如下所示：

情境 在 MIG 中建立 VM 的方法 範例
您有多項或並行工作，可使用任意數量的 VM 啟動。 建立 MIG，並使用目標大小指定要在群組中的 VM 數量。

請參閱建立具有目標大小的 MIG。

 機器學習推論工作
您有工作需要分配到特定數量的 VM。 建立不含任何 VM 的 MIG，然後在 MIG 中建立規模調整要求。 透過大小調整要求，您可以一次取得所有 VM。

請參閱「建立 MIG 和規模調整要求」。

 分散式機器學習訓練和微調工作

建立具有目標大小的 MIG

如果不需要一次建立所有 VM 就能啟動工作，請建立具有目標大小的 MIG。目標大小會決定 MIG 中的 VM 數量。MIG 會根據目前的資源可用性開始建立 VM。如果任何資源暫時無法使用，MIG 會持續嘗試建立 VM，以達到目標大小。

如要建立具有目標大小的 MIG，請選取下列任一選項：

gcloud

如要建立具有指定目標大小的 MIG，請使用 instance-groups managed create 指令。

請按照下列步驟建立可用區或區域性 MIG：

  • 如要建立可用區 MIG，請使用下列指令：
    gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --zone=ZONE
  • 如要建立區域性 MIG，請使用下列指令： 
    gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --region=REGION
取代下列項目：
  • MIG_NAME：MIG 的名稱。
  • INSTANCE_TEMPLATE_URL：您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值：
    • 如果是區域執行個體範本：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本：INSTANCE_TEMPLATE_ID
  • TARGET_SIZE：您希望 MIG 中的執行個體數量。
  • ZONE：要建立 MIG 的可用區。
  • REGION：要建立 MIG 的區域。如果是區域性 MIG，您可以使用 --zones 旗標指定該區域中的可用區，而非區域。

REST

如要建立具有指定目標大小的 MIG，請發出 POST 要求。

請按照下列步驟建立可用區或區域性 MIG：

  • 如要建立區域 MIG，請向 instanceGroupManagers.insert 方法發出 POST 要求。
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE
}
  • 如要建立區域 MIG，請向 regionInstanceGroupManagers.insert 方法發出 POST 要求。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE
  }
取代下列項目：
  • PROJECT_ID：專案 ID。
  • ZONE：要建立 MIG 的可用區。
  • REGION：要建立 MIG 的區域。
  • INSTANCE_TEMPLATE_URL：您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值：
    • 如果是區域執行個體範本：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本：INSTANCE_TEMPLATE_ID
  • MIG_NAME：MIG 的名稱。
  • TARGET_SIZE：您希望 MIG 中的執行個體數量。

建立 MIG 和規模調整要求

如要一次啟動多個 VM 來執行工作，請建立 MIG，然後在 MIG 中建立調整大小要求，如本節所述。

如要在 MIG 中建立規模調整要求，請選取下列任一選項：

gcloud

您需要指定的參數取決於此部署作業使用的消耗選項。選取與用量選項的佈建模型對應的分頁。

預留項目

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立規模調整要求，請按照下列步驟操作：

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zone=ZONE

    2. 使用 instance-groups managed resize-requests create 指令，在區域 MIG 中建立大小調整要求，如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --zone=ZONE

  • 如要在區域 MIG 中建立規模調整要求，請執行下列操作：

    1. 使用 instance-groups managed create 指令建立區域性 MIG，如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zones=ZONE \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none

    2. 使用 instance-groups managed resize-requests create 指令，在區域性 MIG 中建立大小調整要求，如下所示：這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --region=REGION

隨選

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立規模調整要求，請按照下列步驟操作：

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zone=ZONE

    2. 使用 instance-groups managed resize-requests create 指令，在區域 MIG 中建立大小調整要求，如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --zone=ZONE

  • 如要在區域 MIG 中建立規模調整要求，請執行下列操作：

    1. 使用 instance-groups managed create 指令建立區域性 MIG，如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zones=ZONE \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none

    2. 使用 instance-groups managed resize-requests create 指令，在區域性 MIG 中建立大小調整要求，如下所示：這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --region=REGION

彈性啟動

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立規模調整要求，請按照下列步驟操作：

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --default-action-on-vm-failure=do-nothing \
    --zone=ZONE

    2. 使用 instance-groups managed resize-requests create 指令，在區域 MIG 中建立大小調整要求，如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --zone=ZONE

  • 如要在區域 MIG 中建立規模調整要求，請執行下列操作：

    1. 使用 instance-groups managed create 指令建立區域性 MIG，如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --default-action-on-vm-failure=do-nothing \

    --region=REGION \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none

    2. 使用 instance-groups managed resize-requests create 指令，在區域性 MIG 中建立大小調整要求，如下所示：這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --region=REGION

Spot

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立規模調整要求，請按照下列步驟操作：

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zone=ZONE

    2. 使用 instance-groups managed resize-requests create 指令，在區域 MIG 中建立大小調整要求，如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --zone=ZONE

  • 如要在區域 MIG 中建立規模調整要求，請執行下列操作：

    1. 使用 instance-groups managed create 指令建立區域性 MIG，如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zones=ZONE \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none

    2. 使用 instance-groups managed resize-requests create 指令，在區域性 MIG 中建立大小調整要求，如下所示：這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --region=REGION
取代下列項目：
  • MIG_NAME：MIG 的名稱。
  • INSTANCE_TEMPLATE_URL：您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值：
    • 如果是區域執行個體範本：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本：INSTANCE_TEMPLATE_ID
  • ZONE：要建立 MIG 的可用區。您也必須為區域 MIG 指定可用區。這個區域必須包含虛擬私有雲網路的設定檔，且必須是可使用該機型的區域。詳情請參閱「限制」一節。
  • RESIZE_REQUEST_NAME：調整大小要求名稱，在指定的 MIG 內不得重複。否則建立大小調整要求就會失敗。
  • COUNT：一次要新增至 MIG 的執行個體數量。
  • REGION：要建立 MIG 的區域。

指定 VM 名稱清單，建立規模調整要求

如果工作負載需要特定 VM 名稱，請指定名稱清單來建立 VM。您指定的名稱數量，決定了 MIG 一次建立的 VM 數量。

如要在 MIG 中使用特定 VM 名稱建立調整大小要求，請使用 Beta 版 gcloud compute instance-groups managed resize-requests create 指令搭配 --instances 旗標：

  • 在區域 MIG 中執行下列指令：

    gcloud beta compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --instances=INSTANCE_NAMES \
    --zone=ZONE

  • 在地區 MIG 中執行下列指令：

    gcloud beta compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --instances=INSTANCE_NAMES \
    --region=REGION
將 INSTANCE_NAMES 替換為以半形逗號分隔的 VM 名稱清單。例如：instance-1,instance-2,instance-3。

REST

您需要指定的參數取決於此部署作業使用的消耗選項。選取與用量選項的佈建模型對應的分頁。

預留項目

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求，請按照下列步驟操作：
    1. 向 instanceGroupManagers.insert 方法發出 POST 要求，建立可用區 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0
}
    2. 如要在區域 MIG 中建立大小調整要求，請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示：這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • 如要在區域 MIG 中建立規模調整要求，請按照下列步驟操作：
    1. 向 regionInstanceGroupManagers.insert 方法發出 POST 要求，建立區域 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  }
}
    2. 在區域 MIG 中建立規模調整要求，方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}

隨選

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求，請按照下列步驟操作：
    1. 向 instanceGroupManagers.insert 方法發出 POST 要求，建立可用區 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0
}
    2. 如要在區域 MIG 中建立大小調整要求，請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示：這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • 如要在區域 MIG 中建立規模調整要求，請按照下列步驟操作：
    1. 向 regionInstanceGroupManagers.insert 方法發出 POST 要求，建立區域 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  }
}
    2. 在區域 MIG 中建立規模調整要求，方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}

彈性啟動

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求，請按照下列步驟操作：
    1. 向 instanceGroupManagers.insert 方法發出 POST 要求，建立可用區 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "instanceLifecyclePolicy": {
    "defaultActionOnFailure": "DO_NOTHING"
  }
}
    2. 如要在區域 MIG 中建立大小調整要求，請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示：這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • 如要在區域 MIG 中建立規模調整要求，請按照下列步驟操作：
    1. 向 regionInstanceGroupManagers.insert 方法發出 POST 要求，建立區域 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  },
  "instanceLifecyclePolicy": {
    "defaultActionOnFailure": "DO_NOTHING"
  }
}
    2. 在區域 MIG 中建立規模調整要求，方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}

Spot

請按照下列步驟建立可用區或區域 MIG，以及規模調整要求：

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求，請按照下列步驟操作：
    1. 向 instanceGroupManagers.insert 方法發出 POST 要求，建立可用區 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0
}
    2. 如要在區域 MIG 中建立大小調整要求，請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示：這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • 如要在區域 MIG 中建立規模調整要求，請按照下列步驟操作：
    1. 向 regionInstanceGroupManagers.insert 方法發出 POST 要求，建立區域 MIG，如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  }
}
    2. 在區域 MIG 中建立規模調整要求，方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求，如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱，請建立大小調整要求，並指定 VM 名稱清單。 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
取代下列項目：
  • PROJECT_ID：專案 ID。
  • ZONE：要建立 MIG 的可用區。這個區域必須與包含虛擬私有雲網路設定檔的區域相同，且所選機型必須適用於這個區域。詳情請參閱「限制」一節。
  • REGION：要建立 MIG 的區域。這個地區必須與虛擬私有雲網路設定檔所在的地區相同，且必須包含所選機型適用的區域。詳情請參閱「限制」一節。
  • INSTANCE_TEMPLATE_URL：您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值：
    • 如果是區域執行個體範本：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本：INSTANCE_TEMPLATE_ID
  • MIG_NAME：MIG 的名稱。
  • RESIZE_REQUEST_NAME：調整大小要求名稱，在指定的 MIG 內不得重複。否則建立大小調整要求就會失敗。
  • COUNT：一次要新增至 MIG 的執行個體數量

指定 VM 名稱清單，建立規模調整要求

如果工作負載需要特定 VM 名稱，請指定名稱清單來建立 VM。您指定的名稱數量，決定了 MIG 一次建立的 VM 數量。

如要在 MIG 中建立含有特定 VM 名稱的調整大小要求，請使用下列其中一種方法：

舉例來說，如要指定兩個 VM 名稱，請在要求主體中加入下列內容：

{
  "name": "RESIZE_REQUEST_NAME",
  "instances": [
    {
      "name": "INSTANCE_NAME_1"
    },
    {
      "name": "INSTANCE_NAME_2"
    }
  ]
}

將 INSTANCE_NAME_1, INSTANCE_NAME_2 替換為 VM 的名稱。

安裝 GPU 驅動程式

建立執行個體後，除非已安裝正確的 GPU 驅動程式，否則執行個體無法使用 GPU。 您需要安裝的驅動程式，取決於執行個體是否已啟用 NVIDIA RTX 虛擬工作站 (vWS)。請使用下列其中一種方式：

後續步驟