建立具有 GPU 的 AI 最佳化 N1 MIG

本文說明如何建立代管執行個體群組 (MIG),並使用 N1 系列和附加的 GPU。如要進一步瞭解這些機型,請參閱 N1 系列

建立 MIG 後,您就能以單一實體的形式管理多個虛擬機器 (VM)。MIG 中的每個 VM 都是以執行個體範本為基礎。MIG 會自動管理群組中的 VM,因此可提供高可用性和擴充性。如要進一步瞭解 MIG,請參閱 Compute Engine 說明文件中的代管執行個體群組

如要瞭解建立 VM 或叢集的其他方式,請參閱「部署選項總覽」。

限制

使用搭載 GPU 的 N1 VM 建立 MIG 時,請考量機型和 MIG 的限制。

搭載 GPU 的 N1 VM 限制

如要瞭解適用於搭載 GPU 的 N1 機器類型限制,請參閱下列所有文章:

MIG 的限制

事前準備

建立 MIG 前,請先完成下列步驟 (如尚未完成):

  1. 選擇計費方案:您選擇的計費方案會決定取得及使用 GPU 資源的方式。詳情請參閱「選擇消耗量選項」。
  2. 取得容量:取得容量的程序會因消費選項而異。如要瞭解如何為所選用量方案取得容量,請參閱「容量總覽」。

必要的角色

如要取得建立 MIG 所需的權限,請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立 MIG 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

如要建立 MIG,必須具備下列權限:

  • 如要建立 MIG,請在專案上按一下 compute.instanceGroupManagers.create

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

總覽

如要使用 N1 搭配 T4 或 V100 GPU 機型建立 MIG,請完成下列步驟:

  1. 建立執行個體範本
  2. 建立 MIG
  3. 安裝 GPU 驅動程式

建立執行個體範本

建立執行個體範本,指定 MIG 的 VM 屬性。

如要建立執行個體範本,請選取下列任一選項:

下列指令也會設定執行個體的存取權範圍。為簡化權限管理,Google 建議您將執行個體的存取權範圍設為 cloud-platform 存取權,然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。

gcloud

如要建立區域執行個體範本,請使用 gcloud compute instance-templates create 指令

您需要指定的參數取決於此部署作業使用的消耗選項。選取與計費方案對應的分頁。

預留項目

搭載 T4 或 V100 GPU 的 N1 執行個體支援下列預留類型

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目,執行個體必須採用標準佈建模式。舉例來說,請使用下列建立參數。

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY \
    --reservation=RESERVATION

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • any (預留容量為選用項目):這是預設選項。執行個體會嘗試使用自動使用預留項目的容量,但前提是必須有相符的預留容量。否則,執行個體會使用隨選容量。

      • specific (需要預留容量):要求執行個體使用明確指定的預留項目容量。 執行個體不得使用隨選容量。如果預留容量不足,執行個體建立作業就會失敗。

    • RESERVATION:要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值,指定下列其中一個值:

      • 如果您指定 any,請將 RESERVATION 替換為空字串 ("")。或者,您也可以完全移除 --reservation 旗標。
      • 如果您指定 specific,請將 RESERVATION 替換為下列內容:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容:

        • RESERVATION_OWNER_PROJECT_ID:建立預留項目的專案 ID。
        • RESERVATION_NAME:預訂名稱。
  2. 根據預設,如果執行個體當機,或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體,系統會自動重新啟動執行個體。如要停用自動重新啟動功能,請新增下列標記:

    --no-restart-on-failure
  3. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  4. 執行更改後的指令。

隨選

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • any (預留容量為選用項目):這是預設選項。執行個體會嘗試使用自動使用預留項目的容量,但前提是必須有相符的預留容量。否則,執行個體會使用隨選容量。

      • none (必須使用隨需容量):禁止執行個體使用任何預留容量。

  2. 根據預設,如果執行個體當機,或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體,系統會自動重新啟動執行個體。如要停用自動重新啟動功能,請新增下列標記:

    --no-restart-on-failure
  3. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  4. 執行更改後的指令。

彈性啟動

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --reservation-affinity=none \
    --instance-termination-action=DELETE \
    --max-run-duration=RUN_DURATION \
    --maintenance-policy=TERMINATE \
    --provisioning-model=FLEX_START

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • RUN_DURATION:您希望要求的 VM 執行的時間長度。您必須將值格式化為天數、時數、分鐘數或秒數,並分別加上 dhms。例如,指定 30m 代表 30 分鐘,或指定 1d2h3m4s 代表 1 天 2 小時 3 分 4 秒。值必須介於 10 分鐘至 7 天之間。
  2. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  3. 執行更改後的指令。

Spot

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需地區相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • TERMINATION_ACTION:Compute Engine 預先終止執行個體時採取的動作,可以是 STOP (預設) 或 DELETE

  2. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 標記。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  3. 執行更改後的指令。

REST

如要建立區域執行個體範本,請對 regionInstanceTemplates.insert 方法發出 POST 要求。

您需要指定的參數取決於此部署作業使用的消耗選項。選取與計費方案對應的分頁。

預留項目

搭載 T4 或 V100 GPU 的 N1 執行個體支援下列預留類型

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目,執行個體必須採用標準佈建模式。舉例來說,請使用下列建立參數。

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY",
    "key": "compute.googleapis.com/reservation-name",
    "values": [
      "RESERVATION"
    ]
  }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • AUTOMATIC_RESTART:如果執行個體當機,或 Compute Engine 因排定的停止作業 (例如維護事件) 而停止執行個體,則執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設),或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • ANY_RESERVATION (預留容量為選用項目):這是預設選項。執行個體會嘗試使用自動使用的預留項目容量,但前提是必須有相符的預留項目容量。否則,執行個體會使用隨選容量。

      • SPECIFIC_RESERVATION (需要預留容量):要求執行個體使用明確指定的預留項目容量。 執行個體不得使用隨選容量。如果預留容量不足,執行個體建立作業就會失敗。

    • RESERVATION:要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值,指定下列其中一個值:

      • 如果您指定了 ANY_RESERVATION,請刪除 RESERVATION,讓值成為空字串 ("")。或者,您也可以完全移除 keyvalues 欄位。
      • 如果您指定 SPECIFIC_RESERVATION,請將 RESERVATION 替換為下列內容:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容:

        • RESERVATION_OWNER_PROJECT_ID:建立預留項目的專案 ID。
        • RESERVATION_NAME:預訂名稱。
  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  3. 提交要求。

隨選

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY"
  }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • AUTOMATIC_RESTART:如果執行個體當機,或 Compute Engine 因排定的停止作業 (例如維護事件) 而停止執行個體,則執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設),或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • ANY_RESERVATION (預留容量為選用項目):這是預設選項。執行個體會嘗試使用自動使用的預留項目容量,但前提是必須有相符的預留項目容量。否則,執行個體會使用隨選容量。

      • NO_RESERVATION (必須使用隨需容量):禁止執行個體使用任何預留容量。

  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  3. 提交要求。

彈性啟動

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "reservationAffinity": {
        "consumeReservationType": "NO_RESERVATION"
      },
    "scheduling": {
        "instanceTerminationAction": "DELETE",
        "maxRunDuration": {
          "seconds": RUN_DURATION
        },
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "FLEX_START"
      }

  }
}

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • RUN_DURATION:要求的 VM 要執行的時間長度 (以秒為單位)。值必須介於 600 (600 秒,即 10 分鐘) 和 604800 (604,800 秒,即 7 天) 之間。
  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  3. 提交要求。

Spot

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling":
    {
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "TERMINATION_ACTION",
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": false
    }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • INSTANCE_TEMPLATE_NAME:執行個體範本的名稱。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機器類型」。
    • ACCELERATOR_COUNT:要附加至 N1 VM 的 GPU 數量。如需 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:您要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:要建立執行個體範本的區域。指定您要使用的機型適用的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • TERMINATION_ACTION:Compute Engine 預先終止執行個體時採取的動作,可以是 STOP (預設) 或 DELETE

  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至每個本機 SSD 磁碟的 disks[] 欄位。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式,請指定 NVME。為其他圖片指定 SCSI

    建立含有本機 SSD 磁碟的 VM 後,您必須先格式化並掛接每個裝置,方可使用。

  3. 提交要求。

建立執行個體範本後,您可以查看範本,瞭解其 ID 並檢查執行個體屬性。

建立 MIG

完成所有前置步驟後,請根據您的情境建立 MIG,如下所示:

情境 在 MIG 中建立 VM 的方法 範例
您有多項或並行工作,可使用任意數量的 VM 啟動。 建立 MIG,並使用目標大小指定要在群組中的 VM 數量。

請參閱建立具有目標大小的 MIG

機器學習推論工作
您有工作需要分配到特定數量的 VM。 建立不含任何 VM 的 MIG,然後在 MIG 中建立規模調整要求。 透過大小調整要求,您可以一次取得所有 VM。

請參閱「建立 MIG 和規模調整要求」。

分散式機器學習訓練和微調工作

建立具有目標大小的 MIG

如果不需要一次建立所有 VM 就能啟動工作,請建立具有目標大小的 MIG。目標大小會決定 MIG 中的 VM 數量。MIG 會根據目前的資源可用性開始建立 VM。如果任何資源暫時無法使用,MIG 會持續嘗試建立 VM,以達到目標大小。

如要建立具有目標大小的 MIG,請選取下列任一選項:

gcloud

如要建立具有指定目標大小的 MIG,請使用 instance-groups managed create 指令

請按照下列步驟建立可用區或區域性 MIG:

  • 如要建立可用區 MIG,請使用下列指令:
    gcloud compute instance-groups managed create MIG_NAME \
      --template=INSTANCE_TEMPLATE_URL \
      --size=TARGET_SIZE \
      --zone=ZONE
    
  • 如要建立區域性 MIG,請使用下列指令:
    gcloud compute instance-groups managed create MIG_NAME \
        --template=INSTANCE_TEMPLATE_URL \
        --size=TARGET_SIZE \
        --region=REGION
    
取代下列項目:
  • MIG_NAME:MIG 的名稱。
  • INSTANCE_TEMPLATE_URL:您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值:
    • 如果是區域執行個體範本:projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本:INSTANCE_TEMPLATE_ID
  • TARGET_SIZE:您希望 MIG 中的執行個體數量。
  • ZONE:要建立 MIG 的可用區。
  • REGION:要建立 MIG 的區域。如果是區域性 MIG,您可以使用 --zones 旗標指定該區域中的可用區,而非區域。

REST

如要建立具有指定目標大小的 MIG,請發出 POST 要求。

請按照下列步驟建立可用區或區域性 MIG:

  • 如要建立區域 MIG,請向 instanceGroupManagers.insert 方法發出 POST 要求。
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
    {
      "versions": [
        {
          "instanceTemplate": "INSTANCE_TEMPLATE_URL"
        }
      ],
      "name": "MIG_NAME",
      "targetSize": TARGET_SIZE
    }
    
  • 如要建立區域 MIG,請向 regionInstanceGroupManagers.insert 方法發出 POST 要求。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
      {
        "name": "MIG_NAME",
        "instanceTemplate": "INSTANCE_TEMPLATE_URL",
        "targetSize": TARGET_SIZE
      }
    
取代下列項目:
  • PROJECT_ID:專案 ID。
  • ZONE:要建立 MIG 的可用區。
  • REGION:要建立 MIG 的區域。
  • INSTANCE_TEMPLATE_URL:您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值:
    • 如果是區域執行個體範本:projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本:INSTANCE_TEMPLATE_ID
  • MIG_NAME:MIG 的名稱。
  • TARGET_SIZE:您希望 MIG 中的執行個體數量。

建立 MIG 和規模調整要求

如要一次啟動多個 VM 來執行工作,請建立 MIG,然後在 MIG 中建立調整大小要求,如本節所述。

如要在 MIG 中建立規模調整要求,請選取下列任一選項:

gcloud

您需要指定的參數取決於此部署作業使用的消耗選項。選取與用量選項的佈建模型對應的分頁。

預留項目

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立規模調整要求,請按照下列步驟操作:

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --zone=ZONE
      
    2. 使用 instance-groups managed resize-requests create 指令,在區域 MIG 中建立大小調整要求,如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --zone=ZONE
      
  • 如要在區域 MIG 中建立規模調整要求,請執行下列操作:

    1. 使用 instance-groups managed create 指令建立區域性 MIG,如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --zones=ZONE \
          --target-distribution-shape=any-single-zone \
          --instance-redistribution-type=none
        
    2. 使用 instance-groups managed resize-requests create 指令,在區域性 MIG 中建立大小調整要求,如下所示:這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --region=REGION
      

隨選

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立規模調整要求,請按照下列步驟操作:

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --zone=ZONE
      
    2. 使用 instance-groups managed resize-requests create 指令,在區域 MIG 中建立大小調整要求,如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --zone=ZONE
      
  • 如要在區域 MIG 中建立規模調整要求,請執行下列操作:

    1. 使用 instance-groups managed create 指令建立區域性 MIG,如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --zones=ZONE \
          --target-distribution-shape=any-single-zone \
          --instance-redistribution-type=none
        
    2. 使用 instance-groups managed resize-requests create 指令,在區域性 MIG 中建立大小調整要求,如下所示:這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --region=REGION
      

彈性啟動

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立規模調整要求,請按照下列步驟操作:

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --default-action-on-vm-failure=do-nothing \
          --zone=ZONE
      
    2. 使用 instance-groups managed resize-requests create 指令,在區域 MIG 中建立大小調整要求,如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --zone=ZONE
      
  • 如要在區域 MIG 中建立規模調整要求,請執行下列操作:

    1. 使用 instance-groups managed create 指令建立區域性 MIG,如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --default-action-on-vm-failure=do-nothing \
      
          --region=REGION \
          --target-distribution-shape=any-single-zone \
          --instance-redistribution-type=none
        
    2. 使用 instance-groups managed resize-requests create 指令,在區域性 MIG 中建立大小調整要求,如下所示:這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --region=REGION
      

Spot

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立規模調整要求,請按照下列步驟操作:

    1. 使用下列instance-groups managed create 指令建立可用區 MIG。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --zone=ZONE
      
    2. 使用 instance-groups managed resize-requests create 指令,在區域 MIG 中建立大小調整要求,如下所示。這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --zone=ZONE
      
  • 如要在區域 MIG 中建立規模調整要求,請執行下列操作:

    1. 使用 instance-groups managed create 指令建立區域性 MIG,如下所示。

      gcloud compute instance-groups managed create MIG_NAME \
          --template=INSTANCE_TEMPLATE_URL \
          --size=0 \
          --zones=ZONE \
          --target-distribution-shape=any-single-zone \
          --instance-redistribution-type=none
        
    2. 使用 instance-groups managed resize-requests create 指令,在區域性 MIG 中建立大小調整要求,如下所示:這項指令會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
          --resize-request=RESIZE_REQUEST_NAME \
          --resize-by=COUNT \
          --region=REGION
      
取代下列項目:
  • MIG_NAME:MIG 的名稱。
  • INSTANCE_TEMPLATE_URL:您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值:
    • 如果是區域執行個體範本:projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本:INSTANCE_TEMPLATE_ID
  • ZONE:要建立 MIG 的可用區。您也必須為區域 MIG 指定可用區。這個區域必須包含虛擬私有雲網路的設定檔,且必須是可使用該機型的區域。詳情請參閱「限制」一節。
  • RESIZE_REQUEST_NAME:調整大小要求名稱,在指定的 MIG 內不得重複。否則建立大小調整要求就會失敗。
  • COUNT:一次要新增至 MIG 的執行個體數量。
  • REGION:要建立 MIG 的區域。

指定 VM 名稱清單,建立規模調整要求

如果工作負載需要特定 VM 名稱,請指定名稱清單來建立 VM。您指定的名稱數量,決定了 MIG 一次建立的 VM 數量。

如要在 MIG 中使用特定 VM 名稱建立調整大小要求,請使用 Beta 版 gcloud compute instance-groups managed resize-requests create 指令搭配 --instances 旗標:

  • 在區域 MIG 中執行下列指令:

    gcloud beta compute instance-groups managed resize-requests create MIG_NAME \
        --resize-request=RESIZE_REQUEST_NAME \
        --instances=INSTANCE_NAMES \
        --zone=ZONE
    
  • 在地區 MIG 中執行下列指令:

    gcloud beta compute instance-groups managed resize-requests create MIG_NAME \
        --resize-request=RESIZE_REQUEST_NAME \
        --instances=INSTANCE_NAMES \
        --region=REGION
    
INSTANCE_NAMES 替換為以半形逗號分隔的 VM 名稱清單。例如:instance-1,instance-2,instance-3

REST

您需要指定的參數取決於此部署作業使用的消耗選項。選取與用量選項的佈建模型對應的分頁。

預留項目

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求,請按照下列步驟操作:
    1. instanceGroupManagers.insert 方法發出 POST 要求,建立可用區 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0
      }
      
    2. 如要在區域 MIG 中建立大小調整要求,請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示:這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      
  • 如要在區域 MIG 中建立規模調整要求,請按照下列步驟操作:
    1. regionInstanceGroupManagers.insert 方法發出 POST 要求,建立區域 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0,
        "distributionPolicy": {
          "targetShape": "ANY_SINGLE_ZONE",
          "zones": [
            {
              "zone": "projects/PROJECT_ID/zones/ZONE"
            }
          ]
        },
        "updatePolicy": {
          "instanceRedistributionType": "NONE"
        }
      }
      
    2. 在區域 MIG 中建立規模調整要求,方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      

隨選

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求,請按照下列步驟操作:
    1. instanceGroupManagers.insert 方法發出 POST 要求,建立可用區 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0
      }
      
    2. 如要在區域 MIG 中建立大小調整要求,請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示:這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      
  • 如要在區域 MIG 中建立規模調整要求,請按照下列步驟操作:
    1. regionInstanceGroupManagers.insert 方法發出 POST 要求,建立區域 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0,
        "distributionPolicy": {
          "targetShape": "ANY_SINGLE_ZONE",
          "zones": [
            {
              "zone": "projects/PROJECT_ID/zones/ZONE"
            }
          ]
        },
        "updatePolicy": {
          "instanceRedistributionType": "NONE"
        }
      }
      
    2. 在區域 MIG 中建立規模調整要求,方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      

彈性啟動

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求,請按照下列步驟操作:
    1. instanceGroupManagers.insert 方法發出 POST 要求,建立可用區 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0,
        "instanceLifecyclePolicy": {
          "defaultActionOnFailure": "DO_NOTHING"
        }
      }
      
    2. 如要在區域 MIG 中建立大小調整要求,請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示:這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      
  • 如要在區域 MIG 中建立規模調整要求,請按照下列步驟操作:
    1. regionInstanceGroupManagers.insert 方法發出 POST 要求,建立區域 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0,
        "distributionPolicy": {
          "targetShape": "ANY_SINGLE_ZONE",
          "zones": [
            {
              "zone": "projects/PROJECT_ID/zones/ZONE"
            }
          ]
        },
        "updatePolicy": {
          "instanceRedistributionType": "NONE"
        },
        "instanceLifecyclePolicy": {
          "defaultActionOnFailure": "DO_NOTHING"
        }
      }
      
    2. 在區域 MIG 中建立規模調整要求,方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      

Spot

請按照下列步驟建立可用區或區域 MIG,以及規模調整要求:

  • 如要在可用區 MIG 中建立 MIG 和調整大小要求,請按照下列步驟操作:
    1. instanceGroupManagers.insert 方法發出 POST 要求,建立可用區 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0
      }
      
    2. 如要在區域 MIG 中建立大小調整要求,請向 instanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示:這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      
  • 如要在區域 MIG 中建立規模調整要求,請按照下列步驟操作:
    1. regionInstanceGroupManagers.insert 方法發出 POST 要求,建立區域 MIG,如下所示。
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
      {
        "versions": [
          {
            "instanceTemplate": "INSTANCE_TEMPLATE_URL"
          }
        ],
        "name": "MIG_NAME",
        "targetSize": 0,
        "distributionPolicy": {
          "targetShape": "ANY_SINGLE_ZONE",
          "zones": [
            {
              "zone": "projects/PROJECT_ID/zones/ZONE"
            }
          ]
        },
        "updatePolicy": {
          "instanceRedistributionType": "NONE"
        }
      }
      
    2. 在區域 MIG 中建立規模調整要求,方法是向 regionInstanceGroupManagerResizeRequests.insert 方法發出 POST 要求,如下所示。這項要求會指定要建立的 VM 數量。如果工作負載需要特定 VM 名稱,請建立大小調整要求,並指定 VM 名稱清單
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
      {
        "name": "RESIZE_REQUEST_NAME",
        "resizeBy": COUNT
      }
      
取代下列項目:
  • PROJECT_ID:專案 ID。
  • ZONE:要建立 MIG 的可用區。這個區域必須與包含虛擬私有雲網路設定檔的區域相同,且所選機型必須適用於這個區域。詳情請參閱「限制」一節。
  • REGION:要建立 MIG 的區域。這個地區必須與虛擬私有雲網路設定檔所在的地區相同,且必須包含所選機型適用的區域。詳情請參閱「限制」一節。
  • INSTANCE_TEMPLATE_URL:您要用於在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的ID 或名稱。請指定下列其中一個值:
    • 如果是區域執行個體範本:projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 全域執行個體範本:INSTANCE_TEMPLATE_ID
  • MIG_NAME:MIG 的名稱。
  • RESIZE_REQUEST_NAME:調整大小要求名稱,在指定的 MIG 內不得重複。否則建立大小調整要求就會失敗。
  • COUNT:一次要新增至 MIG 的執行個體數量

指定 VM 名稱清單,建立規模調整要求

如果工作負載需要特定 VM 名稱,請指定名稱清單來建立 VM。您指定的名稱數量,決定了 MIG 一次建立的 VM 數量。

如要在 MIG 中建立含有特定 VM 名稱的調整大小要求,請使用下列其中一種方法:

舉例來說,如要指定兩個 VM 名稱,請在要求主體中加入下列內容:

{
  "name": "RESIZE_REQUEST_NAME",
  "instances": [
    {
      "name": "INSTANCE_NAME_1"
    },
    {
      "name": "INSTANCE_NAME_2"
    }
  ]
}

INSTANCE_NAME_1, INSTANCE_NAME_2 替換為 VM 的名稱。

安裝 GPU 驅動程式

建立執行個體後,除非已安裝正確的 GPU 驅動程式,否則執行個體無法使用 GPU。 您需要安裝的驅動程式,取決於執行個體是否已啟用 NVIDIA RTX 虛擬工作站 (vWS)。請使用下列其中一種方式:

後續步驟