大量建立搭載 GPU 的 AI 最佳化 N1 VM

本文說明如何大量建立虛擬機器 (VM) 執行個體,並使用 N1 機器系列和附加的 GPU。如要進一步瞭解這些加速器最佳化機型,請參閱「N1+GPU 系列」。

如要進一步瞭解如何大量建立 VM,請參閱 Compute Engine 說明文件的「關於大量建立 VM」。

如要瞭解建立 VM 或叢集的其他方式,請參閱「部署選項總覽」。

限制

如要瞭解適用於搭載 GPU 的 N1 機型限制,請參閱下列所有內容:

事前準備

大量建立 VM 前,請先完成下列步驟 (如尚未完成):

  1. 選擇計費方案:您選擇的計費方案會決定取得及使用 GPU 資源的方式。詳情請參閱「選擇消耗選項」。
  2. 取得容量:取得容量的程序會因用量選項而異。如要瞭解如何取得所選用量方案的容量,請參閱「容量總覽」。

選取這個頁面上範例的預計用途分頁:

控制台

使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時,不需要設定驗證。

gcloud

在 Google Cloud 控制台中啟用 Cloud Shell。

啟用 Cloud Shell

Google Cloud 控制台底部會開啟 Cloud Shell 工作階段,並顯示指令列提示。Cloud Shell 是已安裝 Google Cloud CLI 的殼層環境,並已設定適用於您目前專案的值。工作階段可能要幾秒鐘的時間才能初始化。

REST

如要在本機開發環境中使用本頁的 REST API 範例,請使用您提供給 gcloud CLI 的憑證。

    安裝 Google Cloud CLI。

    如果您使用外部識別資訊提供者 (IdP),請先 使用聯合身分登入 gcloud CLI。

詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

必要的角色

如要取得大量建立 VM 的權限,請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備大量建立 VM 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

如要大量建立 VM,必須具備下列權限:

  • 專案有 compute.instances.create
  • 如要使用自訂映像檔建立 VM,請按照下列步驟操作: compute.images.useReadOnly 在映像檔上
  • 如要使用快照建立 VM,請按照下列步驟操作: compute.snapshots.useReadOnly 在快照上
  • 如要使用執行個體範本建立 VM,請按照下列步驟操作: compute.instanceTemplates.useReadOnly 在執行個體範本上
  • 如要為 VM 指定子網路: compute.subnetworks.use 在專案或所選子網路上
  • 如要為 VM 指定靜態 IP 位址: compute.addresses.use 在專案中
  • 使用虛擬私有雲網路時,如要為 VM 指派外部 IP 位址,請在專案或所選子網路上執行下列步驟: compute.subnetworks.useExternalIp
  • 如要將舊版網路指派給 VM,請按照下列步驟操作: compute.networks.use 在專案中
  • 使用舊版網路時,如要為 VM 指派外部 IP 位址,請執行下列步驟: compute.networks.useExternalIp 專案
  • 如要為 VM 設定 VM 執行個體中繼資料,請在專案中執行下列步驟: compute.instances.setMetadata
  • 如要為 VM 設定標記,請按照下列步驟操作: compute.instances.setTags 在 VM 上
  • 如要為 VM 設定標籤,請按照下列步驟操作: compute.instances.setLabels 在 VM 上
  • 如要設定 VM 使用的服務帳戶: compute.instances.setServiceAccount 在 VM 上
  • 為 VM 建立新磁碟: compute.disks.create 專案
  • 如要以唯讀或讀寫模式連結現有磁碟: compute.disks.use 在磁碟上
  • 如要以唯讀模式連接現有磁碟: compute.disks.useReadOnly 磁碟

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

總覽

使用 N1 搭配 T4 或 V100 GPU 的機型大量建立執行個體,包括下列步驟:

  1. 大量建立執行個體
  2. 安裝 GPU 驅動程式

大量建立搭載 GPU 的 N1 VM

如要大量建立搭載 GPU 的 N1 VM,請使用下列任一方法。

下列指令也會設定執行個體的存取權範圍。為簡化權限管理,Google 建議您將執行個體的存取權範圍設為 cloud-platform 存取,然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。

gcloud

如要大量建立執行個體,請使用 gcloud compute instances bulk create 指令。

您需要指定的參數取決於用於這項部署作業的消耗選項。選取與計費方案對應的分頁。

預留項目

搭載 T4 或 V100 GPU 的 N1 執行個體支援下列預留類型:

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目,執行個體必須採用標準佈建模式。舉例來說,請使用下列建立參數。

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY \
    --reservation=RESERVATION

操作步驟如下:

  1. 更改下列內容:

    • NAME_PATTERN:用於 N1 搭配 T4 或 V100 GPU 執行個體的名稱模式。 舉例來說,如果名稱模式為 instance-#,就會產生 N1 (搭載 T4 或 V100 GPU) 執行個體,名稱如 instance-1 和 instance-2,最多可達 --count 指定的 N1 (搭載 T4 或 V100 GPU) 執行個體數量。
    • COUNT:要建立的 N1 執行個體數量,這些執行個體搭載 T4 或 V100 GPU。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • ACCELERATOR_COUNT:要連結至 N1 VM 的 GPU 數量。如要查看 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:指定要使用的機型所在的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制,視磁碟類型而定。
    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • any (預留容量為選用):這是預設選項。執行個體會嘗試使用自動使用預留項目的容量,但前提是必須有相符的預留容量。否則,執行個體會使用隨選容量。

      • specific (需要預留容量):要求執行個體使用特定目標預留項目的容量。 執行個體不得使用隨選容量。如果沒有預留容量,就無法建立執行個體。

    • RESERVATION:要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值,指定下列其中一個值:

      • 如果您指定 any,請將 RESERVATION 替換為空字串 ("")。或者,您也可以完全移除 --reservation 旗標。
      • 如果您指定 specific,請將 RESERVATION 替換為下列內容:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容:

        • RESERVATION_OWNER_PROJECT_ID:建立預留項目的專案 ID。
        • RESERVATION_NAME:預訂名稱。
  2. 根據預設,如果執行個體當機,或 Compute Engine 因排定停止作業 (例如維護事件) 而停止執行個體,系統會自動重新啟動執行個體。如要停用自動重新啟動功能,請新增下列旗標:

    --no-restart-on-failure
  3. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認附加的本機 SSD 磁碟數量符合機型規定;詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔含有經過最佳化的 NVMe 驅動程式,請指定 NVME。針對其他圖片指定 SCSI。

    使用本機 SSD 磁碟建立 VM 後,您必須格式化並掛接每個裝置,才能使用。

  4. 執行更改後的指令。

隨選

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY

操作步驟如下:

  1. 更改下列內容:

    • NAME_PATTERN:用於 N1 搭配 T4 或 V100 GPU 執行個體的名稱模式。 舉例來說,如果名稱模式為 instance-#,就會產生 N1 (搭載 T4 或 V100 GPU) 執行個體,名稱如 instance-1 和 instance-2,最多可達 --count 指定的 N1 (搭載 T4 或 V100 GPU) 執行個體數量。
    • COUNT:要建立的 N1 執行個體數量,這些執行個體搭載 T4 或 V100 GPU。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • ACCELERATOR_COUNT:要連結至 N1 VM 的 GPU 數量。如要查看 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:指定要使用的機型所在的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制,視磁碟類型而定。
    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • any (預留容量為選用):這是預設選項。執行個體會嘗試使用自動使用預留項目的容量,但前提是必須有相符的預留容量。否則,執行個體會使用隨選容量。

      • none (需要隨需容量):禁止執行個體使用任何預留容量。

  2. 根據預設,如果執行個體當機,或 Compute Engine 因排定停止作業 (例如維護事件) 而停止執行個體,系統會自動重新啟動執行個體。如要停用自動重新啟動功能,請新增下列旗標:

    --no-restart-on-failure
  3. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認附加的本機 SSD 磁碟數量符合機型規定;詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔含有經過最佳化的 NVMe 驅動程式,請指定 NVME。針對其他圖片指定 SCSI。

    使用本機 SSD 磁碟建立 VM 後,您必須格式化並掛接每個裝置,才能使用。

  4. 執行更改後的指令。

Spot

執行指令前,請先詳閱下列所有步驟,判斷是否要加入其他標記。

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --accelerator=type=ACCELERATOR_TYPE,count=ACCELERATOR_COUNT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

操作步驟如下:

  1. 更改下列內容:

    • NAME_PATTERN:用於 N1 搭配 T4 或 V100 GPU 執行個體的名稱模式。 舉例來說,如果名稱模式為 instance-#,就會產生 N1 (搭載 T4 或 V100 GPU) 執行個體,名稱如 instance-1 和 instance-2,最多可達 --count 指定的 N1 (搭載 T4 或 V100 GPU) 執行個體數量。
    • COUNT:要建立的 N1 執行個體數量,這些執行個體搭載 T4 或 V100 GPU。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • ACCELERATOR_COUNT:要連結至 N1 VM 的 GPU 數量。如要查看 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:指定要使用的機型所在的區域。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制,視磁碟類型而定。
    • TERMINATION_ACTION:Compute Engine 搶占執行個體時採取的動作,可以是 STOP (預設) 或 DELETE。

  2. 選用:如要連結本機 SSD 磁碟,請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認附加的本機 SSD 磁碟數量符合機型規定;詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」。

    --local-ssd interface=INTERFACE_TYPE
    

    更改下列內容:

    • INTERFACE_TYPE:要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔含有經過最佳化的 NVMe 驅動程式,請指定 NVME。針對其他圖片指定 SCSI。

    使用本機 SSD 磁碟建立 VM 後,您必須格式化並掛接每個裝置,才能使用。

  3. 執行更改後的指令。

REST

如要大量建立執行個體,請對 instances.bulkInsert 方法發出 POST 要求。

您需要指定的參數取決於用於這項部署作業的消耗選項。選取與計費方案對應的分頁。

預留項目

搭載 T4 或 V100 GPU 的 N1 執行個體支援下列預留類型:

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目,執行個體必須採用標準佈建模式。舉例來說,請使用下列建立參數。

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators":
    [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY",
    "key": "compute.googleapis.com/reservation-name",
    "values": [
      "RESERVATION"
    ]
  }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • PROJECT_ID:您要在哪個專案 ID 中建立搭載 T4 或 V100 GPU 的 N1 執行個體。
    • ZONE:指定可用區,您要使用的機型必須位於該可用區。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • NAME_PATTERN:用於 N1 搭配 T4 或 V100 GPU 執行個體的名稱模式。 舉例來說,如果名稱模式為 instance-#,就會產生 N1 (搭載 T4 或 V100 GPU) 執行個體,名稱如 instance-1 和 instance-2,最多可達 --count 指定的 N1 (搭載 T4 或 V100 GPU) 執行個體數量。
    • COUNT:要建立的 N1 執行個體數量,這些執行個體搭載 T4 或 V100 GPU。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • ACCELERATOR_COUNT:要連結至 N1 VM 的 GPU 數量。如要查看 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • AUTOMATIC_RESTART:如果執行個體當機,或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體,執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設),或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • ANY_RESERVATION (預留容量為選用):這是預設選項。執行個體會嘗試使用自動使用預留項目的容量,但前提是必須有相符的預留容量。否則,執行個體會使用隨選運算量。

      • SPECIFIC_RESERVATION (需要預留容量):要求執行個體使用特定目標預留項目的容量。 執行個體不得使用隨選容量。如果沒有預留容量,就無法建立執行個體。

    • RESERVATION:要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值,指定下列其中一個值:

      • 如果您指定了 ANY_RESERVATION,請刪除 RESERVATION,讓值成為空字串 ("")。或者,您也可以完全移除 key 和 values 欄位。
      • 如果您指定 SPECIFIC_RESERVATION,請將 RESERVATION 替換為下列內容:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容:

        • RESERVATION_OWNER_PROJECT_ID:建立預留項目的專案 ID。
        • RESERVATION_NAME:預訂名稱。
  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至disks[]欄位,適用於每個本機 SSD 磁碟。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認附加的本機 SSD 磁碟數量符合機型規定;詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔含有經過最佳化的 NVMe 驅動程式,請指定 NVME。針對其他圖片指定 SCSI。

    使用本機 SSD 磁碟建立 VM 後,您必須格式化並掛接每個裝置,才能使用。

  3. 提交要求。

隨選

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators":
    [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY"
  }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • PROJECT_ID:您要在哪個專案 ID 中建立搭載 T4 或 V100 GPU 的 N1 執行個體。
    • ZONE:指定可用區,您要使用的機型必須位於該可用區。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • NAME_PATTERN:用於 N1 搭配 T4 或 V100 GPU 執行個體的名稱模式。 舉例來說,如果名稱模式為 instance-#,就會產生 N1 (搭載 T4 或 V100 GPU) 執行個體,名稱如 instance-1 和 instance-2,最多可達 --count 指定的 N1 (搭載 T4 或 V100 GPU) 執行個體數量。
    • COUNT:要建立的 N1 執行個體數量,這些執行個體搭載 T4 或 V100 GPU。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • ACCELERATOR_COUNT:要連結至 N1 VM 的 GPU 數量。如要查看 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • AUTOMATIC_RESTART:如果執行個體當機,或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體,執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設),或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY:執行個體可使用的預留項目 (如適用)。指定下列其中一項:

      • ANY_RESERVATION (預留容量為選用):這是預設選項。執行個體會嘗試使用自動使用預留項目的容量,但前提是必須有相符的預留容量。否則,執行個體會使用隨選運算量。

      • NO_RESERVATION (需要隨需容量):禁止執行個體使用任何預留容量。

  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至disks[]欄位,適用於每個本機 SSD 磁碟。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認附加的本機 SSD 磁碟數量符合機型規定;詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔含有經過最佳化的 NVMe 驅動程式,請指定 NVME。針對其他圖片指定 SCSI。

    使用本機 SSD 磁碟建立 VM 後,您必須格式化並掛接每個裝置,才能使用。

  3. 提交要求。

Spot

提交要求前,請先查看下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "guestAccelerators":
    [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
    ],
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "DISK_TYPE",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling":
    {
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "TERMINATION_ACTION",
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": false
    }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • PROJECT_ID:您要在哪個專案 ID 中建立搭載 T4 或 V100 GPU 的 N1 執行個體。
    • ZONE:指定可用區,您要使用的機型必須位於該可用區。如需區域相關資訊,請參閱「各區域和可用區的 GPU 供應情形」。
    • NAME_PATTERN:用於 N1 搭配 T4 或 V100 GPU 執行個體的名稱模式。 舉例來說,如果名稱模式為 instance-#,就會產生 N1 (搭載 T4 或 V100 GPU) 執行個體,名稱如 instance-1 和 instance-2,最多可達 --count 指定的 N1 (搭載 T4 或 V100 GPU) 執行個體數量。
    • COUNT:要建立的 N1 執行個體數量,這些執行個體搭載 T4 或 V100 GPU。
    • MACHINE_TYPE:用於搭配 T4 或 V100 GPU 的 N1 執行個體的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • ACCELERATOR_COUNT:要連結至 N1 VM 的 GPU 數量。如要查看 VM 機型適用的 GPU 限制清單,請參閱 Compute Engine 說明文件中的 N1 GPU 相關資訊。
    • ACCELERATOR_TYPE:要使用的 N1 VM 加速器類型。對於 AI 工作負載,建議使用 T4 或 V100 GPU。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制,視磁碟類型而定。
    • DISK_TYPE:開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型,請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • IMAGE_FAMILY:您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單,請參閱「支援的作業系統」。
    • TERMINATION_ACTION:Compute Engine 搶占執行個體時採取的動作,可以是 STOP (預設) 或 DELETE。

  2. 選用:如要使用本機 SSD 磁碟,請將下列欄位新增至disks[]欄位,適用於每個本機 SSD 磁碟。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認附加的本機 SSD 磁碟數量符合機型規定;詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」。

        {
           "type": "SCRATCH",
           "initializeParams": {
              "diskType": "zones/ZONE/diskTypes/local-ssd"
           },
           "autoDelete": true,
           "interface": "INTERFACE_TYPE"
        }
    

    更改下列內容:

    • ZONE:您指定的可用區。
    • INTERFACE_TYPE:要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔含有經過最佳化的 NVMe 驅動程式,請指定 NVME。針對其他圖片指定 SCSI。

    使用本機 SSD 磁碟建立 VM 後,您必須格式化並掛接每個裝置,才能使用。

  3. 提交要求。

如要進一步瞭解大量建立 VM 時的設定選項,請參閱 Compute Engine 說明文件的「大量建立 VM」。

安裝 GPU 驅動程式

建立執行個體後,必須先安裝正確的 GPU 驅動程式,執行個體才能使用 GPU。 您需要安裝的驅動程式取決於執行個體是否已啟用 NVIDIA RTX 虛擬工作站 (vWS)。請使用下列其中一種方式:

後續步驟