建立 AI 適用的 A2 執行個體

本文說明如何建立使用 A2 系列的獨立虛擬機器 (VM) 執行個體，包括 A2 Ultra 或 A2 Standard 機型。如要進一步瞭解這些加速器最佳化機器類型，請參閱「A2 系列」。

如要瞭解建立 VM 或叢集的其他方式，請參閱「部署選項總覽」。

限制

建立獨立的 A2 Ultra 或 A2 Standard VM 時，須遵守下列限制：

A2 Ultra

  • 使用 A2 Ultra 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A2 Ultra 機型。
  • A2 Ultra 機型僅適用於 Cascade Lake 平台。
  • 如果執行個體使用 A2 Ultra 機型，就無法變更機型。如要使用其他 A2 Ultra 機型或其他機型，請建立新的執行個體。
  • 您無法將任何其他機型變更為 A2 Ultra 機型。如要使用 A2 Ultra 機型，請建立新的執行個體。
  • 如果 Windows 執行個體使用 A2 Ultra 機器類型，您就無法快速格式化所連線的本機 SSD。如要格式化這些本機 SSD，請使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs，執行完整格式化。

A2 Standard

  • 使用 A2 Standard 標準機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A2 標準機型。
  • A2 Standard 標準機型僅適用於 Cascade Lake 平台。
  • 如果執行個體使用 A2 標準機型，您只能從一個 A2 標準機型切換至另一個 A2 標準機型。您無法變更為任何其他機型。詳情請參閱「修改加速器最佳化執行個體」。
  • 您無法搭配 a2-megagpu-16g 機型使用 Windows 作業系統。 使用 Windows 作業系統時，請選擇其他 A2 Standard 機型。
  • 在採用 A2 Standard 機型的 Windows 執行個體上，您無法快速格式化所連線的本機 SSD。如要格式化這些本機 SSD，請使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs，執行完整格式化。

如要使用密集配置政策，請查看配置政策的限制。

事前準備

建立 VM 前，請先完成下列步驟 (如尚未完成)：

  1. 選擇計費方案：您選擇的計費方案會決定取得及使用 GPU 資源的方式。詳情請參閱「選擇消耗量選項」。
  2. 取得容量：取得容量的程序會因消費選項而異。如要瞭解如何為所選用量方案取得容量，請參閱「容量總覽」。

選取這個頁面上您打算如何使用範例的分頁：

控制台

使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時，無須設定驗證。

gcloud

在 Google Cloud 控制台中啟用 Cloud Shell。

啟用 Cloud Shell

控制台底部會開啟 Cloud Shell 工作階段，並顯示指令列提示。 Google Cloud Cloud Shell 是已安裝 Google Cloud CLI 的殼層環境，並已針對您目前的專案設定好相關值。工作階段可能要幾秒鐘的時間才能初始化。

REST

如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

    安裝 Google Cloud CLI。

    若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

必要的角色

如要取得建立 VM 的權限，請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立 VM 所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要建立 VM，您必須具備下列權限：

  • compute.instances.create 專案
  • 如要使用自訂映像檔建立 VM： compute.images.useReadOnly 在映像檔上
  • 如要使用快照建立 VM： compute.snapshots.useReadOnly 在快照上
  • 如要使用執行個體範本建立 VM，請按照下列步驟操作： compute.instanceTemplates.useReadOnly 在執行個體範本上
  • 如要為 VM 指定子網路： compute.subnetworks.use 專案或所選子網路的
  • 如要為 VM 指定靜態 IP 位址： compute.addresses.use 專案的權限
  • 使用虛擬私有雲網路時，如要將外部 IP 位址指派給 VM： compute.subnetworks.useExternalIp 專案或所選子網路的權限
  • 如要將舊版網路指派給 VM，請按照下列步驟操作： compute.networks.use 專案的
  • 使用舊版網路時，如要將外部 IP 位址指派給 VM，請在專案中設定 compute.networks.useExternalIp。
  • 如要為 VM 設定 VM 執行個體中繼資料，請按照下列步驟操作： compute.instances.setMetadata 在專案中
  • 如要為 VM 設定標記，請按照下列步驟操作： compute.instances.setTags 在 VM 上
  • 如要為 VM 設定標籤，請按照下列步驟操作： compute.instances.setLabels 在 VM 上
  • 如要設定 VM 使用的服務帳戶，請在 VM 上執行下列操作： compute.instances.setServiceAccount 在 VM 上
  • 為 VM 建立新磁碟： compute.disks.create 專案的
  • 如要以唯讀或讀寫模式附加現有磁碟： compute.disks.use 磁碟
  • 如要以唯讀模式連接現有磁碟： compute.disks.useReadOnly 磁碟

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

總覽

使用 A2 機型建立執行個體的步驟如下：

  1. 選用： 建立密集配置政策
  2. 建立執行個體
  3. 安裝 GPU 驅動程式
  4. 選用：啟用 NVIDIA 多例項 GPU 模式

選用：建立密集配置政策

您可以建立密集配置政策來指定 VM 配置。將密集配置政策套用至 VM 時，Compute Engine 會盡力建立彼此距離最近的 VM。如果您的應用程式對延遲時間很敏感，且需要盡可能精簡，請在建立密集配置政策時，指定 maxDistance 欄位 (預覽版)。maxDistance 值越低，VM 彼此會越靠近，但也會增加無法建立部分 VM 的可能性。

如要建立密集配置政策，請選取下列任一選項：

gcloud

如要建立密集配置政策，請使用 gcloud beta compute resource-policies create group-placement 指令：

gcloud beta compute resource-policies create group-placement POLICY_NAME \
    --collocation=collocated \
    --max-distance=MAX_DISTANCE \
    --region=REGION

更改下列內容：

  • POLICY_NAME：密集配置政策的名稱。
  • MAX_DISTANCE：VM 的最大距離設定，可指定 (預覽版，建議使用) 或不指定 (移除 --max-distance 旗標)。 您可以根據機型支援的項目，指定下列其中一個值：
    • 如要將 VM 放置在同一個子區塊中，請按照下列步驟操作：1
    • 如要將 VM 放在同一個區塊，請按照下列步驟操作：2
    • 如要將 VM 放置在相鄰區塊中，請按照下列步驟操作：3
    確認最大距離設定支援您打算建立的機器系列和 VM 數量。詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
  • REGION：要建立密集配置政策的區域。指定要建立執行個體的可用區所屬的區域，並確認您要使用的機型適用於該區域。如要瞭解地區，請參閱「各區域和可用區的 GPU 供應情形」。

REST

如要建立密集配置政策，請對 beta resourcePolicies.insert 方法發出 POST 要求。在要求主體中，加入設為 COLLOCATED 的 collocation 欄位，以及 maxDistance 欄位。

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "POLICY_NAME",
    "groupPlacementPolicy": {
      "collocation": "COLLOCATED",
      "maxDistance": MAX_DISTANCE
    }
  }

更改下列內容：

  • PROJECT_ID：您的專案 ID。
  • POLICY_NAME：密集配置政策的名稱。
  • MAX_DISTANCE：VM 的最大距離設定，可指定 (預覽版，建議使用) 或不指定 (移除 maxDistance 欄位)。 您可以根據機型支援的項目，指定下列其中一個值：
    • 如要將 VM 放置在同一個子區塊中，請按照下列步驟操作：1
    • 如要將 VM 放在同一個區塊，請按照下列步驟操作：2
    • 如要將 VM 放置在相鄰區塊中，請按照下列步驟操作：3
    確認最大距離設定支援您打算建立的機器系列和 VM 數量。詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
  • REGION：要建立密集配置政策的區域。指定要建立執行個體的可用區所屬的區域，並確認您要使用的機型適用於該區域。如要瞭解地區，請參閱「各區域和可用區的 GPU 供應情形」。

建立 A2 VM

如要建立 A2 VM，請使用下列其中一種方法。

下列指令也會設定執行個體的存取權範圍。為簡化權限管理，Google 建議您將執行個體的存取權範圍設為 cloud-platform 存取權，然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。

控制台

  1. 前往 Google Cloud 控制台的「Create an instance」(建立執行個體) 頁面。

    前往「建立執行個體」

  2. 指定 VM 的「Name」(名稱)。請參閱「資源命名慣例」。

  3. 選取要建立 VM 的「Region」(區域) 和「Zone」(可用區)。請參閱提供 GPU 的區域和可用區清單。

  4. 按一下「GPU」分頁標籤，然後完成下列步驟：

    1. 在「GPU type」(GPU 類型) 清單中，選取 GPU 類型。
      • 如為 A2 Ultra 機型，請選取 NVIDIA A100 80GB
      • 如要使用 A2 Standard 機型，請選取 NVIDIA A100 40GB
    2. 在「Number of GPUs」(GPU 數量) 清單中，選取 GPU 數量。
    3. 在「Machine type」(機型) 清單中，選取機型。

  5. 根據您想使用的消費選項，選取下列其中一個選項，然後完成後續步驟。

    預訂

    A2 執行個體支援下列預留項目類型：

    • 隨需預留項目
    • 標準未來預留項目

    如要使用這類預留項目，執行個體必須採用標準佈建模式。舉例來說，請使用下列建立參數。

    1. 在「佈建模型」部分，從「VM 佈建模型」清單中選取「標準」。(系統預設會選取這個選項)。

    2. 如要設定 VM 使用的預訂項目，請完成下列步驟：

      1. 在導覽選單中，按一下「進階」。

      2. 在「預訂」中，選取下列其中一個選項：

        • 如要選擇性使用預留容量，請選取「使用自動選取功能」。(系統預設會選取這個選項)。

          執行個體會嘗試使用自動使用預留項目的容量，但前提是必須有相符的預留容量。否則執行個體會使用隨選容量。

        • 如要要求預留容量，請選取「Choose a reservation」(選擇預留項目)，然後點選「Choose reservation」(選擇預留項目)，指定要使用的預留項目。

          執行個體必須使用明確指定保留項目的容量，不得使用隨選容量。如果預留容量不足，執行個體建立作業就會失敗。

    隨選

    1. 在「佈建模型」部分，從「VM 佈建模型」清單中選取「標準」。(系統預設會選取這個選項)。

    2. 選用：如要設定這個 VM 是否使用預留項目，請完成下列步驟：

      1. 在導覽選單中，按一下「進階」。

      2. 在「預訂」中，選取下列任一選項：

        • 如要選擇性使用預留容量，請選取「使用自動選取功能」。(系統預設會選取這個選項)。

          執行個體會嘗試使用自動使用預留項目的容量，但前提是必須有相符的預留容量。否則執行個體會使用隨選容量。

        • 如要要求隨需容量，請選取「不使用預留項目」。

          執行個體無法使用任何預留容量。

    彈性啟動

    1. 在「佈建模型」部分，從「VM 佈建模型」清單中選取「彈性啟動」。

    2. 在「Enter number of hours」(輸入時數) 欄位中，輸入 VM 的執行時間上限。這個值必須介於 46 秒 (0.01) 和七天 (168，或 168 小時) 之間。

    3. 選取「設定建立 VM 的等待時間」。

      根據工作負載的區域需求，指定下列其中一個時間長度，有助於提高 VM 建立要求成功的機率：

      • 有嚴格區域需求的工作負載：如果工作負載要求您在特定區域中建立 VM，請指定 90 秒到 2 小時之間的時間長度。 時間越長，獲得資源的機率就越高。
      • 沒有嚴格區域限制的工作負載：如果 VM 可以在區域內的任何區域執行，請指定 0 秒的持續時間，或取消勾選「設定 VM 建立等待時間」核取方塊。這項動作會指定 Compute Engine 僅在資源可立即使用時才分配資源。如果資源無法使用，導致 VM 建立要求失敗，請在其他可用區重試要求。

    4. 在「On VM termination」(在 VM 終止時) 欄位中，選取在 VM 執行時間結束時要停止還是刪除 VM：

      • 如要刪除 VM，請選取「刪除」。
      • 如要停止 VM，請選取「停止」。

    Spot

    1. 在「佈建模型」部分，從「VM 佈建模型」清單中選取「Spot」。

    2. 選用：如要選取 Compute Engine 搶占 VM 時執行的終止動作，請完成下列步驟：

      1. 展開「VM 佈建模式進階設定」部分。
      2. 在「On VM termination」(在 VM 終止時) 清單中，選取下列其中一個選項：
        • 如要在先占期間停止 VM，請選取「停止」 (預設)。
        • 如要在 VM 遭到先占時刪除，請選取「刪除」。

  6. 在導覽選單中，按一下「OS and storage」(OS 和儲存空間)，然後完成下列步驟：

    1. 點選「變更」。「開機磁碟設定」窗格隨即開啟。

    2. 在「Public images」(公開映像檔) 分頁中，選取建議的映像檔。如需建議的映像檔清單，請參閱「作業系統」。

    3. 選用：如要設定開機磁碟大小，請根據磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。

    4. 如要確認開機磁碟選項，請按一下「Select」(選取)。

    5. 選用：如果您指定了 A2 標準機型，並想新增本機 SSD 磁碟，請完成下列步驟：

      1. 按一下「 新增本機 SSD」。「設定本機固態硬碟」窗格隨即開啟。
      2. 在「設定本機固態硬碟」窗格中，設定本機固態硬碟磁碟的選項。詳情請參閱 Compute Engine 說明文件中的「將本機 SSD 磁碟新增至運算執行個體」。
      3. 如要確認開機磁碟選項，請按一下「儲存」。

      建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，才能使用。

  7. 請按照下列方式設定服務帳戶和存取權範圍。執行個體上執行的工作負載會使用附加的服務帳戶，授權對其他 Google Cloud 服務的要求。

    1. 按一下導覽選單中的「Security」(安全性)。
    2. 在「Service account」(服務帳戶) 清單中，選取要使用的服務帳戶。
    3. 在「存取權範圍」部分，選取「允許所有 Cloud API 的完整存取權」選項。這項最佳做法可讓您透過新增或移除服務帳戶的 IAM 角色，管理存取權。詳情請參閱將服務帳戶附加至執行個體。

  8. 如要建立並啟動 VM，請按一下 [Create] (建立)。

gcloud

如要建立 VM，請使用 gcloud compute instances create 指令。

您需要指定的參數取決於此部署作業使用的消耗選項。選取與計費方案對應的分頁。

預留項目

A2 執行個體支援下列預留項目類型：

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目，執行個體必須採用標準佈建模式。舉例來說，請使用下列建立參數。

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instances create INSTANCE_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY \
    --reservation=RESERVATION

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_NAME：VM 的名稱。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，請使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • any (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用預留項目的容量，但前提是必須有相符的預留容量。否則，執行個體會使用隨選容量。

      • specific (需要預留容量)：要求執行個體使用明確指定的預留項目容量。 執行個體不得使用隨選容量。如果預留容量不足，執行個體建立作業就會失敗。

    • RESERVATION：要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值，指定下列其中一個值：

      • 如果您指定 any，請將 RESERVATION 替換為空字串 ("")。或者，您也可以完全移除 --reservation 旗標。

      • 如果您指定 specific，請將 RESERVATION 替換為下列內容：

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容：

        • RESERVATION_OWNER_PROJECT_ID：建立預留項目的專案 ID。
        • RESERVATION_NAME：預訂名稱。

  2. 根據預設，如果執行個體當機，或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體，系統會自動重新啟動執行個體。如要停用自動重新啟動功能，請新增下列標記：

    --no-restart-on-failure

  3. 選用：如要使用密集配置政策，請新增下列旗標：

      --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  4. 選用：如果您指定 A2 標準機型，並想連接本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  5. 執行更改後的指令。

隨選

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instances create INSTANCE_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_NAME：VM 的名稱。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，請使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • any (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用預留項目的容量，但前提是必須有相符的預留容量。否則，執行個體會使用隨選容量。

      • none (必須使用隨需容量)：禁止執行個體使用任何預留容量。

  2. 根據預設，如果執行個體當機，或 Compute Engine 因排程停止 (例如維護事件) 而停止執行個體，系統會自動重新啟動執行個體。如要停用自動重新啟動功能，請新增下列標記：

    --no-restart-on-failure

  3. 選用：如要使用密集配置政策，請新增下列旗標：

      --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  4. 選用：如果您指定 A2 標準機型，並想連接本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  5. 執行更改後的指令。

彈性啟動

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instances create INSTANCE_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --reservation-affinity=none \
    --provisioning-model=FLEX_START \
    --request-valid-for-duration=REQUEST_VALID_FOR_DURATION \
    --max-run-duration=MAX_RUN_DURATION \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_NAME：VM 的名稱。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，請使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • REQUEST_VALID_FOR_DURATION：建立 VM 的要求有效時間長度。您必須將值格式化為天數、時數、分鐘數或秒數，並分別加上 d、h、m 和 s。舉例來說，指定 30m 代表 30 分鐘，指定 1h2m3s 則代表 1 小時 2 分 3 秒。

      根據工作負載的區域需求，指定下列其中一個時間長度，有助於提高 VM 建立要求成功的機率：

      • 有嚴格區域需求的工作負載：如果工作負載要求您在特定區域中建立 VM，請指定 90 秒 (90s) 到兩小時 (2h) 的時間長度。時間長度越長，取得資源的機率就越高。
      • 沒有嚴格可用區需求的工作負載：如果 VM 可以在區域內的任何可用區執行，請指定零秒的期限 (0s)。這項動作會指定 Compute Engine 僅在資源可立即使用時分配資源。如果資源無法使用，導致 VM 建立要求失敗，請在其他可用區重試要求。

    • MAX_RUN_DURATION：您希望要求的 VM 執行多久。您必須將值格式化為天數、時數、分鐘數或秒數，並分別加上 d、h、m 和 s。值必須介於 10 分鐘至 7 天之間。

    • TERMINATION_ACTION：Compute Engine 是否會在 VM 執行時間結束時停止 (STOP) 或刪除 (DELETE) VM。

  2. 選用：如要使用密集配置政策，請新增下列旗標：

      --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如果您指定 A2 標準機型，並想連接本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 執行更改後的指令。

Spot

執行指令前，請先詳閱下列所有步驟，判斷是否要加入其他標記。

gcloud compute instances create INSTANCE_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=DISK_TYPE \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

操作步驟如下：

  1. 更改下列內容：

    • INSTANCE_NAME：VM 的名稱。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，請使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。

    • TERMINATION_ACTION：Compute Engine 預先終止執行個體時採取的動作，可以是 STOP (預設) 或 DELETE。

  2. 選用：如要使用密集配置政策，請新增下列旗標：

      --resource-policies=POLICY_NAME

    更改下列內容：

    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如果您指定 A2 標準機型，並想連接本機 SSD 磁碟，請為每個本機 SSD 磁碟新增下列 --local-ssd 旗標。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

    --local-ssd interface=INTERFACE_TYPE

    更改下列內容：

    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 執行更改後的指令。

REST

如要建立 VM，請對 instances.insert 方法發出 POST 要求。

您需要指定的參數取決於此部署作業使用的消耗選項。選取與計費方案對應的分頁。

預留項目

A2 執行個體支援下列預留項目類型：

  • 隨需預留項目
  • 標準未來預留項目

如要使用這類預留項目，執行個體必須採用標準佈建模式。舉例來說，請使用下列建立參數。

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "INSTANCE_NAME",
  "disks": [
    {
      "boot": true,
      "initializeParams": {
        "diskSizeGb": "DISK_SIZE",
        "diskType": "DISK_TYPE",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY",
    "key": "compute.googleapis.com/reservation-name",
    "values": [
      "RESERVATION"
    ]
  }
}

操作步驟如下：

  1. 更改下列內容：

    • PROJECT_ID：您要在當中建立 VM 的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，您必須使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • INSTANCE_NAME：VM 的名稱。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。

    • AUTOMATIC_RESTART：如果執行個體當機，或 Compute Engine 因排定的停止作業 (例如維護事件) 而停止執行個體，則執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設)，或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • ANY_RESERVATION (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用的預留項目容量，但前提是必須有相符的預留項目容量。否則，執行個體會使用隨選容量。

      • SPECIFIC_RESERVATION (需要預留容量)：要求執行個體使用明確指定的預留項目容量。 執行個體不得使用隨選容量。如果預留容量不足，執行個體建立作業就會失敗。

    • RESERVATION：要使用的預留項目。根據您為 RESERVATION_AFFINITY 指定的值，指定下列其中一個值：

      • 如果您指定了 ANY_RESERVATION，請刪除 RESERVATION，讓值成為空字串 ("")。或者，您也可以完全移除 key 和 values 欄位。

      • 如果您指定 SPECIFIC_RESERVATION，請將 RESERVATION 替換為下列內容：

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        更改下列內容：

        • RESERVATION_OWNER_PROJECT_ID：建立預留項目的專案 ID。
        • RESERVATION_NAME：預訂名稱。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列欄位：

      "resourcePolicies": [
    "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
  ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如果您指定 A2 Standard 機型，並想連結本機 SSD 磁碟，請將下列欄位新增至disks[]欄位，每個本機 SSD 磁碟各新增一個。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 提交要求。

隨選

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "INSTANCE_NAME",
  "disks": [
    {
      "boot": true,
      "initializeParams": {
        "diskSizeGb": "DISK_SIZE",
        "diskType": "DISK_TYPE",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY"
  }
}

操作步驟如下：

  1. 更改下列內容：

    • PROJECT_ID：您要在當中建立 VM 的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，您必須使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • INSTANCE_NAME：VM 的名稱。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。

    • AUTOMATIC_RESTART：如果執行個體當機，或 Compute Engine 因排定的停止作業 (例如維護事件) 而停止執行個體，則執行個體會自動重新啟動。指定 true 啟用自動重新啟動 (預設)，或指定 false 停用自動重新啟動。

    • RESERVATION_AFFINITY：執行個體可使用的預留項目 (如適用)。指定下列其中一項：

      • ANY_RESERVATION (預留容量為選用項目)：這是預設選項。執行個體會嘗試使用自動使用的預留項目容量，但前提是必須有相符的預留項目容量。否則，執行個體會使用隨選容量。

      • NO_RESERVATION (必須使用隨需容量)：禁止執行個體使用任何預留容量。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列欄位：

      "resourcePolicies": [
    "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
  ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如果您指定 A2 Standard 機型，並想連結本機 SSD 磁碟，請將下列欄位新增至disks[]欄位，每個本機 SSD 磁碟各新增一個。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 提交要求。

彈性啟動

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "INSTANCE_NAME",
  "disks": [
    {
      "boot": true,
      "initializeParams": {
        "diskSizeGb": "DISK_SIZE",
        "diskType": "DISK_TYPE",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "reservationAffinity": {
    "consumeReservationType": "NO_RESERVATION",
  },
  "scheduling": {
    "provisioningModel": "FLEX_START",
    "requestValidForDuration": {
      "seconds": REQUEST_VALID_FOR_DURATION
    },
    "maxRunDuration": {
      "seconds": MAX_RUN_DURATION
    },
    "instanceTerminationAction": "TERMINATION_ACTION",
    "onHostMaintenance": "TERMINATE",
  }
}

操作步驟如下：

  1. 更改下列內容：

    • PROJECT_ID：您要在當中建立 VM 的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，您必須使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • INSTANCE_NAME：VM 的名稱。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。

    • REQUEST_VALID_FOR_DURATION：建立 VM 的要求保持有效的時間長度 (以秒為單位)。

      根據工作負載的區域需求，指定下列其中一個時間長度，有助於提高 VM 建立要求成功的機率：

      • 有嚴格區域需求的工作負載：如果工作負載要求您在特定區域中建立 VM，請指定 90 秒 (90) 到兩小時 (7200) 的時間長度。時間長度越長，取得資源的機率就越高。
      • 沒有嚴格可用區需求的工作負載：如果 VM 可以在區域內的任何可用區執行，請指定零秒的期限 (0)。這項動作會指定 Compute Engine 僅在資源可立即使用時分配資源。如果資源無法使用，導致 VM 建立要求失敗，請在其他可用區重試要求。

    • MAX_RUN_DURATION：您希望所要求的 VM 執行的時間長度。值必須以秒數格式表示。舉例來說，如要指定 86,400 秒 (24 小時)，請輸入 86400。值必須介於 10 分鐘至 7 天之間。

    • TERMINATION_ACTION：Compute Engine 是否會在 VM 執行時間結束時停止 (STOP) 或刪除 (DELETE) VM。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列欄位：

      "resourcePolicies": [
    "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
  ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如果您指定 A2 Standard 機型，並想連結本機 SSD 磁碟，請將下列欄位新增至disks[]欄位，每個本機 SSD 磁碟各新增一個。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 提交要求。

Spot

提交要求前，請先查看下列所有步驟，判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name": "INSTANCE_NAME",
  "disks": [
    {
      "boot": true,
      "initializeParams": {
        "diskSizeGb": "DISK_SIZE",
        "diskType": "DISK_TYPE",
        "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode": "READ_WRITE",
      "type": "PERSISTENT"
    }
  ],
  "serviceAccounts": [
    {
      "email": "default",
      "scopes": [
        "https://www.googleapis.com/auth/cloud-platform"
      ]
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": false
  }
}

操作步驟如下：

  1. 更改下列內容：

    • PROJECT_ID：您要在當中建立 VM 的專案 ID。
    • ZONE：您要使用的機型所在的可用區。如要指定密集配置政策，您必須使用與密集配置政策位於相同區域的可用區。 如需區域相關資訊，請參閱「各區域和可用區的 GPU 供應情形」。
    • MACHINE_TYPE：VM 要使用的機型。詳情請參閱 Compute Engine 說明文件中的 GPU 機器類型。
    • INSTANCE_NAME：VM 的名稱。
    • DISK_SIZE：開機磁碟的大小，單位為 GB。詳情請參閱Google Cloud Hyperdisk 大小限制或永久磁碟大小限制，視磁碟類型而定。
    • DISK_TYPE：開機磁碟類型。 如要進一步瞭解機型支援的磁碟類型，請參閱 Compute Engine 說明文件中的「加速器最佳化機器家族中的 GPU 機器」。
    • IMAGE_PROJECT：OS 映像檔的專案 ID。
    • IMAGE_FAMILY：您要使用的 OS 映像檔系列。 如需所有支援的作業系統清單，請參閱「支援的作業系統」。

    • TERMINATION_ACTION：Compute Engine 預先終止執行個體時採取的動作，可以是 STOP (預設) 或 DELETE。

  2. 選用：如果您選擇使用密集配置政策，請在要求主體中新增下列欄位：

      "resourcePolicies": [
    "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
  ]

    更改下列內容：

    • PROJECT_ID：密集配置政策的專案 ID。
    • REGION：密集配置政策的區域。
    • POLICY_NAME：密集配置政策的名稱。

  3. 選用：如果您指定 A2 Standard 機型，並想連結本機 SSD 磁碟，請將下列欄位新增至disks[]欄位，每個本機 SSD 磁碟各新增一個。請以半形逗號分隔每個 disks[] 子欄位 (包括開機磁碟)。

    請確認您連接的本機 SSD 磁碟數量符合機型規定。詳情請參閱 Compute Engine 說明文件中的「關於本機 SSD 磁碟」一文。

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    更改下列內容：

    • ZONE：您指定的可用區。
    • INTERFACE_TYPE：您要用於本機 SSD 磁碟的磁碟介面類型。如果開機磁碟映像檔具有最佳化 NVMe 驅動程式，請指定 NVME。為其他圖片指定 SCSI。

    建立含有本機 SSD 磁碟的 VM 後，您必須先格式化並掛接每個裝置，方可使用。

  4. 提交要求。

安裝 GPU 驅動程式

建立執行個體後，除非已安裝正確的 GPU 驅動程式，否則執行個體無法使用 GPU。 如果您未指定包含 GPU 驅動程式的 OS 映像檔，請參閱 Compute Engine 說明文件中的「安裝 GPU 驅動程式」。

選用：啟用 NVIDIA 多執行個體 GPU 模式

多執行個體 GPU (MIG) 模式是可為支援的 NVIDIA GPU 啟用的功能。建立執行個體後，您可以在附加至機器的單一 GPU 上啟用 MIG 模式。啟用 MIG 模式後，單一 GPU 會分割為最多七個獨立 GPU 執行個體。每個執行個體都會同時執行，各自擁有自己的記憶體、快取和串流多重處理器。然後，您可以在這些 GPU 執行個體上平行執行不同的工作負載。 如要進一步瞭解如何使用 MIG 模式，請參閱 NVIDIA 說明文件中的「多重執行個體 GPU (MIG) 使用手冊」。

後續步驟