申請使用 TPU Spot VM

Spot VM 提供未使用的容量，且折扣幅度相當可觀。 Spot VM 可能隨時遭到先占，但與先占 TPU 不同，Spot VM 沒有執行時間上限。如要重新啟動 Spot VM 執行個體或 MIG，必須先刪除再重新建立。

如要進一步瞭解 Spot VM，請參閱 Compute Engine 說明文件中的 Spot VM 相關資訊。

建立 TPU Spot VM

您可以建立個別的 TPU Spot VM，也可以將其納入代管執行個體群組 (MIG)。

如要使用 MIG 建立 TPU Spot VM，請在執行個體範本中指定 Spot 佈建模型。

  1. 建立執行個體範本：

        gcloud compute instance-templates create TEMPLATE_NAME \
        --provisioning-model=SPOT \
        --instance-termination-action=DELETE \
        --machine-type=MACHINE_TYPE \
        --image-family=IMAGE_FAMILY \
        --image-project=IMAGE_PROJECT \
        --zone=ZONE \
        --maintenance-policy=TERMINATE

    替換下列預留位置：

    • TEMPLATE_NAME：執行個體範本的名稱。
    • MACHINE_TYPE：虛擬機的機型。
    • IMAGE_FAMILY：TPU VM 的 OS 映像檔系列。
    • IMAGE_PROJECT：TPU VM 的 OS 映像檔專案。
    • ZONE：建立執行個體範本的可用區。

  2. 建立工作負載政策

    下列指令會建立工作負載政策，單一主機切片可省略這項設定。

    gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
--type=high-throughput \
--accelerator-topology=TOPOLOGY

    替換下列預留位置：

    • WORKLOAD_POLICY_NAME：工作負載政策的名稱。
    • TOPOLOGY：TPU VM 的拓撲，例如 4x4x8。

  3. 建立 MIG：

        gcloud compute instance-groups managed create MIG_NAME \
        --zone=ZONE \
        --template=TEMPLATE_NAME \
        --size=SIZE \
        --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

    替換下列預留位置：

    • MIG_NAME：MIG 的名稱。
    • ZONE：建立 MIG 的可用區。
    • TEMPLATE_NAME：執行個體範本的名稱。
    • SIZE：MIG 中的執行個體數量。
    • PROJECT_ID：專案的 ID。 Google Cloud
    • WORKLOAD_POLICY_REGION：定義工作負載政策的區域。
    • WORKLOAD_POLICY_NAME：工作負載政策的名稱。

使用單一 TPU VM

您也可以建立單一 TPU Spot VM。

gcloud compute instances create TPU_NAME \
    --zone=ZONE \
    --provisioning-model=SPOT \
    --instance-termination-action=DELETE \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --maintenance-policy=TERMINATE

替換下列預留位置：

  • TPU_NAME：TPU 的名稱。
  • ZONE：建立 TPU 的可用區。
  • MACHINE_TYPE：虛擬機的機型。
  • IMAGE_FAMILY：執行個體範本的映像檔系列。
  • IMAGE_PROJECT：TPU VM 的 OS 映像檔專案。

如要進一步瞭解 Compute Engine 中的 Spot VM，請參閱「Spot VM」。

定價與配額

TPU Spot VM 的價格遠低於隨選和預留 TPU。如要進一步瞭解定價，請參閱 Cloud TPU 定價。

如要使用 TPU Spot VM，必須有先占配額。詳情請參閱「配額」。

後續步驟