關於日曆模式中的未來預留項目要求

本文概略說明如何以日曆模式提出未來預留項目要求。

在日曆模式中使用未來預留項目要求,取得熱門資源,例如建立附加 GPU 或 TPU 的虛擬機器 (VM) 執行個體。 Google Cloud 核准預留要求後,Compute Engine 會在您指定的日期和時間,佈建預留資源,最長可達 90 天。接著,您可以使用預留資源建立 GPU VM、H4D VM 或 TPU VM,執行下列工作負載:

  • 模型預先訓練工作

  • 模型微調工作

  • 高效能運算 (HPC) 模擬工作負載

  • 推論工作負載預期短期內會增加

如要進一步瞭解在 Compute Engine 中預留資源的其他方式,請參閱「選擇預留類型」。

在日曆模式中建立要求

以下各節說明如何查看資源可用性,以及在日曆模式中建立未來預留項目要求時,應指定哪些詳細資料。

查看資源日後的可用性

在日曆模式中建立未來預留項目要求之前,您可以查看下列資源在某個區域的未來可用性:

  • GPU 或 H4D VM:最多提前 60 天

  • TPU:最多可提前 120 天

Compute Engine 會使用 Dynamic Workload Scheduler (DWS) 查看要求的資源何時可用。建立要求時,請指定您確認可用的資源數量、類型和預留期限。 Google Cloud 如果您提供這項資訊,較有可能核准您的要求。

定義要求屬性

在日曆模式中建立未來預留項目要求時,必須指定下列屬性:

  • 自動刪除。這項屬性決定 Compute Engine 是否會在結束時間刪除為要求自動建立 (自動建立) 的預留項目,即使預留項目未完全用盡也一樣。如要在日曆模式中建立要求,必須啟用自動刪除選項。

  • 使用類型:這項屬性定義了 VM 如何使用自動建立的預留項目。在日曆模式中建立要求時,您必須指定要建立明確指定的預留項目。這項設定代表只有指定預留項目的 VM 才能使用該預留項目。

  • 部署作業類型。這項屬性定義了預留資源的配置。Compute Engine 會根據資源類型保留資源:

    • 如果是 GPU 或 H4D VM,建立要求時必須指定密集 (DENSE) 部署類型。這項設定會指定密集保留資源,盡可能降低網路延遲。

    • 如果是 TPU,Compute Engine 預設會使用彈性 (FLEXIBLE) 部署類型。這項設定會指定盡可能預留資源。

  • 名稱 - 要求的名稱,在專案內不得重複。

  • 資源數量。在要求的開始時間預留的 GPU VM、H4D VM 或 TPU 數量。

  • 規劃狀態。這項屬性定義是否要立即將要求提交給 Google Cloud 審查,或儲存為草稿並稍後提交。在日曆模式中建立要求時,必須指定立即提交要求以供審查。

  • 預留模式。這項屬性定義預訂資源的方法,在日曆模式下,您必須將要求設為 CALENDAR。

  • 預留項目名稱。如果 Google Cloud 核准您的要求,Compute Engine 會自動建立預留項目,並使用這個名稱。

  • 分享類型。這項屬性定義貴組織中的其他專案,是否能使用系統為核准要求自動建立的預留項目。您可以指定下列其中一個選項:

    • 單一專案。只有您的專案可以使用預留容量。

    • 分享。您最多可以與組織中的 100 個其他專案共用預留容量。如果指定這個選項,就必須指定要與哪些專案共用自動建立的預留項目。詳情請參閱共用預留項目的最佳做法。

  • 預留期間。Compute Engine 佈建所要求容量的日期和時間,您可以在此時使用容量。預留期限包括:

    • 開始時間。您想開始使用預留容量的時間。視您預留的資源而定,開始時間必須至少為建立及提交要求後的下列其中一個值:

      • GPU 和 H4D VM:87 小時 (三天又 15 小時)

      • TPU:六小時

    • 結束時間:系統不再為您保留要求的容量。屆時,Compute Engine 會刪除自動建立的預留項目,並根據您為 VM 指定的終止動作,停止或刪除使用該預留項目的 VM。

  • 資源屬性。要預留的 GPU VM、H4D VM 或 TPU 硬體需求。VM 的屬性必須與預留項目的屬性相符,才能使用預留項目。詳情請參閱使用預留項目的規定。

  • Zone。要預留容量的可用區。

申請審查程序

如要在日曆模式中,透過未來預留項目要求預留容量,您必須建立要求並提交給 Google Cloud 審查。建立並提交要求後, Google Cloud 會在一分鐘內審查,然後發生下列其中一種情況:

  • Google Cloud 核准要求:Compute Engine 會預留您要求的資源,並在核准後一分鐘內自動建立空白預留項目。除非您取消要求,否則 Compute Engine 會在要求的開始時間,增加預留項目中的 GPU VM、H4D VM 或 TPU 數量,佈建您要求的容量。

  • 發生錯誤。要求失敗,因為要求的可用區資源不足。建議您再次查看日後的資源供應情形,然後建立並提交新的審查要求。

要求生命週期

下圖顯示 Compute Engine 在日曆模式中,可為未來預留項目要求設定的不同狀態:

流程圖:顯示日曆模式中,未來預留項目要求可能經歷的不同狀態。

上圖顯示的狀態和事件流程如下:

  • PENDING_APPROVAL:您已建立並提交審查要求。 Google Cloud 在一分鐘內核准要求。

  • APPROVED: Google Cloud 已核准你的要求。接著,Compute Engine 會在一分鐘內建立空白預留項目,並將要求狀態變更為 PROCURING。

  • PROCURING:Compute Engine 會排定預留資源的佈建作業。如要避免這種情況,只要符合下列任一條件,即可取消要求:

    • 開始時間超過 30 天。

    • 您在核准後 24 小時內取消要求,且開始時間至少在四天後。

    在要求達到開始時間之前,要求狀態會變更為 PROVISIONING。

  • CANCELLED:您在要求處於 PROCURING 狀態時取消要求。這項操作會釋出預留容量,且不會產生費用。您可以保留要求以供日後參考,或在不再需要時刪除。

  • PROVISIONING:Compute Engine 正在佈建預留資源,方法是增加自動建立的預留項目中,預留的 GPU VM、H4D VM 或 TPU 數量。當要求達到開始時間時,要求狀態會變更為 FULFILLED。

  • FULFILLED:Compute Engine 已佈建預留資源,並向您收取費用。在要求結束時間前,您可以建立 VM 來使用自動建立的預留項目。

要求達到結束時間時,Compute Engine 會刪除自動建立的預留項目,並根據 VM 中設定的終止動作,停止或刪除使用該預留項目的任何 VM。您可以在日曆模式中保留要求做為記錄,或在不再需要時刪除要求。

耗用佈建容量

Google Cloud 核准日曆模式的未來預留項目要求後,Compute Engine 會自動建立具有下列特性的預留項目:

  • 自動建立的預留項目沒有預留的 GPU VM、H4D VM 或 TPU,因此您還無法使用。

  • 自動建立的預留項目會沿用要求中指定的 VM 或 TPU 屬性。

在要求開始時間,Compute Engine 會增加自動建立的預留項目中的 GPU VM、H4D VM 或 TPU 數量,佈建您要求的容量。接著,您可以建立符合下列所有條件的 GPU VM、H4D VM 或 TPU VM,藉此使用預留項目:

您可以建立 VM,直到預留項目用盡或要求結束時間為止。要求結束時間一到,Compute Engine 就會刪除自動建立的預留項目,並停止或刪除耗用預留項目的 VM。

配額

在日曆模式中,未來預留項目要求的配額需求取決於機型,如下所示:

  • GPU 和 TPU 機型:不需配額即可預留運算資源。

  • H4D 機型:會耗用 CPU 配額。

透過預留容量建立 VM 時,您必須有足夠的配額,才能使用不屬於預留項目的資源,例如磁碟或 IP 位址。否則無法建立 VM。

定價

在日曆模式中建立並提交未來預留項目要求,且Google Cloud 核准要求後,您不會立即產生費用。而是在下列情況下產生費用:

  • Compute Engine 會佈建您要求的容量。當要求在開始時間達到 FULFILLED 狀態時,系統會根據 DWS 定價,向您收取佈建資源的費用。與標準定價相比,這種定價模式提供 vCPU、記憶體、GPU 和 TPU 的折扣價。

  • 您使用預留項目以外的資源。建立 VM 時,如果使用自動建立的預留項目,則不會產生額外費用。只有不屬於預留項目的資源 (例如磁碟或 IP 位址) 才會產生費用。

在要求結束時間,預留資源會停止產生費用。此時,Compute Engine 會刪除自動建立的預留項目,並根據終止動作,停止或刪除使用該預留項目的 VM。

限制

以下各節說明在日曆模式下,未來預留項目要求的限制。

所有要求的限制

日曆模式的所有未來預留項目要求都有下列限制:

  • 預留期限為 1 到 90 天。

  • 提出要求並經 Google Cloud 核准後,須遵守下列限制:

    • 如果符合下列任一條件,即可取消要求:

      • 開始時間超過 30 天。

      • 您在核准後 24 小時內取消要求,且開始時間至少在四天後。

    • 您可以在取消要求後,或要求達到結束時間後刪除要求。

    • 您無法修改要求。

GPU 或 H4D VM 要求限制

您只能預留 GPU VM 或 H4D VM,如下所示:

  • 每次要求可預留的 VM 數量如下:

    • GPU VM:1 到 80 個 VM

    • 如果是 H4D VM,則介於 1 至 256 個 VM 之間

  • 您可以預留下列機器系列:

  • 您只能在特定區域和可用區預留 GPU 或 H4D VM:

  • 您無法使用執行個體範本建立 GPU 或 H4D VM 的要求。

TPU VM 要求的限制

預留 TPU VM 時,只能採用下列方式:

  • 每次要求可預留 1、4、8、16、32、64、128、256、512 或 1,024 個 TPU 晶片。

  • 您可以預留下列 TPU 版本:

  • 您只能在特定區域和可用區預留 TPU。詳情請參閱「TPU 位置」一文。

日曆模式中自動建立預留項目的限制

在日曆模式中,自動建立的未來預留項目有下列限制:

  • 預留項目達到開始時間後,才能修改。之後,您可以進行下列變更:

    • 允許或禁止 Vertex AI 中的工作使用預留項目。

    • 將單一專案預留項目轉換為共用預留項目,或將共用預留項目轉換為單一專案預留項目。

  • 您無法對預留項目套用承諾使用折扣 (CUD) 或續用折扣 (SUD)。

  • 您無法刪除預留項目,Compute Engine 會在預留項目達到結束時間時刪除。

後續步驟