搭配 Dataflow 使用 Compute Engine 預留項目

為確保 Dataflow 工作需要 VM 資源時，這些資源可供使用，您可以採用 Compute Engine 預訂功能。預訂功能可高度確保您能取得 Compute Engine 可用區資源的容量。

如要搭配 Dataflow 使用自動耗用的 Compute Engine 預留項目，請按照下列步驟操作：

  1. 建立 Compute Engine 預留項目。可以是單一專案預留項目或共用預留項目。詳情請參閱下列文件：

    預留項目可包含 GPU 或 TPU 加速器。

  2. 如要使用預留項目，Dataflow 工作站設定必須與預留項目設定相符 (例如機型和加速器設定)。您可能需要為工作設定工作站機型。詳情請參閱「設定工作站 VM」。

  3. 提交 Dataflow 工作。

  4. 您可以在 Google Cloud 控制台的「預留項目」頁面，監控 Dataflow 目前的預留項目用量。

如要避免同一專案中的低優先順序工作負載與 Dataflow 爭用預留項目，請在為這些工作負載建立 VM 時，將預留項目親和性設為 none。詳情請參閱使用預留執行個體。

限制

  • 當 Dataflow 工作站使用預留項目時，Compute Engine 預留項目的所有限制都適用。請參閱預留的運作方式。

  • Dataflow 依賴 Compute Engine 的預設消耗順序，因此有下列限制：

    • 如果相同專案或機構中的其他工作負載未指定 --reservation 旗標，可能會與 Dataflow 工作負載競爭專案專屬或共用的預留資源。

  • Dataflow Prime 工作不會耗用 Compute Engine 預留項目。

預留項目和加速器

Dataflow 支援專為使用加速器 (GPU 或 TPU) 的管道設定的預留資源。這項功能通常會透過許可清單提供。如要瞭解如何搭配特定預留資源使用 Dataflow 加速器，請與您的帳戶團隊聯絡。

定價

Dataflow 會在 Dataflow 工作執行期間，針對自動耗用的預留資源向您收費。如果 Dataflow 未使用 VM，Compute Engine 會向您收費。

Compute Engine 定價模式

如果您的 Dataflow 用量包含專門指定的預留項目中的 VM，且這些 VM 具有 GPU 或 TPU，則這些預留 VM 的運算資源會按照 Compute Engine 定價計費。如果明確指定的預留項目附加至 Compute Engine 依資源計算的承諾使用合約，您也能獲得適用的依資源計算承諾使用折扣 (CUD)。此外，您還需要支付 Dataflow 中耗用的運算資源管理費。如需更多定價詳細資料，請參閱 Dataflow 定價。

Dataflow 定價模式

如果您搭配 Dataflow 使用任何其他類型的 Compute Engine 預留資源，系統會根據 Dataflow 定價模式計費。即使這些預留項目已附加至依資源計算的承諾使用合約，透過這些預留項目產生的 Dataflow 使用量仍不符合依資源計算的 CUD 資格。這項規定適用於下列 Compute Engine 預留項目：

  • 明確指定的預留項目，但沒有 GPU 或 TPU
  • 所有自動耗用的預留項目

後續步驟

如要進一步瞭解 Compute Engine 預留項目，請參閱「Compute Engine 可用區資源的預留項目」。