本文將概要說明密集配置政策和工作負載政策,並比較兩者差異。這兩項政策都可讓您設定虛擬機器 (VM) 執行個體的放置位置,盡量縮短網路延遲時間。針對個別或大量建立的執行個體,請使用密集配置政策;針對代管執行個體群組 (MIG),請使用工作負載政策。
根據預設,您只能透過指定 VM 的可用區來管理 VM 的位置。使用未來預留項目或彈性啟動搭配 MIG 大小調整要求,取得 A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU) 機器時,您收到的 VM 資源預設會密集共置。不過,您可能希望將特定 VM 放在更靠近的位置,以最佳化每個應用程式的 VM 間效能。如要將 VM 放置在更靠近的位置,可以對 VM 套用密集配置政策,或對 MIG 套用高輸送量工作負載政策。
VM 的密集配置政策
將密集配置政策套用至 VM 時,Compute Engine 會盡可能將 VM 建立在彼此靠近的位置。如果您的應用程式對延遲時間很敏感,且希望 VM 盡可能靠近 (達到最大密集度),請在建立密集配置政策時指定 maxDistance 欄位 (預先發布)。
詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
MIG 的工作負載政策
工作負載政策可讓您指定要在基礎架構上執行的工作負載類型。您也可以指定基礎架構的實體屬性 (例如 VM 放置位置),盡可能符合指定的類型。
您可以為工作負載政策設定下列設定:
工作負載類型 (
type):針對高輸送量 (high-throughput) 工作負載,Compute Engine 會盡量將 VM 彼此靠近。VM 的放置位置取決於機器類型和 VM 的可用區域。使用嚴格共置或 VM 加速器拓撲的額外需求。您可以指定下列其中一項:
嚴格的 VM 共置 (
maxTopologyDistance):實現精細的低延遲網路效能。嚴格共置是指除了盡可能將 VM 置於靠近彼此的位置,您還可以進一步指定 VM 之間的距離上限。如果因容量限制而無法滿足嚴格的共置需求,MIG 就不會建立 VM。VM 的加速器拓撲 (
acceleratorTopology):為在多個 VM 上執行的分散式工作負載實現高效能,這些 VM 使用專用的加速器間網路設定,例如使用 NVLink 網域的 A4X VM。
密集配置政策與工作負載政策比較
下表摘要列出精簡放置政策與工作負載政策的差異:
| 密集配置政策 | 工作負載政策 | |
|---|---|---|
| 搭配這些資源使用 |
|
代管執行個體群組 (MIG) |
| 支援的機器類型 | 所有 GPU 系列 | A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU) |
| 分組語意 | Compute Engine 會將使用相同密集配置方式政策的執行個體配置在相近的位置。 建議您為每個工作負載使用不同的放置位置政策。在執行不同工作負載的執行個體之間重複使用配置政策,會導致所有這些執行個體都放置在一起。當您擴展特定工作負載時,這種共置可能會導致難以建立彼此靠近的執行個體。 |
Compute Engine 會將使用工作負載政策的 MIG 中的執行個體放置在更靠近的位置。 在執行不同工作負載的多個 MIG 中重複使用工作負載政策,會將個別 MIG 中的執行個體放在一起。如果訓練模型很大,且每組執行個體都必須彼此隔離,就非常適合重複使用。 |
| VM 共置設定 | 如要盡量將 VM 放在同一位置,請將 |
如要盡量將 VM 放在同一位置,請將 |
| 其他設定 |
|
|
比較最大距離值
如果最大距離值較低,可確保 VM 放置位置更靠近,但也會增加部分 VM 無法建立的機率。
下表顯示各最大距離值支援的機器系列和 VM 數量:
密集配置政策中的 maxDistance |
工作負載政策中的 maxTopologyDistance |
說明 | 支援的機器系列 | VM 數量上限 |
|---|---|---|---|---|
| 未指定 (不建議) | 未指定 (不建議) | Compute Engine 會盡可能將 VM 彼此靠近,但 VM 之間沒有最大距離。 | A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU) | 1500 |
3 |
cluster |
Compute Engine 會在相鄰的區塊中建立 VM。 | A4 | 1,500 |
2 |
block |
Compute Engine 會在同一個區塊中建立 VM。 | A4 和 A3 Ultra |
|