Agent Platform 會分配節點來處理線上和批次推論。將自訂訓練模型或 AutoML 模型部署至 Endpoint 資源,以提供線上推論,或要求批次推論時,您可以自訂推論服務用於這些節點的虛擬機器類型。您可以視需要設定推論節點,以便使用 GPU。
機型在以下幾個方面有所不同:
- 每個節點的虛擬 CPU (vCPU) 數量
- 每個節點的記憶體量
- 定價
選取運算資源較多的機型,即可縮短推論延遲時間,或同時處理更多推論要求。
管理費用和可用性
為協助管理成本或確保 VM 資源可用性,Agent Platform 提供下列功能:
為確保您只需支付所需運算資源的費用,可以使用 Vertex AI Inference 自動調度資源。詳情請參閱「調整 Vertex AI Inference 的推論節點資源」。
為確保推論工作需要時,VM 資源可供使用,您可以使用 Compute Engine 預留項目。預留項目可確保您取得 Compute Engine 資源的容量。詳情請參閱「將預留項目與推論搭配使用」。
如要降低執行推論工作的成本,可以使用 Spot VM。Spot VM 是虛擬機器 (VM) 執行個體,屬於 Compute Engine 的多餘容量。Spot VM 提供大幅折扣,但 Compute Engine 可能會隨時先占停止或刪除 Spot VM,以取回資源。詳情請參閱「搭配推論使用 Spot VM」。
指定運算資源的位置
部署模型進行線上推論,或建立批次推論工作時,可以設定機器類型和加速器。
線上推論
如要使用自訂訓練模型或 AutoML 表格模型提供線上推論,您必須在將 Model 資源部署為 DeployedModel 至 Endpoint 時指定機器類型。如果是其他類型的 AutoML 模型,Agent Platform 會自動設定機器類型。
在
DeployedModel 的
dedicatedResources.machineSpec 欄位中指定機型 (以及 GPU 設定,如有需要)。
瞭解如何部署各種類型的模型:
批次推論
如要從自訂訓練模型或 AutoML 表格模型取得批次推論,您必須在建立 BatchPredictionJob 資源時指定機器類型。在
BatchPredictionJob 的 dedicatedResources.machineSpec 欄位中,指定
機型 (和 GPU 設定,如有需要)。
機型
下表比較可用於提供自訂訓練模型和 AutoML 表格模型推論的機器類型。
如要瞭解 TPU 加速器類型,請參閱「將模型部署至 Cloud TPU VM」。
機型:CPU
E2 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
e2-standard-2 |
2 | 8 |
e2-standard-4 |
4 | 16 |
e2-standard-8 |
8 | 32 |
e2-standard-16 |
16 | 64 |
e2-standard-32 |
32 | 128 |
e2-highmem-2 |
2 | 16 |
e2-highmem-4 |
4 | 32 |
e2-highmem-8 |
8 | 64 |
e2-highmem-16 |
16 | 128 |
e2-highcpu-2 |
2 | 2 |
e2-highcpu-4 |
4 | 4 |
e2-highcpu-8 |
8 | 8 |
e2-highcpu-16 |
16 | 16 |
e2-highcpu-32 |
32 | 32 |
N1 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
n1-standard-2 |
2 | 7.5 |
n1-standard-4 |
4 | 15 |
n1-standard-8 |
8 | 30 |
n1-standard-16 |
16 | 60 |
n1-standard-32 |
32 | 120 |
n1-highmem-2 |
2 | 13 |
n1-highmem-4 |
4 | 26 |
n1-highmem-8 |
8 | 52 |
n1-highmem-16 |
16 | 104 |
n1-highmem-32 |
32 | 208 |
n1-highcpu-4 |
4 | 3.6 |
n1-highcpu-8 |
8 | 7.2 |
n1-highcpu-16 |
16 | 14.4 |
n1-highcpu-32 |
32 | 28.8 |
N2 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
n2-standard-2 |
2 | 8 |
n2-standard-4 |
4 | 16 |
n2-standard-8 |
8 | 32 |
n2-standard-16 |
16 | 64 |
n2-standard-32 |
32 | 128 |
n2-standard-48 |
48 | 192 |
n2-standard-64 |
64 | 256 |
n2-standard-80 |
80 | 320 |
n2-standard-96 |
96 | 384 |
n2-standard-128 |
128 | 512 |
n2-highmem-2 |
2 | 16 |
n2-highmem-4 |
4 | 32 |
n2-highmem-8 |
8 | 64 |
n2-highmem-16 |
16 | 128 |
n2-highmem-32 |
32 | 256 |
n2-highmem-48 |
48 | 384 |
n2-highmem-64 |
64 | 512 |
n2-highmem-80 |
80 | 640 |
n2-highmem-96 |
96 | 768 |
n2-highmem-128 |
128 | 864 |
n2-highcpu-2 |
2 | 2 |
n2-highcpu-4 |
4 | 4 |
n2-highcpu-8 |
8 | 8 |
n2-highcpu-16 |
16 | 16 |
n2-highcpu-32 |
32 | 32 |
n2-highcpu-48 |
48 | 48 |
n2-highcpu-64 |
64 | 64 |
n2-highcpu-80 |
80 | 80 |
n2-highcpu-96 |
96 | 96 |
N2D 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
n2d-standard-2 |
2 | 8 |
n2d-standard-4 |
4 | 16 |
n2d-standard-8 |
8 | 32 |
n2d-standard-16 |
16 | 64 |
n2d-standard-32 |
32 | 128 |
n2d-standard-48 |
48 | 192 |
n2d-standard-64 |
64 | 256 |
n2d-standard-80 |
80 | 320 |
n2d-standard-96 |
96 | 384 |
n2d-standard-128 |
128 | 512 |
n2d-standard-224 |
224 | 896 |
n2d-highmem-2 |
2 | 16 |
n2d-highmem-4 |
4 | 32 |
n2d-highmem-8 |
8 | 64 |
n2d-highmem-16 |
16 | 128 |
n2d-highmem-32 |
32 | 256 |
n2d-highmem-48 |
48 | 384 |
n2d-highmem-64 |
64 | 512 |
n2d-highmem-80 |
80 | 640 |
n2d-highmem-96 |
96 | 768 |
n2d-highcpu-2 |
2 | 2 |
n2d-highcpu-4 |
4 | 4 |
n2d-highcpu-8 |
8 | 8 |
n2d-highcpu-16 |
16 | 16 |
n2d-highcpu-32 |
32 | 32 |
n2d-highcpu-48 |
48 | 48 |
n2d-highcpu-64 |
64 | 64 |
n2d-highcpu-80 |
80 | 80 |
n2d-highcpu-96 |
96 | 96 |
n2d-highcpu-128 |
128 | 128 |
n2d-highcpu-224 |
224 | 224 |
N4 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
n4-standard-8 |
8 | 32 |
n4-standard-16 |
16 | 64 |
n4-standard-32 |
32 | 128 |
n4-standard-48 |
48 | 192 |
n4-standard-64 |
64 | 256 |
n4-standard-80 |
80 | 320 |
n4-highcpu-8 |
8 | 16 |
n4-highcpu-16 |
16 | 32 |
n4-highcpu-32 |
32 | 64 |
n4-highcpu-48 |
48 | 96 |
n4-highcpu-64 |
64 | 128 |
n4-highcpu-80 |
80 | 160 |
n4-highmem-8 |
8 | 64 |
n4-highmem-16 |
16 | 128 |
n4-highmem-32 |
32 | 256 |
n4-highmem-48 |
48 | 384 |
n4-highmem-64 |
64 | 512 |
n4-highmem-80 |
80 | 640 |
C2 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
c2-standard-4 |
4 | 16 |
c2-standard-8 |
8 | 32 |
c2-standard-16 |
16 | 64 |
c2-standard-30 |
30 | 120 |
c2-standard-60 |
60 | 240 |
C2D 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
c2d-standard-2 |
2 | 8 |
c2d-standard-4 |
4 | 16 |
c2d-standard-8 |
8 | 32 |
c2d-standard-16 |
16 | 64 |
c2d-standard-32 |
32 | 128 |
c2d-standard-56 |
56 | 224 |
c2d-standard-112 |
112 | 448 |
c2d-highcpu-2 |
2 | 4 |
c2d-highcpu-4 |
4 | 8 |
c2d-highcpu-8 |
8 | 16 |
c2d-highcpu-16 |
16 | 32 |
c2d-highcpu-32 |
32 | 64 |
c2d-highcpu-56 |
56 | 112 |
c2d-highcpu-112 |
112 | 224 |
c2d-highmem-2 |
2 | 16 |
c2d-highmem-4 |
4 | 32 |
c2d-highmem-8 |
8 | 64 |
c2d-highmem-16 |
16 | 128 |
c2d-highmem-32 |
32 | 256 |
c2d-highmem-56 |
56 | 448 |
c2d-highmem-112 |
112 | 896 |
C3 系列
| 名稱 | vCPU | 記憶體 (GB) |
|---|---|---|
c3-highcpu-4 |
4 | 8 |
c3-highcpu-8 |
8 | 16 |
c3-highcpu-22 |
22 | 44 |
c3-highcpu-44 |
44 | 88 |
c3-highcpu-88 |
88 | 176 |
c3-highcpu-176 |
176 | 352 |
機型:GPU
A2 系列
| 名稱 | vCPU | 記憶體 (GB) | GPU (NVIDIA A100) |
|---|---|---|---|
a2-highgpu-1g |
12 | 85 | 1 (A100 40GB) |
a2-highgpu-2g |
24 | 170 | 2 (A100 40GB) |
a2-highgpu-4g |
48 | 340 | 4 (A100 40GB) |
a2-highgpu-8g |
96 | 680 | 8 (A100 40GB) |
a2-megagpu-16g |
96 | 1360 | 16 (A100 40GB) |
a2-ultragpu-1g |
12 | 170 | 1 (A100 80GB) |
a2-ultragpu-2g |
24 | 340 | 2 (A100 80GB) |
a2-ultragpu-4g |
48 | 680 | 4 (A100 80GB) |
a2-ultragpu-8g |
96 | 1360 | 8 (A100 80GB) |
A3 系列
| 名稱 | vCPU | 記憶體 (GB) | GPU (NVIDIA H100 或 H200) |
|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 1 (H100 80GB) |
a3-highgpu-2g |
52 | 468 | 2 (H100 80GB) |
a3-highgpu-4g |
104 | 936 | 4 (H100 80GB) |
a3-highgpu-8g |
208 | 1872 | 8 (H100 80GB) |
a3-edgegpu-8g |
208 | 1872 | 8 (H100 80GB) |
a3-ultragpu-8g |
224 | 2952 | 8 (H200 141GB) |
A4 系列
| 名稱 | vCPU | 記憶體 (GB) | GPU (NVIDIA B200) |
|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 8 |
A4X 系列
| 名稱 | vCPU | 記憶體 (GB) | GPU (NVIDIA GB200) |
|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 4 |
G2 系列
| 名稱 | vCPU | 記憶體 (GB) | GPU (NVIDIA L4) |
|---|---|---|---|
g2-standard-4 |
4 | 16 | 1 |
g2-standard-8 |
8 | 32 | 1 |
g2-standard-12 |
12 | 48 | 1 |
g2-standard-16 |
16 | 64 | 1 |
g2-standard-24 |
24 | 96 | 2 |
g2-standard-32 |
32 | 128 | 1 |
g2-standard-48 |
48 | 192 | 4 |
g2-standard-96 |
96 | 384 | 8 |
G4 系列
| 名稱 | vCPU | 記憶體 (GB) | GPU (NVIDIA RTX PRO 6000) |
|---|---|---|---|
g4-standard-48 |
48 | 180 | 1 |
g4-standard-96 |
96 | 360 | 2 |
g4-standard-192 |
192 | 720 | 4 |
g4-standard-384 |
384 | 1440 | 8 |
瞭解各機器類型的定價。如要進一步瞭解這些機型的詳細規格,請參閱 Compute Engine 機型說明文件。
找出理想的機器類型
下列指南可協助您判斷最適合線上或批次推論工作負載的機器類型。
線上推論
如要找出最適合您用途的機器類型,建議您在多種機器類型上載入模型,並評估延遲時間、費用、並行和處理量等特性。
其中一種方法是在多種機器類型上執行用於尋找理想機器類型的範例筆記本,並比較結果,找出最適合您的機器類型。
Gemini Enterprise Agent Platform 會在每個副本上保留約 1 個 vCPU,用於執行系統程序。也就是說,在單核心機型上執行筆記本,與使用 2 核心機型提供推論服務的效果相當。
考量推論成本時,請注意,雖然大型機器費用較高,但由於處理相同工作負載所需的副本較少,因此可降低整體成本。這點在 GPU 上尤為明顯,GPU 的每小時費用通常較高,但能縮短延遲時間,並降低整體成本。
批次推論
詳情請參閱「選擇機器類型和副本數量」。
選用 GPU 加速器
部分設定 (例如 A2 系列和 G2 系列) 內建固定數量的 GPU。
A4X (a4x-highgpu-4g) 系列的副本數量下限為 18。這部機器是以機架為單位購買,至少有 18 個 VM。
其他設定 (例如 N1 系列) 則可讓您選擇新增 GPU,加速每個推論節點。不過,在 me-west1 區域中,N1 系列機型僅支援搭配 NVIDIA Tesla T4 GPU 加速器。不支援在 me-west1 使用僅限 CPU 的 N1 機型。
如要新增選用的 GPU 加速器,必須符合下列幾項規定:
- 只有在
Model資源是以 TensorFlow SavedModel 為基礎,或使用專為利用 GPU 而設計的自訂容器時,才能使用 GPU。您無法將 GPU 用於 scikit-learn 或 XGBoost 模型。 - 每種 GPU 的可用性取決於模型使用的區域。瞭解各區域提供的 GPU 類型。
DeployedModel資源或BatchPredictionJob只能使用一種 GPU,且可新增的 GPU 數量會因使用的機器類型而異。下表說明這些限制。
下表列出可用於線上推論的選用 GPU,以及每種 Compute Engine 機型可使用的各類型 GPU 數量:
| 各機器類型的有效 GPU 數量 | |||||
|---|---|---|---|---|---|
| 機器類型 | NVIDIA Tesla P100 | NVIDIA Tesla V100 | NVIDIA Tesla P4 | NVIDIA Tesla T4 | |
n1-standard-2 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-standard-4 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-standard-8 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-standard-16 |
1、2、4 | 2、4、8 | 1、2、4 | 1、2、4 | |
n1-standard-32 |
2、4 | 4、8 | 2、4 | 2、4 | |
n1-highmem-2 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-highmem-4 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-highmem-8 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-highmem-16 |
1、2、4 | 2、4、8 | 1、2、4 | 1、2、4 | |
n1-highmem-32 |
2、4 | 4、8 | 2、4 | 2、4 | |
n1-highcpu-2 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-highcpu-4 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-highcpu-8 |
1、2、4 | 1、2、4、8 | 1、2、4 | 1、2、4 | |
n1-highcpu-16 |
1、2、4 | 2、4、8 | 1、2、4 | 1、2、4 | |
n1-highcpu-32 |
2、4 | 4、8 | 2、4 | 2、4 | |
選用 GPU 會產生額外費用。
在單一 VM 上共同排定多個副本
如要盡可能降低部署成本,您可以將同一模型的多個副本部署至單一 VM,並配備多個 GPU 硬體加速器,例如具有八個 NVIDIA H100 GPU 的 a3-highgpu-8g VM。每個模型副本可指派給一或多個 GPU。
如果是較小的工作負載,您也可以使用 NVIDIA 多執行個體 GPU (MIG),將單一 GPU 分割成多個較小的執行個體。這樣一來,您就能在子 GPU 層級指派資源,充分運用每個加速器。如要進一步瞭解多執行個體 GPU,請參閱 NVIDIA 多執行個體 GPU 使用手冊。
這兩項功能旨在提高資源使用效率,並提升服務工作負載的成本效益。
限制
這項功能有下列限制:
- 所有共同排定的模型副本都必須是相同的模型版本。
- 不支援使用部署項目資源集區跨部署項目共用資源。
支援的機型
支援的機型如下。請注意,如果機器類型只有一個 GPU,則不需要共同排程。
| 機型 | Coschedule | Coschedule + MIG |
|---|---|---|
| a2-highgpu-1g | 不適用 | 是 |
| a2-highgpu-2g | 是 | 是 |
| a2-highgpu-4g | 是 | 是 |
| a2-highgpu-8g | 是 | 是 |
| a2-highgpu-16g | 是 | 是 |
| a2-ultragpu-1g | 不適用 | 是 |
| a2-ultragpu-2g | 是 | 是 |
| a2-ultragpu-4g | 是 | 是 |
| a2-ultragpu-8g | 是 | 是 |
| a3-edgegpu-8g | 是 | 是 |
| a3-highgpu-1g | 不適用 | 是 |
| a3-highgpu-2g | 是 | 是 |
| a3-highgpu-4g | 是 | 是 |
| a3-highgpu-8g | 是 | 是 |
| a3-megagpu-8g | 是 | 是 |
| a3-ultragpu-8g | 是 | 是 |
| a4-highgpu-8g | 是 | 是 |
| a4x-highgpu-8g | 是 | 是 |
| g4-standard-48 | 不適用 | 是 |
| g4-standard-96 | 是 | 是 |
| g4-standard-192 | 是 | 是 |
| g4-standard-384 | 是 | 是 |
必要條件
使用這項功能前,請先參閱「使用 gcloud CLI 或 Agent Platform API 部署模型」。
部署模型副本
下列範例說明如何部署共同排程的模型副本。
gcloud
使用下列 gcloud 指令,在 VM 上部署共同排程的模型副本:
gcloud ai endpoints deploy-model ENDPOINT_ID \
--region=LOCATION_ID \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_NAME \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--machine-type=MACHINE_TYPE \
--accelerator=type=ACC_TYPE,count=ACC_COUNT \
--traffic-split=0=100
更改下列內容:
- ENDPOINT_ID:端點 ID。
- LOCATION_ID:您使用 Agent Platform 的區域。
- MODEL_ID:要部署的模型 ID。
-
DEPLOYED_MODEL_NAME:
DeployedModel的名稱。您也可以將Model的顯示名稱用於DeployedModel。 - MIN_REPLICA_COUNT:這項部署作業的節點數量下限。節點數量可依推論負載需求增減,但不會超過節點數量上限,也不會低於這個數量。
- MAX_REPLICA_COUNT:這項部署作業的節點數量上限。節點數量可依推論負載需求增減,但不得超過這個數量,也不得低於節點數量下限。。每部署 2 個副本,就需要 1 個 VM。
- MACHINE_TYPE:這項部署作業要使用的 VM 類型。必須屬於加速器最佳化系列。
- ACC_TYPE:GPU 加速器類型。應與 MACHINE_TYPE 對應。如果是
a3-highgpu-8g,請使用nvidia-h100-80gb。 - ACC_COUNT:每個副本可使用的 GPU 數量。至少為 1,且不得超過機器中的 GPU 總數。
REST
使用任何要求資料之前,請先修改下列項目的值:
- PROJECT_NUMBER:專案編號。
- LOCATION_ID:您使用 Agent Platform 的區域。
- MODEL_ID:要部署的模型 ID。
-
DEPLOYED_MODEL_NAME:
DeployedModel的名稱。您也可以將Model的顯示名稱用於DeployedModel。 -
MACHINE_TYPE:選用。這項部署作業中每個節點使用的機器資源。預設設定為
n1-standard-2。進一步瞭解機型。 - ACC_TYPE:GPU 加速器類型。應與 `GPU_PARTITION_SIZE` 對應。
- GPU_PARTITION_SIZE:GPU 分區大小。例如「1g.10gb」。
- ACC_COUNT:每個副本可使用的 GPU 數量。至少為 1,且不得超過機器中的 GPU 總數。
- MIN_REPLICA_COUNT:這項部署作業的節點數量下限。節點數量可依推論負載需求增減,但不會超過節點數量上限,也不會低於這個數量。
- MAX_REPLICA_COUNT:這項部署作業的節點數量上限。節點數量可依推論負載需求增減,但不得超過這個數量,也不得低於節點數量下限。
HTTP 方法和網址:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel
JSON 要求主體:
{
"deployedModel": {
"model": "projects/PROJECT_NUMBER/locations/LOCATION_ID/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACC_TYPE",
"gpuPartitionSize": "GPU_PARTITION_SIZE",
"acceleratorCount": "ACC_COUNT""
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "aiplatform.googleapis.com/prediction/online/accelerator/duty_cycle",
"target": 70
}
]
}
}
}
請展開以下其中一個選項,以傳送要求:
您應該會收到執行成功的狀態碼 (2xx) 和空白回應。
Python
如要瞭解如何安裝或更新 Vertex AI SDK for Python,請參閱「安裝 Vertex AI SDK for Python」。 詳情請參閱 Python API 參考文件。
使用下列 Python 指令,在 VM 上部署共同排程的模型副本。
endpoint.deploy(
model=<var>MODEL</var>,
machine_type=MACHINE_TYPE,
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
accelerator_type=ACC_TYPE,
gpu_partition_size=GPU_PARTITION_SIZE,
accelerator_count=ACC_COUNT
)
更改下列內容:
MODEL:下列 API 呼叫傳回的模型物件:
model = aiplatform.Model(model_name=model_name)MACHINE_TYPE:這項部署作業要使用的 VM 類型。必須來自加速器最佳化系列。預先發布版僅支援
a3-highgpu-8g。MIN_REPLICA_COUNT:這項部署作業的節點數量下限。節點數量可依推論負載需求增減,但不會超過節點數量上限,也不會低於這個數量。
MAX_REPLICA_COUNT:這項部署作業的節點數量上限。節點數量可依推論負載需求增減,但不得超過這個數量,也不得低於節點數量下限。
ACC_TYPE:GPU 加速器類型。應與 GPU_PARTITION_SIZE 對應。
GPU_PARTITION_SIZE:GPU 分區大小。例如:
"1g.10gb"。如需各 GPU 類型支援的分區大小完整清單,請參閱「多實體 GPU 分區」。ACC_COUNT:每個副本可使用的 GPU 數量。至少為 1,且不得超過機器中的 GPU 總數。
a3-highgpu-8g請指定 1 到 8 之間的值。
監控 VM 使用情形
請按照下列操作說明,在 Metrics Explorer 中監控已部署副本的實際機器數量。
前往 Google Cloud 控制台的「Metrics Explorer」頁面。
選取要查看指標的專案。
在「指標」下拉式選單中,點選「選取指標」。
在「Filter by resource or metric name」(依資源或指標名稱篩選) 搜尋列中,輸入
Gemini Enterprise Agent Platform Endpoint。選取「Agent Platform 端點」>「預測」指標類別。在「Active metrics」(有效指標) 下方,選取「Machine count」(機器數量)。
按一下「套用」。
帳單
計費依據是使用的 VM 數量,而非 GPU 數量。您可以使用 Metrics Explorer 監控 VM 用量。
高可用性
由於多個副本在同一個 VM 上共同排程,Vertex AI Inference 無法將部署作業分散到多個 VM,因此也無法分散到多個可用區,直到副本數量超過單一 VM 節點。為確保高可用性,Google 建議至少在兩個節點 (VM) 上部署。