Agent Platform 生成式 AI 的配額和系統限制

這份文件列出 Agent Platform 生成式 AI 模型的配額和系統限制。

• 「配額」有預設值，但通常可以申請調整。
• 「系統限制」是固定值，無法變更。

Google Cloud 使用配額來確保公平性，並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量，配額適用多種資源類型，包括硬體、軟體和網路元件。舉例來說，配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量，或是可建立的專案數量。配額機制可防止服務過載，保障Google Cloud 使用者社群的權益，同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能：

• 監控 Google Cloud 產品和服務的用量
• 限制這些資源的用量
• 提供申請調整配額值和自動調整配額的管道

如果嘗試使用的資源量超過配額限制，系統通常會阻擋該資源的存取活動，您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源，不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內，所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Agent Platform 資源也設有系統限制。而且無法變更。

Gemini Enterprise Agent Platform 資源也有限制。而且無法變更。

調整後模型配額

微調模型推論與基礎模型共用配額。調整後模型推論沒有獨立配額。

嵌入限制

gemini-embedding-001 和 gemini-embedding-2 的要求受全域配額限制。

基礎模型	配額	指標
base_model: gemini-embedding	100,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding	100,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2	200,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2	60,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

使用 predict API 提出 gemini-embedding-001 要求時，也須遵守下列配額限制：

基礎模型	配額	指標
base_model: N/A	30,000	aiplatform.googleapis.com/online_prediction_requests

Agent Runtime 配額

在各區域中，特定專案的 Agent Runtime 適用下列配額：

說明	配額	指標
每分鐘建立、刪除或更新 Agent Runtime 資源	10	aiplatform.googleapis.com/reasoning_engine_service_write_requests
每分鐘建立、刪除或更新 Agent Runtime 工作階段	100	aiplatform.googleapis.com/session_write_requests
每分鐘取得、列出或擷取 Agent Runtime 工作階段	10000	aiplatform.googleapis.com/session_read_requests
每分鐘 Query 或 StreamQuery 次 Agent Runtime	90	aiplatform.googleapis.com/reasoning_engine_service_query_requests
每分鐘附加至 Agent Runtime 工作階段的事件數	300	aiplatform.googleapis.com/session_event_append_requests
Agent Runtime 資源數量上限	100	aiplatform.googleapis.com/reasoning_engine_service_entities
每分鐘建立、刪除或更新 Agent Runtime 記憶體資源	100	aiplatform.googleapis.com/memory_bank_write_requests
每分鐘從 Agent Runtime Memory Bank 取得、列出或擷取資料	300	aiplatform.googleapis.com/memory_bank_read_requests
沙箱環境 (執行程式碼) 每分鐘執行要求數	1000	aiplatform.googleapis.com/sandbox_environment_execute_requests
每個區域的沙箱環境 (執行程式碼) 實體	1000	aiplatform.googleapis.com/sandbox_environment_entities
沙箱環境 (執行程式碼) 每分鐘寫入要求數	500	aiplatform.googleapis.com/sandbox_environment_write_requests
每分鐘 A2A 代理程式 POST 要求 (例如 sendMessage 和 cancelTask)	60	aiplatform.googleapis.com/a2a_agent_post_requests
A2A 代理每分鐘取得的要求，例如 getTask 和 getCard	600	aiplatform.googleapis.com/a2a_agent_get_requests
每分鐘使用 BidiStreamQuery API 的並行即時雙向連線數	10	aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

多模態輸入配額

下列配額適用於各區域中特定專案的 generateContent 和 streamGenerateContent 要求的多模態輸入。每項配額會依基礎模型和解析度強制執行。全域端點提供的要求也適用相同限制，並使用對應的 ..._global 指標。

說明	配額	指標
每分鐘每個基礎模型和解析度的圖像輸入生成內容要求	34,000,000	aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
每分鐘每個基礎模型和解析度的影片輸入內容生成要求	192,000,000	aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
每分鐘每種基礎模型和解析度的音訊輸入內容生成要求	11,000,000	aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
每分鐘每個基礎模型和解析度的文件輸入內容生成要求	1,200,000	aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

如要申請提高這些配額的上限，請與 Google Cloud 帳戶團隊聯絡，因為您無法透過 Google Cloud 控制台提高配額。

生成式媒體配額

如要在 Google Cloud 控制台查看及編輯生成式媒體配額，請按照下列步驟操作：

1. 確認您已為專案 啟用 Agent Platform API。如果未啟用 API，就不會顯示 Agent Platform 配額。

2. 前往「Quotas and System Limits」(配額與系統限制) 頁面。

   前往「Quotas and System Limits」(配額與系統限制) 頁面

3. 在「Filter」(篩選器) 文字方塊中，輸入下列查詢：

   Metric: METRIC_NAME
Dimensions (e.g. location): MODEL_NAME

   更改下列內容：

   • METRIC_NAME：要搜尋的指標名稱，可以是下列其中一項：
     • Gemini Omni： global_generate_content_requests_per_minute_per_project_per_base_model
     • Veo： long_running_online_prediction_requests_per_base_model
     • Lyria： global_generate_content_requests_per_minute_per_project_per_base_model
   • MODEL_NAME：您使用的模型名稱。
4. 如要調整配額，請按一下「More」(更多)，然後選取「Edit quota」(編輯配額)。
5. 在窗格中輸入新的配額值，然後按一下「提交要求」。

批次推論

所有區域的批次推論工作配額和限制都相同。

Gemini 模型的並行批次推論工作限制

Gemini 模型的批次推論沒有預先定義的配額限制。而是提供大型共用資源集區，並根據模型即時可用性和所有客戶對該模型的需求，動態分配資源。當更多客戶處於活躍狀態，且模型容量飽和時，批次要求可能會排入佇列，等待容量釋出。

非 Gemini 模型的並行批次推論工作配額

下表列出並行批次推論工作的數量配額，不適用於 Gemini 模型：

配額	值
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

如果提交的工作數量超過分配的配額，工作會排入佇列，並在配額容量可用時處理。

在 Google Cloud 控制台中查看及編輯配額

注意：開始之前，請確認您已為專案啟用 Agent Platform API。如果未啟用 API，就不會顯示 Agent Platform 配額。

如要在 Google Cloud 控制台查看及編輯配額，請按照下列步驟操作：

1. 前往「Quotas and System Limits」(配額與系統限制) 頁面。

前往「Quotas and System Limits」(配額與系統限制) 頁面

2. 如要調整配額，請複製屬性 aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 並貼到「Filter」(篩選器)。按下 Enter 鍵。
3. 按一下資料列末端的三點圖示，然後選取「編輯配額」。
4. 在窗格中輸入新的配額值，然後按一下「提交要求」。

語意管理政策配額

下列配額適用於各區域中特定專案的語意管理政策：

說明	配額	指標
每分鐘取得或列出語意管理政策資源	600	aiplatform.googleapis.com/semantic_governance/policy_read_requests
每分鐘建立、更新或刪除語意管理政策資源	60	aiplatform.googleapis.com/semantic_governance/policy_write_requests
每分鐘取得語意管理政策引擎資源	600	aiplatform.googleapis.com/semantic_governance/engine_read_requests
每分鐘更新或取消佈建語意管理政策引擎資源	60	aiplatform.googleapis.com/semantic_governance/engine_write_requests
每個專案在各位置的 semantic governance policy 資源數量。	1,000	aiplatform.googleapis.com/semantic_governance/policy_count

在 Google Cloud 控制台中查看及編輯配額

注意：開始之前，請確認您已為專案啟用 Agent Platform API。如果未啟用 API，就不會顯示 Agent Platform 配額。

如要在 Google Cloud 控制台查看及編輯配額，請按照下列步驟操作：

1. 前往「Quotas and System Limits」(配額與系統限制) 頁面。

前往「Quotas and System Limits」(配額與系統限制) 頁面

2. 如要調整配額，請複製屬性 aiplatform.googleapis.com/semantic_governance/policy_write_requests 並貼到「Filter」(篩選器)。按下 Enter 鍵。
3. 按一下資料列末端的三點圖示，然後選取「編輯配額」。
4. 在窗格中輸入新的配額值，然後按一下「提交要求」。

Gemini Enterprise Agent Platform 的 RAG Engine

Agent Platform RAG Engine 支援 VPC-SC 安全控管機制和 CMEK。不支援資料落地和 AXT 安全控管機制。

如要使用 RAG Engine 執行檢索增強生成 (RAG)，各項服務須遵守下列配額限制，配額以每分鐘要求數 (RPM) 計算。

服務	配額	指標
RAG Engine 資料管理 API	60 RPM	VertexRagDataService requests per minute per region
RetrievalContexts 個 API	600 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1,500 RPM	Online prediction requests per base model per minute per region per base_model 您可指定的其他篩選條件為 base_model: textembedding-gecko

相關限制如下：

服務	限制	指標
並行 ImportRagFiles 要求	3 RPM	VertexRagService concurrent import requests per region
每項 ImportRagFiles 要求的檔案數量上限	10,000	VertexRagService import rag files requests per region

Gen AI Evaluation Service

Gen AI Evaluation Service 會使用 Gemini 2.5 Flash 做為預設判斷模型，評估以模型為基礎的指標。針對以模型為基礎的指標，單一評估要求可能會導致對 Gen AI Evaluation Service 提出多項基礎要求。每個模型的用量都是以組織層級計算，也就是說，任何傳送至評判模型、用於模型推論和模型式評估的要求，都會計入模型的用量。 下表列出 Gen AI Evaluation Service 和基礎評判模型的配額：

要求配額	預設配額
每分鐘的 Gen AI Evaluation Service 服務要求數	每個專案和區域 1,000 項要求
Gemini 處理量	視模型和計費方案而定
並行評估執行作業	每個專案在各區域可同時執行 20 項評估作業

如果在使用 Gen AI Evaluation Service 時收到與配額相關的錯誤，可能需要提出提高配額的要求。詳情請參閱「查看及管理配額」。

限制	值
Gen AI Evaluation Service 要求逾時	60 秒

首次在新專案中使用 Gen AI Evaluation Service 時，初始設定可能需要最多兩分鐘。如果第一次要求失敗，請稍候幾分鐘再重試。後續的評估要求通常會在 60 秒內完成。

模型式指標的輸入和輸出詞元數量上限，取決於做為評判模型的模型。如需模型清單，請參閱「 Google 模型」。

Gemini Enterprise Agent Platform Pipelines 配額

每項微調工作都會使用 Gemini Enterprise Agent Platform Pipelines。詳情請參閱「Agent Platform Pipelines 配額和限制」。

後續步驟

總覽

標準版 PayGo

瞭解標準即付即用模式：Agent Platform 的用量計費選項，只需為實際耗用的資源付費，不必預付費用。

資源

Agent Platform 配額和系統限制

Agent Platform 相關配額和系統限制，不含特定產品的配額和系統限制。

總覽

Google Cloud 配額

瞭解 Google Cloud 如何限制 Google Cloud 專案可使用的資源數量，以及配額如何適用於各種資源類型，包括硬體、軟體和網路元件。