Agent Platform 生成式 AI 的配額和系統限制

這份文件列出 Agent Platform 生成式 AI 模型適用的配額和系統限制。

• 「配額」有預設值，但通常可以申請調整。
• 「系統限制」是固定值，無法變更。

Google Cloud 使用配額來確保公平性，並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量，且適用多種資源類型，包括軟硬體和網路元件。舉例來說，配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量，或是可建立的專案數量。配額機制可防止服務過載，保障Google Cloud 使用者社群的權益，同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能：

• 監控 Google Cloud 產品和服務的用量
• 限制這些資源的用量
• 提供申請調整配額值和自動調整配額的管道

如果嘗試使用的資源量超過配額限制，系統通常會阻擋該資源的存取活動，您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源，不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內，所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Agent Platform 資源也設有系統限制， 而且無法變更。

Gemini Enterprise Agent Platform 資源也設有限制。系統限制無法變更。

調整後模型配額

微調模型推論與基礎模型共用配額。 微調模型推論沒有獨立配額。

嵌入限制

gemini-embedding-001 和 gemini-embedding-2 的要求會受到全球配額限制。

基礎模型	配額	指標
base_model: gemini-embedding	100,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding	100,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2	200,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2	60,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

使用 predict API 發出的 gemini-embedding-001 要求也須遵守下列配額：

基礎模型	配額	指標
base_model：不適用	30,000	aiplatform.googleapis.com/online_prediction_requests

Agent Runtime 配額

下列配額適用於各區域中特定專案的 Agent Runtime：

說明	配額	指標
每分鐘建立、刪除或更新 Agent Runtime 資源	10	aiplatform.googleapis.com/reasoning_engine_service_write_requests
每分鐘建立、刪除或更新 Agent Runtime 工作階段	100	aiplatform.googleapis.com/session_write_requests
取得、列出或擷取每分鐘的 Agent Runtime 工作階段	10000	aiplatform.googleapis.com/session_read_requests
Query或StreamQuery每分鐘的 Agent Runtime	90	aiplatform.googleapis.com/reasoning_engine_service_query_requests
每分鐘將事件附加至 Agent Runtime 工作階段	300	aiplatform.googleapis.com/session_event_append_requests
Agent Runtime 資源數量上限	100	aiplatform.googleapis.com/reasoning_engine_service_entities
每分鐘建立、刪除或更新 Agent Runtime 記憶體資源	100	aiplatform.googleapis.com/memory_bank_write_requests
每分鐘從 Agent Runtime Memory Bank 取得、列出或擷取資料	300	aiplatform.googleapis.com/memory_bank_read_requests
沙箱環境 (程式碼執行) 每分鐘執行要求數	1000	aiplatform.googleapis.com/sandbox_environment_execute_requests
每個區域的沙箱環境 (程式碼執行) 實體	1000	aiplatform.googleapis.com/sandbox_environment_entities
沙箱環境 (程式碼執行) 每分鐘寫入要求數	500	aiplatform.googleapis.com/sandbox_environment_write_requests
每 分鐘 的 A2A Agent sendMessage 和 cancelTask 要求數	60	aiplatform.googleapis.com/a2a_agent_post_requests
每分鐘的 A2A 代理取得要求，例如 getTask 和 getCard	600	aiplatform.googleapis.com/a2a_agent_get_requests
每分鐘使用 BidiStreamQuery API 的並行雙向即時連線數	10	aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

多模態輸入配額

下列配額適用於每個區域中，特定專案的 generateContent 和 streamGenerateContent 請求。系統會根據基礎模型和解析度，分別強制執行各項配額。使用對應的..._global指標時，全域端點服務的要求也適用相同限制。

說明	配額	指標
每分鐘每個基礎模型和解析度的圖像輸入內容生成要求數	34,000,000	aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
每分鐘以影片輸入內容生成內容要求 (依據基礎模型和解析度)	192,000,000	aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
每分鐘以音訊輸入內容生成內容要求 (依據基礎模型和解析度)	11,000,000	aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
每分鐘依據文件輸入內容生成內容要求，視基礎模型和解析度而定	1,200,000	aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

如要提高這些配額的上限，請與 Google Cloud 帳戶團隊聯絡，因為無法透過 Google Cloud 控制台提高上限。

生成式媒體配額

如要在 Google Cloud 控制台中查看及編輯生成式媒體配額，請按照下列步驟操作：

1. 請確認您已為專案 啟用 Agent Platform API。如果 API 未啟用，系統就不會顯示 Agent Platform 配額。

2. 前往「配額與系統限制」頁面。

   前往「配額與系統限制」

3. 在「篩選器」文字方塊中，輸入下列查詢：

   Metric: METRIC_NAME
Dimensions (e.g. location): MODEL_NAME

   更改下列內容：

   • METRIC_NAME：要搜尋的指標名稱，可以是下列其中一項：
     • Gemini Omni： global_generate_content_requests_per_minute_per_project_per_base_model
     • Veo： long_running_online_prediction_requests_per_base_model
     • Lyria： global_generate_content_requests_per_minute_per_project_per_base_model
   • MODEL_NAME：您使用的模型名稱。
4. 如要調整配額，請按一下「更多」圖示 ，然後選取「編輯配額」。
5. 在窗格中輸入新的配額值，然後按一下「提交要求」。

批次推論

所有區域的批次推論作業配額和限制都相同。

Gemini 模型批次推論工作的並行限制

Gemini 模型沒有預先定義的批次推論配額限制。而是提供大型共用資源集區的存取權，並根據模型即時可用性，以及所有客戶對該模型的需求，動態分配資源。如果活躍顧客人數增加，且模型容量已達上限，系統可能會將批次要求排入容量佇列。

非 Gemini 模型並行批次推論工作配額

下表列出並行批次推論工作數量的配額，不適用於 Gemini 模型：

配額	值
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

如果提交的任務數量超過分配的配額，系統會將任務排入佇列，並在配額容量可用時處理任務。

在 Google Cloud 控制台中查看及編輯配額

注意：開始前，請務必啟用專案的 Agent Platform API。如果 API 未啟用，系統就不會顯示 Agent Platform 配額。

如要在 Google Cloud 控制台中查看及編輯配額，請按照下列步驟操作：

1. 前往「配額與系統限制」頁面。

前往「配額與系統限制」

2. 如要調整配額，請複製並貼上「Filter」(篩選條件) 中的屬性 aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs。按下 Enter 鍵。
3. 點選資料列末端的三點圖示，然後選取「編輯配額」。
4. 在窗格中輸入新的配額值，然後按一下「提交要求」。

語意管理政策配額

下列配額適用於每個區域中特定專案的語意控管政策：

說明	配額	指標
每分鐘取得或列出語意管理政策資源	600	aiplatform.googleapis.com/semantic_governance/policy_read_requests
每分鐘建立、更新或刪除語意管理政策資源	60	aiplatform.googleapis.com/semantic_governance/policy_write_requests
每分鐘取得語意管理政策引擎資源	600	aiplatform.googleapis.com/semantic_governance/engine_read_requests
每分鐘更新或取消佈建語意管理政策引擎資源	60	aiplatform.googleapis.com/semantic_governance/engine_write_requests
每個專案在每個位置的語意管理政策資源數量。	1,000	aiplatform.googleapis.com/semantic_governance/policy_count

在 Google Cloud 控制台中查看及編輯配額

注意：開始前，請務必啟用專案的 Agent Platform API。如果 API 未啟用，系統就不會顯示 Agent Platform 配額。

如要在 Google Cloud 控制台中查看及編輯配額，請按照下列步驟操作：

1. 前往「配額與系統限制」頁面。

前往「配額與系統限制」

2. 如要調整配額，請複製並貼上「Filter」(篩選條件) 中的屬性 aiplatform.googleapis.com/semantic_governance/policy_write_requests。按下 Enter 鍵。
3. 點選資料列末端的三點圖示，然後選取「編輯配額」。
4. 在窗格中輸入新的配額值，然後按一下「提交要求」。

Gemini Enterprise Agent Platform 的 RAG 引擎

Agent Platform RAG Engine 支援 VPC-SC 安全控管機制和 CMEK。不支援資料落地和 AXT 安全控管機制。

如要讓各項服務使用 RAG 引擎執行檢索增強生成 (RAG)，必須遵守下列配額，配額的計算單位為每分鐘要求數 (RPM)。

服務	配額	指標
RAG Engine 資料管理 API	60 RPM	VertexRagDataService requests per minute per region
RetrievalContexts 個 API	600 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1,500 RPM	Online prediction requests per base model per minute per region per base_model 您可以指定的額外篩選條件是 base_model: textembedding-gecko

以下為相關限制：

服務	限制	指標
並行 ImportRagFiles 要求	3 RPM	VertexRagService concurrent import requests per region
每個 ImportRagFiles 要求可上傳的檔案數上限	10,000	VertexRagService import rag files requests per region

Gen AI Evaluation Service

Gen AI Evaluation Service 會使用 Gemini 2.5 Flash 做為模型評估指標的預設評估模型。 以模型為基礎的指標單一評估要求，可能會導致對 Gen AI Evaluation Service 的多個基礎要求。系統會以機構層級計算各模型的用量，也就是說，凡是導向評估模型的模型推論和模型評估要求，都會計入模型的用量。下表列出 Gen AI Evaluation Service 和基礎評估模型配額：

要求配額	預設配額
每分鐘的 Gen AI Evaluation Service 要求數	每個專案和區域 1,000 次要求
Gemini 輸送量	視模型和計費方案而定
並行評估執行作業	每個專案和區域最多可同時執行 20 次評估

如果您在使用 Gen AI Evaluation Service 時收到配額相關錯誤，可能需要提出配額提高要求。詳情請參閱「查看及管理配額」。

限制	值
Gen AI Evaluation Service 服務要求逾時	60 秒

在新的專案中首次使用 Gen AI Evaluation Service 時，初始設定可能會延遲最多兩分鐘。如果第一次要求失敗，請稍候幾分鐘再重試。後續的評估要求通常會在 60 秒內完成。

模型式指標的輸入和輸出權杖上限取決於用來做為評估模型的模型。如需模型清單，請參閱「 Google 模型」。

Gemini Enterprise Agent Platform Pipelines 配額

每個微調作業都會使用 Gemini Enterprise Agent Platform Pipelines。詳情請參閱「Agent Platform Pipelines 配額與限制」。

後續步驟

總覽

標準隨用隨付

瞭解「標準即付即用」模式。這種 Agent Platform 用量計費模式可讓您只為耗用的資源付費，無須預先承諾支出。

資源

Agent Platform 配額與系統限制

與 Agent Platform 相關的配額和系統限制，不包括產品專屬的配額和系統限制。

總覽

Google Cloud 配額

瞭解 Google Cloud 如何限制 Google Cloud 雲端專案可使用的資源數量，以及配額如何適用於各種資源類型，包括硬體、軟體和網路元件。