本文件提供參考架構,協助您在 Google Cloud中設計完善的多代理 AI 系統。多代理式 AI 系統會將複雜且動態的程序分割成數個獨立任務,由多個專業的 AI 代理共同執行。
本文適用對象包括在雲端建構及管理 AI 基礎架構和應用程式的架構師、開發人員和管理員。本文假設您對 AI 代理和模型有基本瞭解。本文件並未提供設計及編寫 AI 代理程式碼的具體指引。
本文件的「部署」一節列出程式碼範例,可協助您瞭解如何建構及部署多代理式 AI 系統。
架構
下圖顯示部署在 Google Cloud的多代理 AI 系統架構範例。
架構元件
上一節的範例架構包含下列元件:
- 前端
- 使用者透過前端 (例如做為無伺服器 Cloud Run 服務執行的對話介面) 與多代理系統互動。
- 代理
在這個範例中,協調者代理會控制代理式 AI 系統。協調代理會叫用適當的子代理,觸發代理流程。代理可透過 Agent2Agent (A2A) 通訊協定互相通訊,無論程式設計語言和執行階段為何,都能互通。範例架構顯示依序模式和反覆修正模式中的代理。
如要進一步瞭解本範例中的子代理,請參閱「代理流程」一節。
- 代理執行階段
AI 代理可以部署為無伺服器 Cloud Run 服務、Google Kubernetes Engine (GKE) 上的容器化應用程式,或 Gemini Enterprise Agent Platform 的 Agent Runtime。
- ADK
Agent Development Kit (ADK) 提供工具和框架,可用於開發、測試及部署代理。ADK 可簡化代理建立作業,讓 AI 開發人員專注於代理的邏輯和功能。
- AI 模型和模型執行階段
在這個範例架構中,代理會使用 Gemini Enterprise Agent Platform 上的 AI 模型提供推論服務。架構顯示 Cloud Run 和 GKE 是您選擇使用的 AI 模型的替代執行階段。
- Model Armor
Model Armor 可檢查及清理部署在 Agent Platform 和 GKE 中的模型輸入和回覆。Model Armor 也可用於透過 Agent Gateway 轉送的代理和工具流量。詳情請參閱「Model Armor 與 Google Cloud 服務整合」。
- MCP 用戶端、伺服器和工具
Model Context Protocol (MCP) 標準化代理與工具之間的互動,方便存取工具。針對每組代理與工具,MCP 用戶端會向 MCP 伺服器傳送要求,代理則透過該伺服器存取資料庫、檔案系統或 API 等工具。
代理流程
上述架構中的多代理系統範例流程如下:
- 使用者透過前端 (例如即時通訊介面) 輸入提示,該介面會以無伺服器 Cloud Run 服務的形式運作。
- 前端會將提示詞轉送至協調者代理。
協調者代理會根據提示中表達的意圖,啟動下列其中一個代理流程。
- 依序:
- 工作 A 子代理會執行工作。
- task-A 子代理叫用 task-A.1 子代理。
反覆修正:
- 工作 B 子代理執行工作。
- 品質評估子代理會審查任務 B 子代理的輸出內容。
- 如果輸出內容不盡理想,品質評估工具會叫用提示強化子代理,修正提示。
- 工作 B 子代理會使用強化後的提示詞,再次執行工作。
這個循環會持續進行,直到輸出結果令人滿意或達到疊代次數上限。
範例架構包含human-in-the-loop路徑,可讓人類使用者在必要時介入代理流程。
- 依序:
工作 A.1 子代理和品質評估工具子代理會獨立叫用回覆生成器子代理。
回覆生成器子代理會生成回覆、執行驗證和基準檢查,然後透過協調者代理將最終回覆傳送給使用者。
使用的產品和工具
這個參考架構使用下列 Google Cloud 和第三方產品與工具:
- Cloud Run:無伺服器運算平台,可讓您直接在 Google 可擴充的基礎架構上執行容器。
- Gemini Enterprise Agent Platform:全方位平台,可建構、擴充、管理及最佳化企業級 AI 代理。
- Google Kubernetes Engine (GKE):Kubernetes 服務,可讓您透過 Google 的基礎架構,大規模部署及操作容器化應用程式。
- Model Armor:這項服務可保護生成式和代理式 AI 資源,防範提示詞注入、機密/私密資料外洩和有害內容。
- Agent Development Kit (ADK):一組工具和程式庫,用於開發、測試及部署 AI 代理。
- Agent2Agent (A2A) 通訊協定:這個開放式通訊協定可讓代理互通並進行通訊,不受程式設計語言和執行階段限制。
- Model Context Protocol (MCP):開放原始碼標準,用於將 AI 應用程式連結至外部系統。
用途
多代理式 AI 系統適用於複雜的用途,需要多項專業技能協作和協調,才能達成業務目標。如要找出適合多代理式 AI 系統的用途,請分析業務流程,並找出 AI 可強化的特定任務。著重於具體的業務成果,例如降低成本和加快處理速度。這種做法有助於確保 AI 投資與業務價值一致。
以下是多代理 AI 系統的應用實例。
財務顧問
提供個人化股票交易建議並執行交易。下圖顯示這個用途的代理流程範例。這個範例使用依序模式。
下圖顯示下列流程:
- 資料檢索代理會從可靠來源,擷取即時和歷來股價、公司財務報表和其他相關資料。
- 財務分析代理會對資料套用適當的分析和圖表技術,找出價格走勢模式並做出預測。
- 股票推薦代理會根據使用者的風險偏好和投資目標,使用分析結果和圖表,生成買賣特定股票的個人化推薦。
- 交易執行代理會代表使用者買賣股票。
研究助理
建立研究計畫、收集資訊、評估及修正研究,然後撰寫報告。下圖顯示這個用途的代理流程範例。本範例中的主要流程採用依序模式。範例也包含反覆修正模式。
下圖顯示下列流程:
- 規劃代理會建立詳細的研究計畫。
研究員代理會完成下列工作:
- 根據研究計畫找出適當的內外部資料來源。
- 收集及分析必要資料。
- 準備研究摘要,並提供給評估代理。
研究員代理會重複執行這些工作,直到評估員代理核准研究結果。
報告撰寫代理會建立最終研究報告。
供應鏈最佳化工具
最佳化庫存、追蹤貨件,以及與供應鏈合作夥伴溝通。下圖顯示這個用途的代理流程範例。本範例使用依序模式。
倉儲管理代理會根據庫存、需求預測和供應商前置時間,建立補貨訂單,確保庫存量維持在最佳狀態。
- 代理會與運送追蹤代理互動,追蹤運送狀態。
- 這個代理會與供應商通訊代理互動,通知供應商訂單異動。
運送追蹤代理會整合供應商的物流平台和貨運公司系統,確保訂單及時有效率地履行。
供應商通訊代理會代表系統中的其他代理,與外部供應商通訊。
設計替代方案
您可以根據對管理能力、控管和彈性的需求,在 Google Cloud 中為 AI 代理和模型選擇多種執行階段選項。詳情請參閱「選擇代理式 AI 架構元件」。
設計須知
本節說明使用這個參考架構開發拓撲時,應考量的設計因素、最佳做法和建議,以滿足您在安全性、可靠性、成本和效能方面的特定需求。
本節指南僅列出部分範例。視工作負載的需求,以及您使用的 Google Cloud 和第三方產品與功能而定,您可能需要考量其他設計因素和取捨。
系統設計
本節提供指引,協助您選擇部署作業的 Google Cloud 區域,以及選取適當的 Google Cloud 產品和工具。
區域選項
為 AI 應用程式選取 Google Cloud 區域時,請考量下列因素:
- 各區域 Google Cloud 服務的可用性。
- 使用者延遲時間需求。
- Google Cloud 資源的成本。
- 法規要求。
如要為應用程式選取合適的 Google Cloud 位置,請使用下列工具:
- Google Cloud 區域挑選工具:這項互動式網頁工具可根據碳足跡、成本和延遲時間等因素,為應用程式和資料選取最佳 Google Cloud區域。
- Cloud Location Finder API:這項公用 API 可讓您透過程式輔助方式,尋找 Google Cloud、Google Distributed Cloud 和其他雲端服務供應商的部署位置。
代理程式設計
本節提供設計 AI 代理的一般建議。編寫代理程式碼和邏輯的詳細指南不在本文討論範圍內。
- 定義及設計代理:
- 清楚定義代理式 AI 系統的業務目標,以及每個代理執行的工作。
- 選擇最符合需求的代理設計模式。
- 使用 ADK,有效率地建立、部署及管理代理架構。
- 代理互動:
- 在架構中設計真人服務專員,支援自然語言互動。
- 確保每個代理都會向其依附的用戶端清楚傳達其動作和狀態。
- 設計代理,偵測及處理模糊不清的查詢和細微的互動。
- 背景資訊、工具和資料:
- 確保代理有足夠的情境,可追蹤多輪互動和工作階段參數。
- 清楚說明代理可使用的工具,包括用途、引數和使用方式。
- 確保代理的回覆以可靠的資料來源為依據,減少幻覺。
- 實作邏輯來處理不相符的情況,例如提示與主題無關。
安全性
本節說明設計考量和建議,協助您在 Google Cloud 中設計符合工作負載安全性需求的拓撲。
代理的安全性考量
AI 代理會帶來某些獨特且嚴重的安全風險,傳統的確定性安全防護做法可能無法充分因應。Google 建議採用保護 AI 的方法,結合確定性安全控管措施和動態推論防禦機制的優勢。這項做法奠基於三大核心原則:人類監督、明確定義代理自主性,以及可觀測性。以下是符合這些核心原則的具體建議。
- 人工監督:代理式 AI 系統有時可能會失敗或未按預期運作。例如,模型可能會生成不準確的內容,或代理可能會選取不適當的工具。在業務關鍵的代理式 AI 系統中,加入人工介入迴路流程,讓人類監督者監控、覆寫及暫停代理。舉例來說,人類使用者可以審查代理的輸出內容、核准或拒絕輸出內容,並提供進一步指引來修正錯誤或制定策略決策。這種做法結合了代理式 AI 系統的效率,以及人類使用者的批判性思考和領域專業知識。
- 代理身分和最小權限存取權:
- 使用 Agent Identity,為每個代理提供與工作負載繫結、以 SPIFFE 為基礎的身分。將代理部署至 Agent Runtime 或 Cloud Run 時,可以使用代理身分。
- 如要設定個別代理的權限,請使用 Identity and Access Management (IAM) 存取權政策和代理平台存取控管機制 (搭配 IAM)。只授予每個代理執行工作,以及與工具和其他代理通訊所需的權限。如要進一步隔離各個代理,並限制安全漏洞的潛在影響,請將主體存取邊界 (PAB) 政策繫結至代理身分。
- 如果代理需要向外部工具或第三方 API 進行驗證,請使用Agent Identity 驗證管理工具。這種做法可讓您集中控管 OAuth 權杖和 API 金鑰,不必在代理程式碼或提示中嵌入憑證。
- 輸入和輸出流量管理:透過 Agent Gateway 轉送代理流量,在輸入和輸出邊界強制執行執行階段安全性政策。如要瞭解支援 Agent Gateway 的 Agent Runtime 平台,請參閱「支援的 Agent Runtime」。
- 用戶端至代理 (輸入):在 Agent Runtime 前方部署 Agent Gateway。閘道會使用 Model Armor 驗證呼叫端,並即時檢查傳入的提示詞。
- 代理至任意目的地 (輸出):
- 在輸出模式下,透過 Agent Gateway 轉送傳出的代理對代理 (A2A) 和代理對工具 (MCP) 要求。
- 使用 IAM 存取政策和 Identity-Aware Proxy (IAP),強制執行預設拒絕存取政策。
- 確認目標代理和工具已在 Agent Registry 中註冊。
- 使用 Model Armor 檢查傳出的工具叫用和回覆,防止資料竊取、間接提示詞注入和工具濫用。
- 監控:運用全方位追蹤功能監控代理行為,清楚掌握代理採取的每個動作,包括推論過程、工具選擇和執行路徑。詳情請參閱「在 Agent Runtime 中記錄代理」和「在 ADK 中記錄」。
如要進一步瞭解如何保護 AI 代理,請參閱「AI 代理的安全防護」。
Agent Platform 安全性考量
為確保 Agent Platform 設定和使用方式符合安全性需求,請考慮下列建議:
- 共同責任:維護安全是共同的責任。Agent Platform 可保護底層基礎架構,並提供工具和安全控管機制,協助您保護資料、程式碼和模型。您有責任正確設定服務、管理存取控管機制,以及保護應用程式安全。詳情請參閱「Agent Platform 共同責任」。
- 安全控管:Agent Platform 支援 Google Cloud 安全控管,可滿足資料落地、客戶自行管理的加密金鑰 (CMEK)、使用 VPC Service Controls 確保網路安全,以及資料存取透明化控管機制等需求。詳情請參閱下列說明文件:
- 安全性:AI 模型可能會生成有害的回覆,有時是為了回應惡意提示。
- 為提升安全性並降低代理式 AI 系統遭濫用的風險,您可以設定內容篩選器,阻擋有害的輸入內容和回覆。詳情請參閱「安全和內容篩選器」。
- 如要檢查及清理推論要求、代理提示詞、工具呼叫和回覆,防範提示詞注入和有害內容等威脅,您可以對直接模型 API 呼叫和透過 Agent Gateway 轉送的要求使用 Model Armor。Model Armor 可協助您防範惡意輸入、驗證內容安全性、保護私密資料、維持法規遵循,以及一致地強制執行安全和安全性政策。
- 模型存取權:您可以設定組織政策,限制 Google Cloud 專案中可使用的 AI 模型類型和版本。詳情請參閱「控管 Model Garden 模型的存取權」。
- 資料保護:如要探索提示、回覆和記錄資料中的機密資料,並進行去識別化,請使用 Cloud Data Loss Prevention API。詳情請參閱「將機密資料去識別化」。
MCP 安全性考量
為確保 MCP 實作符合安全性需求,請考慮下列建議:
- 工具註冊與探索:在 Agent Registry 中註冊 MCP 伺服器和工具,確保代理只會連線至已列入清單且經管理員核准的 MCP 端點。
- 存取控管和流量檢查:在「代理到任何位置 (輸出)」模式下,透過 Agent Gateway 轉送代理到 MCP 的流量,並使用 IAP 和 IAM 存取權政策保護 MCP 伺服器 (例如託管於 Cloud Run 的 MCP 伺服器)。在 Agent Gateway 設定 Model Armor 或語意管理政策,檢查 MCP 工具輸入和輸出內容,防範敏感資料外洩和間接提示詞注入。
- 一般 MCP 安全性:設定代理使用 MCP 時,請確保外部資料和工具的存取權已獲授權、實施加密等隱私權控制項、套用篩選器保護機密資料,並監控代理互動。詳情請參閱「MCP 與安全性」。
A2A 安全性考量
為確保 A2A 實作符合安全性需求,請考慮下列建議:
- 傳輸安全性:A2A 通訊協定規定,在正式環境中,所有 A2A 通訊都必須使用 HTTPS,並建議使用傳輸層安全標準 (TLS) 1.2 以上版本。
- 驗證:A2A 通訊協定會將驗證作業委派給標準網路機制 (例如 HTTP 標頭),以及 OAuth2 和 OpenID Connect 等標準。每個代理都會在代理資訊卡中宣傳驗證需求。詳情請參閱「A2A 驗證」。
- 代理間治理:在 Agent Registry 中註冊 A2A 代理,並透過 Agent Gateway 轉送代理間要求。將 Agent Gateway 與 Agent Identity、IAP 和 IAM 存取政策結合,即可透過加密方式驗證呼叫代理的身分、在協調代理和子代理之間強制執行精細授權,並使用 Model Armor 檢查代理間的酬載。
Cloud Run 安全性考量
為確保 Cloud Run 實作符合安全性需求,建議您採取下列做法:
- 輸入安全性 (適用於前端服務):如要控管應用程式的存取權,請停用前端 Cloud Run 服務的預設
run.app網址,並設定區域性外部應用程式負載平衡器。除了平衡應用程式的傳入流量,負載平衡器也會處理 SSL 憑證管理作業。如要進一步強化防護,您可以使用 Google Cloud Armor 安全性政策,為服務提供要求篩選、DDoS 防護和頻率限制。 使用者驗證:
- 組織內的使用者:如要驗證內部使用者對前端 Cloud Run 服務的存取權,請使用 IAP。使用者嘗試存取受 IAP 保護的資源時,IAP 會執行驗證及授權檢查。
- 組織外部使用者:如要驗證外部使用者對前端服務的存取權,請使用 Identity Platform 或 Firebase 驗證。如要管理外部使用者存取權,請設定應用程式來處理登入流程,並對 Cloud Run 服務發出經過驗證的 API 呼叫。
詳情請參閱「驗證使用者」。
代理和 MCP 伺服器安全:在 Cloud Run 託管代理或 MCP 伺服器時,請設定 Cloud Run 的 Agent Platform 功能,為服務指派代管代理身分,並搭配使用 IAP 和 Agent Gateway,驗證及授權傳入的代理和工具要求。
容器映像檔安全性:為確保只有授權的容器映像檔部署至 Cloud Run,您可以使用二進位授權。如要找出並降低容器映像檔中的安全風險,請使用 Artifact Analysis 自動執行安全漏洞掃描。詳情請參閱「容器掃描總覽」。
資料落地:Cloud Run 可協助您符合資料落地規定。Cloud Run 服務會在所選區域內執行。
如要進一步瞭解容器安全性,請參閱「Cloud Run 一般開發提示」。
架構中所有 Google Cloud 產品的安全性考量
為確保架構符合安全性需求,請考慮下列一般建議:
- 資料加密:根據預設, Google Cloud 會使用 Google-owned and Google-managed encryption keys加密靜態資料。如要使用您控管的加密金鑰保護代理資料,可以採用您在 Cloud KMS 建立及管理的 CMEK。如要瞭解與 Cloud KMS 相容的 Google Cloud 服務,請參閱「相容服務」。
- 降低資料竊取風險:如要降低資料竊取風險,請在基礎架構周圍建立 VPC Service Controls 範圍。VPC Service Controls 支援這項參考架構使用的所有Google Cloud 服務。
- 存取控管:設定拓撲中資源的權限時,請遵循最小權限原則。
- 雲端環境安全:使用 Security Command Center 中的工具偵測安全漏洞、找出及緩解威脅、定義及部署資安態勢,以及匯出資料以進一步分析。
- 部署後最佳化:在Google Cloud中部署應用程式後,您可以使用 Active Assist 取得建議,進一步強化安全性。請查看建議,並視環境情況套用。詳情請參閱「在 Active Assist 中查看建議」。
如需 AI 和機器學習工作負載專屬的安全原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:安全性」。
可靠性
本節說明設計考量和建議,協助您在 Google Cloud中建構及運作可靠的基礎架構。
代理的可靠性考量
為確保代理程式設定符合可靠性需求,請考慮下列建議:
- 容錯功能:設計代理系統,容許或處理代理層級的失敗。在可行情況下,請採用分散式方法,讓代理能獨立運作。
- 模擬故障:將代理式 AI 系統部署至正式環境前,請先模擬正式環境進行驗證。找出並修正代理間協調問題和非預期行為。
- 錯誤處理:為診斷及疑難排解錯誤,請實作記錄、例外狀況處理和重試機制。
Agent Platform 可靠性考量
為確保 Agent Platform 設定和使用方式符合可靠性需求,請參考下列建議:
- 容量規劃:如果要求數量超過分配的容量,系統會傳回錯誤代碼 429。如果工作負載對業務至關重要,且持續需要高處理量,您可以使用佈建輸送量預留處理量。
- 模型端點可用性:如果資料可以跨多個區域或國家/地區共用,則可使用模型的全域端點。
Cloud Run 抵禦可用區和區域中斷的能力
Cloud Run 是區域性服務。這項服務會同步將資料儲存在區域內的多個可用區,並自動在可用區之間平衡流量負載。如果可用區服務中斷,Cloud Run 會繼續運作,資料也不會遺失。如果發生區域服務中斷,服務會停止運作,直到 Google 解決中斷問題為止。
架構中所有 Google Cloud 產品的可靠性考量
在 Google Cloud部署應用程式後,您可以使用 Active Assist 取得建議,進一步提升可靠性。請查看建議,並視環境情況套用。詳情請參閱「在 Active Assist 中查看建議」。
如要瞭解 AI 和機器學習工作負載專屬的可靠性原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:可靠性」。
作業
本節說明使用這個參考架構設計可有效運作的 Google Cloud 拓撲時,應考量的因素。
Agent Platform 作業考量
為確保 Agent Platform 設定和使用方式符合營運需求,請參考下列建議:
- 使用記錄檔監控:根據預設,寫入
stdout和stderr串流的代理記錄會轉送至 Cloud Logging。如需進階記錄功能,可以將 Python 記錄器與 Cloud Logging 整合。如需完整控管記錄和結構化記錄,請使用 Cloud Logging 用戶端。詳情請參閱「記錄代理程式」和「在 ADK 中記錄」。 - 持續評估:定期對代理的輸出內容和軌跡 (或代理產生輸出內容時採取的步驟) 進行質性評估。如要實作代理評估,您可以使用 Gen AI 評估服務,或 ADK 支援的評估方法。
MCP 作業注意事項
為確保 MCP 實作符合您的作業需求,請參考下列建議:
- 資料庫工具:如要有效管理 AI 代理的資料庫工具,並確保代理能安全處理連線集區和驗證等複雜作業,請使用 MCP Toolbox for Databases。提供集中儲存及更新資料庫工具的位置。您可以在代理之間共用工具,並更新工具,而不必重新部署代理。工具箱包含多種工具,適用於 AlloyDB for PostgreSQL 等 Google Cloud資料庫,以及 MongoDB 等第三方資料庫。
- 生成式 AI 模型:如要讓 AI 代理使用 Imagen 和 Veo 等 Google 生成式 AI 模型,可以使用生成式媒體 API 的 MCP 伺服器 Google Cloud 。
- Google 安全性產品和工具:如要讓 AI 代理存取 Google 安全性產品和工具,例如 Google Security Operations、Google Threat Intelligence 和 Security Command Center,請使用 Google 安全性產品的 MCP 伺服器。
架構中所有 Google Cloud 產品的作業考量
使用 Cloud Trace 持續收集並分析追蹤記錄資料。追蹤資料可讓您快速找出並診斷複雜 Agentic Workflows 中的錯誤。您可以在 Trace Explorer 工具中,透過圖表進行深入分析。詳情請參閱「查看代理追蹤記錄」。
如要瞭解 AI 和機器學習工作負載專屬的卓越營運原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:卓越營運」。
成本最佳化
本節提供指引,說明如何最佳化使用此參考架構建構的 Google Cloud 拓撲,降低設定和營運成本。
Agent Platform 費用考量
為確保 Agent Platform 設定和用量符合成本需求,建議您採取下列做法:
- 成本分析與管理:如要分析及管理 Agent Platform 成本,建議您建立每秒查詢次數 (QPS) 和每秒權杖數 (TPS) 的基準指標。部署後,請監控這些指標。基準也有助於規劃容量。舉例來說,基準可協助您判斷何時可能需要佈建輸送量。
- 模型選取:您為 AI 應用程式選取的模型會直接影響成本和效能。如要找出最適合特定用途的模型,在效能和成本之間取得最佳平衡,請反覆測試模型。建議您先從最具成本效益的模型著手,再逐步改用更強大的選項。
- 符合成本效益的提示:提示 (輸入) 和生成回覆 (輸出) 的長度會直接影響效能和成本。撰寫簡短、直接且提供充分背景資訊的提示。設計提示,讓模型提供簡潔的回覆。例如,加入「用 2 句話總結」或「列出 3 個重點」等詞句。詳情請參閱提示設計最佳做法。
- 脈絡快取:如果要求含有重複內容,且輸入詞元數量較多,請使用脈絡快取功能,降低這類要求的成本。
- 批次要求:在相關情況下,請考慮批次預測。批次要求的費用低於標準要求。
Cloud Run 成本考量
為確保 Cloud Run 實作符合成本要求,請考慮下列建議:
- 資源分配:建立 Cloud Run 服務時,您可以指定要分配的記憶體和 CPU 數量。請先使用預設的 CPU 和記憶體配置。觀察資源用量和成本變化,並視需要調整分配。詳情請參閱「設定服務的記憶體限制」和「設定服務的 CPU 限制」。
- 費率最佳化:如果能預測 CPU 和記憶體需求,可以透過承諾使用折扣 (CUD) 節省費用。
架構中所有 Google Cloud 產品的費用考量
在 Google Cloud部署應用程式後,您可以取得建議,使用 Active Assist 進一步最佳化成本。請查看建議,並視環境情況套用。詳情請參閱「在 Active Assist 中查看建議」。
如要估算 Google Cloud 資源的費用,請使用Google Cloud Pricing Calculator。
如要瞭解 AI 和機器學習工作負載專屬的成本最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:成本最佳化」。
效能最佳化
本節說明設計考量和建議,協助您在 Google Cloud 中設計符合工作負載效能需求的拓撲。
代理效能考量
為確保代理程式設定符合效能需求,請參考下列建議:
- 模型選取:為代理式 AI 系統選取模型時,請考量代理執行工作所需的能力。
- 提示最佳化:如要快速大規模改善及最佳化提示成效,並避免手動重寫,請使用 Agent Platform 提示最佳化工具。提示詞最佳化工具可協助您有效率地調整提示詞,以便在不同模型中使用。
Agent Platform 效能注意事項
為確保 Agent Platform 設定和用量符合效能需求,請參考下列建議:
- 模型選取:您為 AI 應用程式選取的模型會直接影響成本和效能。如要找出最適合特定用途的模型,在效能和成本之間取得最佳平衡,請反覆測試模型。建議您先從最具成本效益的模型著手,再逐步改用更強大的選項。
- 提示工程:提示 (輸入) 和生成回覆 (輸出) 的長度會直接影響效能和成本。撰寫提示時,請簡短、直接,並提供充分的背景資訊。設計提示,讓模型提供簡潔的回覆。例如「用 2 句話總結」或「列出 3 個重點」。詳情請參閱提示設計最佳做法。
- 脈絡快取:如果要求含有重複內容,且輸入詞元數量較多,請使用脈絡快取功能,減少延遲時間。
Cloud Run 效能注意事項
請依據效能需求,設定要分配給 Cloud Run 服務的記憶體和 CPU。詳情請參閱「設定服務的記憶體限制」和「設定服務的 CPU 限制」。
如需更多效能最佳化指南,請參閱「Cloud Run 一般開發提示」。
架構中所有 Google Cloud 產品的效能考量
在 Google Cloud部署應用程式後,您可以使用 Active Assist 取得建議,進一步提升效能。請查看建議,並視環境情況套用。詳情請參閱「在 Active Assist 中查看建議」。
如要瞭解 AI 和機器學習工作負載專屬的效能最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:效能最佳化」。
部署作業
如要瞭解如何建構及部署多代理式 AI 系統,請使用下列程式碼範例。這些程式碼範例是功能完整的起點,可供您學習和實驗。為確保在正式環境中能以最佳狀態運作,您必須根據特定業務和技術需求自訂程式碼。
- 課程建立工具:建立結構化的教育課程。
- 財務顧問:分析股市資料、制定交易策略、定義執行計畫,以及評估風險。
- 研究助理:規劃及執行研究、評估結果,並撰寫研究報告。
- 搜尋最佳化工具:尋找搜尋關鍵字、分析網頁,並提供最佳化搜尋的建議。
- Airbnb 規劃工具 (使用 A2A 和 MCP):尋找指定地點和時間的 Airbnb 房源,並取得天氣資訊。
後續步驟
- 選擇代理式 AI 系統的設計模式。
- 在 Agent Garden 探索範例代理和工具。
- 使用 ADK 建構代理。
- 將代理部署至 Google Cloud。
- 在 Cloud Run 託管 A2A 代理。
- 在 Cloud Run 託管 MCP 伺服器。
- 如要概略瞭解 Google Cloud中 AI 和機器學習工作負載專屬的架構原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點」一文。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:Kumar Dhanagopal | 跨產品解決方案開發人員
其他貢獻者:
- Alan Blount | 產品經理
- Ali Arsanjani 博士 | 應用 AI 工程總監
- Filipe Gracio 博士 | 客戶工程師、AI/機器學習專家
- Holt Skinner | 開發人員服務代表
- Jack Wotherspoon | 開發人員服務代表
- Joe Shirey | Cloud 開發人員關係經理
- Megan O'Keefe | 開發人員服務代表
- Samantha He | 技術撰稿人
- Sara Ford | 資深開發人員關係工程師
- Shir Meir Lador | 開發人員關係工程經理
- Victor Dantas | 生成式 AI 現場解決方案架構師
- Vlad Kolesnikov | 開發人員關係工程師