本文提供指引,協助您選擇 Google Cloud中代理式 AI 應用程式的架構元件。說明如何評估應用程式和工作負載的特性,選擇最符合需求的產品或服務。設計代理式 AI 架構需要反覆調整。隨著工作負載特性改變、需求演進,或新的 Google Cloud 產品和功能推出,您應定期重新評估架構。
AI 代理適用於解決開放式問題的應用程式,這類問題可能需要自主決策和複雜的多步驟工作流程管理。代理擅長使用外部資料即時解決問題,以及自動執行知識密集型工作。這些功能可讓代理提供比 AI 模型的輔助和生成功能更多的業務價值。
代理架構總覽
代理是一種應用程式,會處理輸入內容、使用可用工具進行推論,並根據決策採取行動,以達成目標。代理會使用 AI 模型做為核心推論引擎,自動執行複雜工作。代理會使用一組工具,讓 AI 模型與外部系統和資料來源互動。代理可使用記憶系統,記住脈絡並從互動中學習。代理架構的目標是建立自主系統,能理解使用者意圖、制定多步驟計畫,並使用可用工具執行計畫。
下圖概略呈現代理系統的架構元件:
代理系統架構包含下列元件:
- 代理開發框架:用於建構及架構代理邏輯的框架和程式庫。
- 前端架構:預先建構的元件、程式庫和工具集合,可用於建構應用程式的使用者介面 (UI)。
- 代理安全與治理:保護代理身分、輸入和輸出流量、工具和模型互動的控管機制和政策。
- 代理工具:一組工具,例如 API、服務和函式,可擷取資料並執行動作或交易。
- 代理記憶體:代理用來儲存及叫用資訊的系統。
- 代理設計模式:建構代理應用程式的常見架構方法。
- Agent Runtime:執行代理應用程式邏輯的運算環境。
- AI 模型:核心推論引擎,可提升代理的決策能力。
- 模型執行階段:託管及提供 AI 模型的基礎架構。
以下各節將詳細分析各個元件,協助您決定如何建構架構。您選擇的元件會影響代理的效能、擴充性、成本和安全性。
代理開發框架
代理開發框架是程式庫,可簡化建構、測試及部署代理式 AI 應用程式的程序。這些開發工具提供預先建構的元件和抽象層,用於核心代理能力,包括推論迴圈、記憶體和工具整合。
如要在 Google Cloud中加速代理開發,建議使用 ADK。ADK 是開放原始碼、有特定設計理念的模組化框架,提供高階抽象化功能,可用於建構及自動調度管理工作流程,從簡單的工作到複雜的多代理系統都能處理。ADK 已針對 Gemini 模型和Google Cloud進行最佳化,但也能與其他框架相容。ADK 支援其他 AI 模型和執行階段,因此可與任何模型或部署方法搭配使用。
為協助您快速上手,ADK 提供程式碼範例,示範多個產業的各種用途。雖然許多範例都著重於對話流程,但 ADK 也非常適合用於建構執行後端工作的自主代理。針對這類非互動式用途,請選擇擅長處理單一獨立要求,並能實作強大錯誤處理機制的代理設計模式。
如要建構自訂代理架構,您也可以使用 Genkit 等通用 AI 框架。Genkit 提供原始物件,可讓您精細控管代理邏輯,而不需要 ADK 提供的高階抽象化。不過,ADK 等專用代理框架提供專門工具,可用於開發代理應用程式。
前端框架
前端框架是一組預先建構的元件、程式庫和工具,可用來建構代理應用程式的使用者介面。您選擇的前端架構會定義後端的需求。內部示範的基本介面可能只需要同步 HTTP API,而正式環境等級的應用程式則需要支援串流通訊協定和強大狀態管理的後端。
請考慮下列架構類別:
- 原型設計和內部工具框架:如要快速開發、內部示範和概念驗證應用程式,請選擇優先考量開發人員體驗和速度的框架。這些架構通常偏好直接、同步的模型,稱為「要求-回應模型」。相較於正式版架構,要求-回應模型可讓您以最少的程式碼和較低的後端複雜度,建構功能性 UI。這種方法非常適合快速測試代理邏輯和工具整合,但可能不適用於需要即時互動、高度可擴充且面向大眾的應用程式。這個類別的常見選項包括內建的 Agent Development Kit (ADK) 網頁介面和 Gradio。
- 正式版架構:如要為外部使用者建構可擴充、回應迅速且功能豐富的應用程式,請選擇允許自訂元件的架構。這些架構需要能支援現代使用者體驗的後端架構。正式環境架構應支援串流協定、無狀態 API 設計,以及強大的外部記憶體系統,以便管理多個使用者工作階段的對話狀態。正式版應用程式的常見框架包括 Streamlit、React 和 Flutter AI Toolkit。
如要管理這些框架與 AI 代理之間的通訊,可以使用開放式代理前端通訊協定:
- 代理與使用者互動 (AG-UI) 通訊協定:開放式、以事件為基礎的通訊協定,可讓後端 AI 代理與前端架構互動。AG-UI 會告知前端框架何時要轉譯代理的回覆、更新應用程式狀態,或觸發用戶端動作。詳情請參閱「搭配使用 AG-UI 和 ADK」。
- Agent-to-UI (A2UI):一種開放格式和通訊協定,可讓後端代理將宣告式結構化 UI 元件串流至用戶端應用程式。詳情請參閱「ADK 中的 A2UI」。
代理安全性與管理
AI 代理會帶來某些獨特且嚴重的安全風險,傳統的確定性安全防護措施可能無法充分降低這些風險。Google 建議保護 AI 的方法,是在架構的每個邊界結合確定性安全控管機制與動態、基於推理的防禦措施。
如要在Google Cloud中,對代理式 AI 工作負載強制執行安全防護和管理措施,請使用下列產品和服務:
-
Agent Gateway:這項服務提供安全且可擴充的方式,將代理連結至外部工具和服務。
- 在「用戶端到代理」(輸入) 模式中,您會在 Agent Runtime 前部署 Agent Gateway,以驗證呼叫端、強制執行授權政策,並即時檢查傳入的提示。
- 在「代理至任意目的地 (輸出)」模式中,您會透過 Agent Gateway 轉送代理至代理和代理至工具的傳出要求。Agent Gateway 預設會拒絕存取,有助於防止資料竊取、間接提示詞注入和工具濫用。
- Agent Identity:這項代管服務提供安全且可擴充的方式,用於管理代理的身分。 部署代理時,您可以使用代理身分,驗證代理對 Google Cloud API、工具和其他代理的呼叫。代理需要向外部工具或第三方 API 驗證時,您可以使用 Agent Identity 驗證管理工具集中控管 OAuth 權杖和 API 金鑰,不必在代理程式碼或提示中嵌入憑證。
- Agent Registry:這項服務提供集中式目錄,列出貴組織的 AI 代理、MCP 伺服器、代理技能和工具,並確保只使用經過驗證的工具和子代理。在 Agent Registry 中註冊 MCP 伺服器和 A2A 代理,並與 Agent Gateway 搭配使用,即可限制代理只能探索及連線至已核准的端點,而非未受管理的網址或公開網址。
- Identity and Access Management (IAM) 存取政策和 Identity-Aware Proxy (IAP):存取控管服務,可對代理、工具和資源強制執行精細的最小權限授權。您可以使用 IAM 存取政策和 IAP,僅授予每個代理身分執行工作所需的權限,以及叫用已註冊的 MCP 伺服器或 A2A 子代理。如要進一步隔離各個代理,並限制安全漏洞的潛在影響,您可以將主體存取邊界 (PAB) 政策繫結至代理身分。
- Model Armor:這項服務可保護生成式和代理式 AI 資源,防範提示詞注入、敏感資料外洩和有害內容。您可以使用 Model Armor 執行直接模型 API 呼叫,並將其附加至 Agent Gateway,在傳入和傳出的代理流量中,一致地強制執行安全和安全性政策。
代理工具
代理能否透過工具與外部系統互動,決定了其效能。代理工具是 AI 模型可用的函式或 API,代理會使用這些工具提升輸出內容品質,並自動執行工作。將 AI 代理連結至外部系統後,工具會將代理從獨立的文字生成器,轉換為可自動執行複雜多步驟工作的系統。
如要啟用工具互動,請從下列工具使用模式中選擇:
| 用途 | 工具使用模式 |
|---|---|
| 您需要執行常見工作,例如完成網頁搜尋、執行運算或執行程式碼,並希望加快初始開發速度。 | 內建工具 |
| 您想建構模組化或多代理系統,需要可互通及重複使用的工具。 | Model Context Protocol (MCP) |
| 您需要以企業級規模管理、保護及監控大量 API 工具。 | 使用 API 管理平台 |
| 您需要與沒有 MCP 伺服器的特定內部或第三方 API 整合。 | 自訂函式工具 |
為代理選取工具時,請評估其功能和運作可靠性。優先選用可觀測、容易偵錯,且具備強大錯誤處理機制的工具。這些功能可確保您能追蹤動作並快速解決失敗問題。此外,您也應評估代理是否能選用合適的工具,順利完成指派的工作。
內建工具
ADK 提供多項內建工具,可直接整合至代理的執行階段。您可以將這些工具當做函式呼叫,不必設定外部通訊協定。這些工具提供常見功能,包括從網路存取即時資訊、在安全環境中以程式輔助方式執行程式碼、從私人企業資料擷取資訊以實作 RAG,以及與雲端資料庫中的結構化資料互動。內建工具可與您建立的任何自訂工具搭配使用。
MCP
如要讓代理系統的元件互動,您必須建立明確的通訊協定。MCP 是開放通訊協定,提供標準化介面,讓代理存取及使用必要的工具、資料和其他服務。
MCP 會將代理的核心推論邏輯與工具的特定實作方式分離,就像標準硬體連接埠可讓不同周邊裝置連線至裝置一樣。
MCP 具備下列優點:
- 提供預先建構的連接器,簡化工具整合。當 MCP 伺服器新增更多工具時,代理會自動探索這些工具,不需額外設定。
- 提供一致的方式來建構自訂整合項目。
- 提供彈性,並促進不同模型和工具之間的互通性。
您可以使用下列方法,在代理式 AI 系統中實作 MCP 伺服器:
- Google Cloud MCP 伺服器:如要連線至 Google 和 Google Cloud 服務,請連線至由 Google 全代管的遠端 MCP 伺服器。這些伺服器會在您使用的所有 Google 和 Google Cloud 服務中提供統一層,藉此強化現有基礎架構。這些伺服器提供無狀態擴充功能,並與 IAM 和 Cloud 稽核記錄整合。如要查看 Google Cloud MCP 伺服器清單,請參閱「支援的產品」。
- 遠端 MCP 伺服器:如要連線至外部 API,請連線至由第三方託管及管理的遠端 MCP 伺服器。
- 自行託管的 MCP 伺服器:如要實作自己的代理邏輯和自訂工具,請自行託管 MCP 伺服器。您可以完全掌控如何向代理公開專屬或第三方 API。如要託管自訂 MCP 伺服器,請將其部署為 Cloud Run 或 Google Kubernetes Engine (GKE) 上的容器化應用程式。
使用 API 管理平台
API 管理平台是集中式系統,可讓您透過 API 保護、監控及控管內部或外部服務。API 管理平台可讓您集中管理組織的所有 API、簡化資料公開方式,並透過用量監控功能提供觀測能力。
如要在 Google Cloud上大規模管理及控管代理的 API 工具,請結合下列服務:
- 目錄和探索:如要集中管理組織的 API、MCP 伺服器和代理技能,請使用 Apigee API 中心。API 中心會公開 MCP 伺服器,讓代理和開發人員探索已註冊的工具,並將 MCP 中繼資料與 Agent Registry 同步。
- 執行階段政策強制執行:如要強制執行驗證、精細授權、權杖和頻率限制、語意快取,以及監控 API 端點和 MCP 伺服器,請使用 Apigee 或 Agent Gateway 做為 API 和 AI 閘道。
- 預先建構的資料和企業連接器:如要將代理連結至企業應用程式和 Google Cloud 資料來源,而不必建構自訂整合管道,請使用 Application Integration 和 Integration Connectors,或 MCP Toolbox for Databases。
API 管理平台和 MCP 等通訊協定可解決不同的架構問題。通訊協定會標準化代理與工具之間的互動格式,確保元件可重複使用及替換。相較之下,API 管理平台則負責管理 API 端點的生命週期和安全性,處理驗證、頻率限制和監控等工作。這些模式相輔相成。舉例來說,代理可使用 MCP 與工具通訊,而該工具可做為安全的 API 端點,由 API Hub 編目,並由 Apigee 或 Agent Gateway 管理及保護。
自訂函式工具
函式工具可為代理提供新功能。您可以編寫自訂函式工具,為代理提供專屬功能,例如與外部 API 或專屬業務系統整合。如要擴充代理的功能,超越內建工具的限制,最常見的做法是編寫自訂函式工具。
如要建立自訂函式工具,請使用偏好的程式設計語言編寫函式,然後以自然語言清楚說明函式的用途、參數和傳回值。代理的模型會依據這段說明,判斷何時需要使用工具、應提供哪些輸入內容,以及如何解讀輸出內容,以完成使用者的要求。
您也可以建立自訂函式工具,實作代理即工具函式。代理程式即工具函式會將一個代理程式公開為可呼叫函式,供其他代理程式叫用。這項技術可讓您建構複雜的多代理系統,其中代理可以協調並將專門工作委派給其他專門代理。如要進一步瞭解代理設計模式和協調多代理自動化調度管理,請參閱本文件後續的「代理設計模式」一節。
工具氾濫
如果在 AI 模型的系統提示中提供過多工具定義,就會發生工具膨脹。如果模型內容視窗中的工具、複雜參數或詳細說明過多,模型可能會不堪負荷。
如果 AI 代理因工具過多而超載,可能會發生下列問題:
- 準確度降低:不相關的詞元會分散模型在脈絡視窗中的注意力,當模型的注意力分散時,就很難準確區分正確的工具和雜訊。
- 成本和延遲時間增加:單一使用者要求可能會觸發多個隱藏的推論迴圈和工具執行作業。迴圈和執行次數增加,費用和工具回應時間也會隨之增加。
如要減少工具膨脹,可以採取下列策略:
- 限制工具複雜度:以下是撰寫簡潔工具定義的建議:
- 使用原始資料類型,而非複雜的巢狀物件。
- 工具的參數數量應少於五個。
- 使用
enums而非自由文字字串,限制模型的決策路徑。
- 提供精細的工具組:將單體式伺服器拆解為精細、專注的工具組,並根據特定使用者歷程進行調整。舉例來說,大型 Cloud SQL 伺服器可以區分為 DevOps 代理的管理員工具組,以及應用程式代理的資料工具組。
- 實施逐步揭露:設計系統,僅在需要時動態解鎖相關背景資訊和功能,而非預先載入所有內容。如要採用漸進式揭露方法,請使用下列策略:
這些策略並非互斥,應根據架構和工作負載需求結合使用。
代理記憶用量
代理能否記住過往互動,是提供連貫實用對話體驗的關鍵。如要建立有狀態、可感知情境的代理,您必須實作短期和長期記憶機制。以下各節將探討設計選項和 Google Cloud服務,可用於為代理實作短期和長期記憶。
短期記憶
短期記憶可讓代理在單一進行中的對話中,維持對話脈絡。如要實作短期記憶,您必須同時管理工作階段和相關聯的狀態。
- 工作階段:工作階段是指使用者與代理之間的對話串,從初始互動到對話結束。
- 狀態:狀態是指代理在特定工作階段中,使用及收集的資料。收集的狀態資料包括使用者和代理之間交換的訊息記錄、任何工具呼叫的結果,以及代理需要瞭解對話情境的其他變數。
以下是使用 ADK 實作短期記憶的選項:
- 記憶體內儲存空間:如果是開發、測試或在單一執行個體上執行的小型應用程式,您可以直接將工作階段狀態儲存在應用程式的記憶體中。代理會使用資料結構 (例如字典或物件) 儲存鍵/值組合清單,並在整個工作階段中更新這些值。不過,使用記憶體內儲存空間時,工作階段狀態不會永久保留。如果應用程式重新啟動,就會遺失所有對話記錄。
外部狀態管理:如果正式版應用程式需要擴充性和可靠性,建議您建構無狀態代理應用程式,並在外部儲存空間服務中管理工作階段狀態。在這個架構中,每當代理應用程式收到要求,就會從外部儲存庫擷取目前的對話狀態、處理新的對話輪次,然後將更新後的狀態儲存回儲存庫。這種設計可讓您水平擴充應用程式,因為任何執行個體都能處理任何使用者的要求。常見的外部狀態管理選項包括 Memorystore for Redis、Firestore 或 Gemini Enterprise Agent Platform 工作階段。
如果使用 ADK,
DatabaseSessionService需要關聯式資料庫,例如 Cloud SQL。
長期記憶
長期記憶為代理提供持久的知識庫,可跨個別使用者的所有對話存在。長期記憶可讓代理檢索及使用外部資訊、從過往互動中學習,並提供更準確、更相關的回覆。
以下是使用 ADK 實作長期記憶的選項:
- 記憶體內儲存空間:在開發和測試階段,您可以直接將長期記憶項目儲存在應用程式的記憶體中,並對儲存的項目執行基本關鍵字比對。這種方法只需要最少的設定,但並非永久性。如果應用程式重新啟動,就會遺失所有儲存的記憶體項目。您通常會使用開發架構中的記憶體內供應器來實作這個模式,例如 ADK 中用於原型設計和測試的
InMemoryMemoryService。 - 外部儲存空間:如果是正式版應用程式,請在外部永久儲存空間服務中管理代理的知識庫。外部儲存空間服務可確保代理的知識持久、可擴充,且可透過多個應用程式執行個體存取。在 Google Cloud上,使用 Memory Bank 搭配任何 Agent Runtime,即可長期儲存資料。
代理設計模式
代理設計模式是建構代理應用程式的常見架構方法。這些模式提供獨特的架構,可組織系統元件、整合 AI 模型,以及自動調度管理單一或多個代理,以完成工作流程。如要判斷哪種方法最適合您的工作流程,請考量工作的複雜度和工作流程、延遲時間、效能和成本需求。
單一代理系統仰賴單一模型的推論能力,解讀使用者要求、規劃一系列步驟,並決定要使用哪些工具。這種做法是有效的起點,可讓您專注於修正核心邏輯、提示和工具定義,再增加架構複雜度。不過,隨著工作和工具數量變得越來越複雜,單一代理的效能可能會降低。
遇到複雜問題時,多代理系統會協調多個專門代理,達成單一代理難以達成的目標。這種模組化設計可提升系統的擴充性、可靠性和可維護性。不過,與單一代理系統相比,這類系統也需要額外考量評估、安全性和成本。
為實作單一代理和多代理模式,ADK 提供工作流程執行階段,支援下列自動化調度管理工作流程:
- 圖表式工作流程:將代理邏輯定義為執行節點和邊緣的圖表,結合 AI 輔助推論與確定性程式碼和工具。圖表式工作流程提供可預測的執行路徑,並具備明確的狀態轉換、條件式轉送、平行分支和人工介入迴路檢查點。
- 動態工作流程:以程式輔助方式,使用您選擇的程式設計語言建構工作流程,而非使用靜態圖表結構。動態工作流程可讓您將工作流程節點做為函式叫用,使用迴圈、條件和遞迴定義複雜的控制流程,並自動檢查節點執行作業,確保工作流程穩定且可繼續執行。
- 協作工作流程:協調多個專用代理,委派工作並共用情境資訊,解決複雜問題。
開發多代理系統時,您必須為每個專門代理實作精確的存取控管機制、設計穩健的自動化調度管理系統,確保代理之間的通訊可靠,並管理因執行多個代理而增加的運算負擔,進而降低營運成本。如要促進代理之間的通訊,請搭配使用 Agent2Agent (A2A) 通訊協定和 ADK。A2A 是一套開放標準通訊協定,可讓 AI 代理在不同平台和框架之間通訊及協作,不受基礎技術限制。
如要進一步瞭解常見的代理設計模式,以及如何根據工作負載需求選取模式,請參閱「選擇代理式 AI 系統的設計模式」。
AI 模型
代理應用程式仰賴模型的推論和理解能力,做為主要工作協調器。對於這個核心代理角色,建議您使用 Gemini Pro。
Google 模型 (例如 Gemini) 可透過代管 API 存取最新、最強大的專屬模型。這種做法最適合用來盡量減少營運負擔。相較之下,開放式自行託管模型則提供深度控管功能,可讓您根據專屬資料進行微調。如果工作負載有嚴格的安全性和資料落地要求,也需要自行託管模型,因為這樣才能在自己的網路中執行模型。
如要提升代理效能,可以調整模型的推論能力。最新 Gemini 模型等模型內建思考程序,可提升推論和多步驟規劃能力。如要偵錯和調整,您可以查看模型的思考摘要,或內部思考的合成版本,瞭解其推論路徑。您可以根據工作複雜度和模型版本,控制模型思考。思考程度或思考預算越高,模型在提供答案前,就能進行更詳細的推論和規劃,進而提升回覆品質,但可能也會增加延遲時間和費用。
為提升效能和成本效益,請實作模型路由,根據每項工作的複雜度、成本或延遲時間需求,動態選取最合適的模型。舉例來說,您可以將簡單的要求轉送至小型語言模型 (SLM),處理程式碼生成或文字分類等結構化工作,並將更強大且昂貴的模型保留給複雜的推論工作。在代理應用程式中實作模型路由,即可建立符合成本效益且高效能的系統。
Google Cloud 提供多種 Google 模型、合作夥伴模型和開放式模型,可供您在代理架構中使用。如要進一步瞭解可用模型,以及如何選擇符合需求,請參閱「Gemini Enterprise Agent Platform 的 Model Garden」。
模型執行階段
模型執行階段是託管及提供 AI 模型的環境,可讓代理使用模型的推論功能。
選擇模型執行階段
如要為 AI 模型選取合適的執行階段,請參考下列指引:
| 用途 | 模型執行階段 |
|---|---|
| 您需要全代管 API,才能提供 Gemini 模型、合作夥伴模型、開放式模型或自訂模型,並具備企業級安全性、擴充性和生成式 AI 工具。 | Agent Platform |
| 您需要部署開放式或自訂容器化模型,並優先考量最低營運負擔和成本效益,以因應變動的流量。 | Cloud Run |
| 您需要盡可能控管基礎架構,以便在特殊硬體上執行開放式或自訂容器化模型,或滿足複雜的安全性和網路需求。 | GKE |
以下各節將概略介紹上述模型執行階段,包括主要功能和設計考量。
Agent Platform
Agent Platform 提供全代管的無伺服器環境,可託管 AI 模型。您可以透過安全且可擴充的 API,提供及微調 Google 模型、合作夥伴模型和開放式模型。這種做法可省去基礎架構管理工作,讓您專心將模型智慧整合至應用程式。
使用 Agent Platform 做為模型執行階段時,重要功能和注意事項包括:
- 基礎架構控管:為模型提供全代管 API。Google 會管理底層基礎架構。
- 安全性:代管安全性預設設定和標準法規遵循認證足以滿足您的需求。如要保護提示詞和回覆,並確保採用負責任的 AI 做法,您可以將 Model Armor 整合至 Agent Platform。
- 模型可用性:透過代管 API 存取多種模型,包括最新的 Gemini 模型。
- 費用:採用即付即用定價模式,可依據應用程式流量調整。詳情請參閱「在 Agent Platform 建構及部署 AI 模型的成本」。
Cloud Run
Cloud Run 提供無伺服器執行階段,可在自訂容器中託管模型。Cloud Run 兼具 Agent Platform 的全代管體驗,以及 GKE 的深度基礎架構控管功能。如果需要在容器化環境中靈活執行模型,而不必管理伺服器或叢集,這個方法就很適合。
使用 Cloud Run 做為模型執行階段時,主要功能和考量事項包括:
- 基礎架構控管:在自訂容器中執行任何模型,完全控管軟體環境,同時由平台管理底層無伺服器基礎架構。
- 安全性:透過臨時、隔離的運算執行個體提供安全性,並可使用直連虛擬私有雲輸出或無伺服器 VPC 存取連接器,安全連線至私人資源。詳情請參閱「私人網路和 Cloud Run」。
- 模型可用性:提供 Gemma 等開放式模型,或提供您自己的自訂模型。您無法在 Cloud Run 託管或提供 Gemini 模型。
- 費用:採用按用量計費、依要求計費的定價模式,可將資源調度率降至零,因此對於流量不穩定或多變的模型來說,非常符合成本效益。詳情請參閱「Cloud Run 定價」。
GKE
GKE 提供最完善的控制權和彈性,可託管 AI 模型。如要採用這種方法,請在您設定及管理的 GKE 叢集上,於容器中執行模型。如要在專用硬體上執行模型、將模型與應用程式放在同一位置,盡可能縮短延遲時間,或需要精細控管服務環境的各個層面,GKE 是理想的選擇。
使用 GKE 做為模型執行階段時,主要功能和考量事項包括:
- 基礎架構控管:可精細控管整個提供環境,包括節點設定、專用機器加速器,以及特定模型提供軟體。
- 安全性:可讓您完全在網路中執行模型,並套用精細的 Kubernetes 安全性政策,因此能精細控管安全性及資料隔離。如要篩選 GKE 叢集的往來流量,並保護與 AI 模型的互動,您可以將 Model Armor 與 GKE 整合。
- 模型可用性:提供 Gemma 等開放式模型,或提供自己的自訂模型。您無法在 GKE 上託管或提供 Gemini 模型。
- 成本:成本模式取決於您使用的基礎運算和叢集資源,因此當您使用承諾使用折扣 (CUD) 時,可針對可預測的大量工作負載進行高度最佳化。詳情請參閱「GKE 定價」。
本文著重介紹 Agent Platform、Cloud Run 和 GKE。如果需要模型執行階段,結合效能最佳化的硬體 (GPU 和 TPU)、開放式軟體,以及彈性計費模式,用於大規模模型訓練、微調和推論工作負載,請使用 AI Hypercomputer。
Agent Runtime
如要代管及部署代理功能應用程式,您必須選擇 Agent Runtime。這項服務會執行您在使用代理開發架構時編寫的應用程式程式碼、商業邏輯和自動化調度管理。應用程式會從這個執行階段,向所選模型執行階段託管及管理的模型發出 API 呼叫。
選擇代理執行階段
Google Cloud 提供多種代理託管選項,從全代管、低負擔的環境,到可完全控管的基礎架構,應有盡有。Agent Platform 採用彈性架構,可讓您根據需求選擇執行階段層和服務層。如要選取 AI 代理的執行階段,請參考下列指引:
| 用途 | Agent Runtime |
|---|---|
| 您需要一個有特定設計理念的代管執行階段,其中包含記憶體、評估、身分、管理和觀測能力的整合功能。 | Gemini Enterprise Agent Platform 的 Agent Runtime |
| 您需要容器部署和可攜性,並在彈性和控制之間取得平衡,以便像其他服務一樣執行容器化代理。 | Cloud Run |
| 您需要完全控管基礎架構,並精細控管基礎架構。平台團隊會管理自己的 DevOps、Kubernetes API,或嚴格的法規遵循和資料落地要求。 | GKE |
如果您已在 Cloud Run 或 GKE 上管理應用程式,可以將代理工作負載放在相同平台,加快開發速度並簡化長期作業。
以下各節將概略介紹各個 Agent Runtime,包括主要功能和設計考量。
Agent Runtime
Agent Runtime 是全代管、有特定設計理念的執行階段,可用於部署、操作及擴充代理應用程式。Agent Runtime 會簡化底層基礎架構,讓您專注於代理邏輯,而非作業。
以下是 Agent Runtime 的功能和注意事項:
- 程式設計語言和框架彈性:使用任何支援的框架開發代理。
- 通訊協定:自動調度管理使用 MCP 和 A2A 的代理和工具。Agent Runtime 可有效管理這些元件的執行階段,但不支援託管自訂 MCP 伺服器。
記憶體:提供內建的代管記憶體功能,因此不需為核心代理記憶用量設定外部資料庫。
- 如要儲存短期記憶,請使用 Agent Platform 工作階段。
- 如要長期儲存記憶,請使用 Memory Bank。
- 如要搜尋及擷取資料庫,請使用 Cloud SQL 或 AlloyDB for PostgreSQL。
- 擴充性:自動調整資源配置,滿足代理工作負載的需求,不需手動設定。
- 觀測能力:透過 Google Cloud Observability 服務,提供整合式記錄、監控和追蹤功能。
- 安全性:提供下列企業級功能:
- 內建服務身分和代理身分,可安全地向 Google Cloud API、其他代理和工具發出經過驗證的呼叫。
- 使用 Gemini Enterprise Agent Platform 程式碼執行功能,在安全、隔離且受管理的沙箱中執行程式碼。
- 使用 Cloud Key Management Service 中客戶自行管理的加密金鑰 (CMEK) 保護資料。
- 限制 IAM 權限並使用虛擬私有雲防火牆規則,防止未經授權的網路呼叫。
Agent Runtime 提供代管環境,整合記憶體、代理評估、代理身分、治理、安全性和觀測能力,可加快投入正式環境的速度。如果工作負載對私人依附元件管理有嚴格的安全要求,Cloud Run 和 GKE 提供以 IAM 為基礎的設定路徑。
Cloud Run
Cloud Run 是全代管的無伺服器平台,可讓您在無狀態容器中執行代理程式應用程式程式碼。如要將整個代理應用程式、個別元件或自訂工具部署為可擴充的 HTTP 端點,且不想管理基礎架構,Cloud Run 是理想的選擇。
以下是 Cloud Run 的功能和注意事項:
- 程式設計語言和架構彈性:將應用程式封裝至容器後,您可以使用任何程式設計語言和代理架構,開發及部署容器化服務。
- 通訊協定:支援 gRPC、HTTPS、串流 HTTP 回應和 WebSocket,並可自動調度使用 MCP 和 A2A 的代理和工具。在 Cloud Run 上託管 MCP 用戶端和伺服器,並使用可串流的 HTTP 傳輸。
- 記憶體:Cloud Run 執行個體為無狀態,這表示執行個體終止後,會遺失所有記憶體內資料。如要實作永久記憶體,請將服務連結至代管 Google Cloud 儲存空間服務:
如需短期記憶,請考慮下列產品和服務:
如需長期記憶,請考慮下列產品:
- Firestore
- 使用 Cloud Run 的記憶庫
如要搜尋及擷取資料庫,請考慮下列產品:
- Cloud SQL
- AlloyDB for PostgreSQL
- 擴充性:根據傳入流量自動調整執行個體數量,並將執行個體縮減至零。這項功能可讓 Cloud Run 針對工作負載不穩定的應用程式,提供符合成本效益的服務。
- 觀測能力:透過 Google Cloud Observability 服務,提供整合式記錄、監控和追蹤功能。詳情請參閱「監控和記錄總覽」。
- 安全性:為代理程式提供下列安全控管機制:
- 內建服務身分,並與 Agent Identity 和 Agent Registry 整合,可透過加密方式驗證代理身分、探索及驗證對 Google Cloud API、其他代理和工具的呼叫。
- 使用 Cloud Run 沙箱或Agent Platform 執行程式碼,在安全環境中執行未經測試的程式碼。
- 在 Secret Manager 中設定 Secret,儲存 Cloud Run 使用的機密資料。
- 限制 IAM 權限並使用虛擬私有雲防火牆規則,有助於防止未經授權的網路呼叫。
Cloud Run 可免除管理基礎架構的需求,因此能減少作業負擔並提高成本效益。不過,Cloud Run 具有無狀態特性,因此您必須使用儲存空間服務,才能在多步驟工作流程中管理結構定義。此外,Cloud Run 服務的要求逾時時間上限為一小時,可能會限制長時間執行的代理工作。
GKE
GKE 是代管容器自動化調度管理服務,可讓您精細控管代理應用程式的架構和基礎架構。GKE 適合需要強大、正式環境級功能的複雜代理系統,或者您已是 GKE 客戶,並想在現有應用程式上實作代理工作流程。
以下是 GKE 提供的功能和注意事項:
- 程式設計語言和架構彈性:將應用程式封裝至容器後,您可以使用任何程式設計語言和架構開發代理。
- 通訊協定:自動調度管理使用 MCP 和 A2A 的代理和工具。將 MCP 用戶端和伺服器封裝為容器,並託管於 GKE。
- 記憶體:GKE Pod 是暫時性的。不過,您可以使用叢集內資源或連結至外部服務,建構具有永久記憶體的有狀態代理。
如需短期記憶,請考慮下列產品和服務:
如需長期記憶,請考慮下列產品:
- Firestore
- 使用 GKE 的 Memory Bank
如要搜尋及擷取資料庫,請考慮下列產品:
- StatefulSets 和永久磁碟區,用於叢集內的持久儲存空間。
- Cloud SQL
- AlloyDB for PostgreSQL
- 擴充性:GKE 叢集會自動佈建及調度節點集區資源,滿足工作負載需求。
- 觀測能力:透過 Google Cloud Observability,在叢集、節點和 Pod 層級提供整合式記錄、監控和追蹤功能。如要收集設定的第三方和使用者定義指標,然後傳送至 Cloud Monitoring,您也可以使用 Google Cloud Managed Service for Prometheus。詳情請參閱「GKE 觀測能力總覽」。
- 安全性:為代理提供精細的安全控管機制:
- 使用 Workload Identity Federation for GKE,安全地向 Google Cloud API 進行驗證。
- 使用 GKE Sandbox 隔離不受信任的程式碼。
- 在 Secret Manager 中儲存 GKE 叢集使用的機密資料。
- 限制 IAM 權限,並使用虛擬私有雲防火牆規則和網路政策,防止未經授權的網路呼叫。
GKE 提供最大程度的控管能力和彈性,可讓您執行複雜的有狀態代理。不過,這項控管機制會大幅增加營運負擔和複雜度。您必須設定及管理 Kubernetes 叢集,包括節點集區、網路和資源調度政策,這需要比無伺服器平台更多的專業知識和開發工作。
後續步驟
- 代理工具:
- 代理記憶用量:
- 代理設計模式:
- Agent Runtime:
- Google Cloud上的其他代理式 AI 資源:
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:Samantha He | 技術文件撰稿者
其他貢獻者:
- Amina Mansour | 全球開發人員關係與策略內容技術負責人
- Amit Maraj | 開發人員關係工程師
- Casey West | 架構推廣師, Google Cloud
- Jack Wotherspoon | 開發人員服務代表
- Joe Fernandez | 技術文件撰稿專員
- Joe Shirey | Cloud 開發人員關係經理
- Karl Weinmeister | Cloud 產品開發人員關係總監
- Kumar Dhanagopal | 跨產品解決方案開發人員
- Kurtis Van Gent | 員工軟體工程師
- Lisa Shen | 資深對外產品經理, Google Cloud
- Mandy Grover | Architecture Center 主管
- Megan O'Keefe | 開發人員服務代表
- Olivier Bourgeois | 開發人員關係工程師
- Polong Lin | 開發人員關係工程經理
- Ryan Pei | Google Cloud 產品經理
- Shir Meir Lador | 開發人員關係工程經理
- Vlad Kolesnikov | 開發人員關係工程師