本頁面重點說明在 Cloud Run 上代管 AI 代理程式的用途。
AI 代理是自主軟體實體，會使用 LLM 驅動的系統感知、決策及採取行動，以達成目標。隨著自主代理的建構數量增加，其溝通和協作能力也變得至關重要。
如要瞭解 AI 代理，請參閱「什麼是 AI 代理」。
Cloud Run 上的 AI 代理用途
您可以將 AI 代理程式實作為 Cloud Run 服務，自動調度管理一組非同步工作，並透過多輪要求/回應互動提供資訊。
Cloud Run 服務是應用程式核心邏輯的可擴充 API 端點。透過自動、隨選和快速調度執行個體，有效管理多位並行使用者。
Cloud Run 上的 AI 代理架構
在 Cloud Run 上部署的典型 AI 代理架構可能涉及 Google Cloud 內外 Google Cloud的數個元件：
下圖顯示下列項目：
代管平台：Cloud Run 是用於執行代理程式的代管平台，具有下列優點：
對話代理互動：Cloud Run 支援將 HTTP 回應串流傳回給使用者，以及使用 WebSockets 進行即時互動。
生成式 AI 模型：自動化調度管理層會呼叫模型，以取得推論功能。 這些模型可託管於下列服務：
- Gemini API 適用於 Google 的生成式 AI 模型。
- 自訂模型或其他基礎模型的 Vertex AI 端點。
- 啟用 GPU 的 Cloud Run 服務，適用於您自行微調的模型。
記憶：代理通常需要記憶功能來保留脈絡，並從過去的互動中學習。 您可以使用下列服務：
- Memorystore for Redis，用於短期記憶。
- Firestore 可做為長期記憶體，例如儲存對話記錄，或根據原始資料記住使用者的偏好設定。
- Vertex AI Agent Engine Memory Bank 可長期儲存個人化記憶內容。這項功能會自動從使用者的對話記錄中擷取資訊，以便記憶及更新使用者的偏好設定。請注意，如要透過 Cloud Run 使用這項功能，您必須至少建立一個 Agent Engine 執行個體。
向量資料庫：如要進行檢索增強生成 (RAG) 或擷取結構化資料，請使用向量資料庫查詢特定實體資訊，或對嵌入項目執行向量搜尋。將
pgvector擴充功能與下列服務搭配使用：工具：協調器會使用工具執行特定工作，與外部服務、API 或網站互動。這些實用資源包括：
- Model Context Protocol (MCP)：使用這項標準化通訊協定，與透過 MCP 伺服器執行的外部工具通訊。
- 基本公用程式：精確的數學計算、時間轉換或其他類似公用程式。
- API 呼叫：呼叫其他內部或第三方 API (讀取或寫入存取權)。
- 生成圖片或圖表：快速有效地製作視覺內容。
- 瀏覽器和作業系統自動化：在容器執行個體中執行無周邊或完整圖形作業系統，讓代理程式瀏覽網頁、從網站擷取資訊，或使用點擊和鍵盤輸入執行動作。
- 執行程式碼：在採用多層沙箱機制的安全環境中執行程式碼，且身分與存取權管理權限極少或沒有。
- Vertex AI Agent Engine 程式碼執行：在安全、隔離且受管理的沙箱環境中執行程式碼，支援檔案輸入和輸出、不到一秒的程式碼執行時間，以及長期記憶。請注意，如要在 Cloud Run 中使用這項功能，您需要建立至少一個 Vertex AI Agent Engine 執行個體。
後續步驟
- 觀看「在 Cloud Run 建構 AI 代理」。
- 請嘗試程式碼研究室，瞭解如何建構 LangChain 應用程式並部署至 Cloud Run。
- 瞭解如何將 Agent Development Kit (ADK) 部署至 Cloud Run。
- 請嘗試使用程式碼研究室，瞭解如何透過 ADK 代理在 Cloud Run 上使用 MCP 伺服器。
- 請嘗試將 ADK 代理程式部署到 Cloud Run with GPU 的程式碼研究室。
- 在 Agent Development Kit (ADK) 範例中尋找現成可用的代理範例。
- 在 Cloud Run 託管 Model Context Protocol (MCP) 伺服器。