本頁面重點說明在 Cloud Run 上代管 AI 代理程式的用途。
AI 代理是自主軟體實體，會使用 LLM 驅動的系統感知、決策及採取行動，以達成目標。隨著自主代理越來越多，溝通和協作能力也變得至關重要。
如要瞭解 AI 代理，請參閱「什麼是 AI 代理」。
Cloud Run 上的 AI 代理用途
您可以將 AI 代理程式實作為 Cloud Run 服務，協調處理一組非同步工作，並透過多輪要求/回應互動提供資訊。
Cloud Run 服務是應用程式核心邏輯的可擴充 API 端點。透過自動、隨選和快速調度執行個體，有效管理多位並行使用者。
Cloud Run 上的 AI 代理架構
在 Cloud Run 上部署的典型 AI 代理架構可能涉及 Google Cloud 內外 Google Cloud的數個元件：
下圖顯示下列項目：
代管平台：Cloud Run 是執行代理程式的代管平台，具有下列優點：
對話代理互動：Cloud Run 支援串流 HTTP 回應給使用者，以及WebSockets，用於即時互動。
生成式 AI 模型：自動化調度管理層會呼叫模型，以取得推論功能。 這些模型可託管於下列服務：
- Gemini API 適用於 Google 的生成式 AI 模型。
- 自訂模型或其他基礎模型的 Vertex AI 端點。
- 支援 GPU 的 Cloud Run 服務，適用於您自行微調的模型。
記憶：代理通常需要記憶功能來保留脈絡，並從過去的互動中學習。 您可以使用下列服務：
- Memorystore for Redis，用於短期記憶。
- Firestore 可做為長期記憶體，例如儲存對話記錄或記住使用者的偏好設定。
向量資料庫：如要進行檢索增強生成 (RAG) 或擷取結構化資料，請使用向量資料庫查詢特定實體資訊，或對嵌入項目執行向量搜尋。將
pgvector擴充功能與下列服務搭配使用：工具：協調器會使用工具執行特定工作，與外部服務、API 或網站互動。這些實用資源包括：
- Model Context Protocol (MCP)：使用這項標準化通訊協定，與透過 MCP 伺服器執行的外部工具通訊。
- 基本公用程式：精確的數學計算、時間轉換或其他類似公用程式。
- API 呼叫：呼叫其他內部或第三方 API (讀取或寫入存取權)。
- 生成圖片或圖表：快速有效地建立視覺內容。
- 瀏覽器和作業系統自動化：在容器執行個體中執行無周邊或完整圖形作業系統，讓代理程式瀏覽網頁、從網站擷取資訊，或使用點擊和鍵盤輸入執行動作。
- 執行程式碼：執行程式碼 時，會採用多層沙箱機制，確保環境安全無虞，且身分與存取權管理權限極少或完全沒有。
後續步驟
- 觀看「在 Cloud Run 建構 AI 代理」。
- 請嘗試程式碼研究室，瞭解如何建構 LangChain 應用程式並部署至 Cloud Run。
- 瞭解如何將 Agent Development Kit (ADK) 部署至 Cloud Run。
- 請嘗試使用程式碼研究室，瞭解如何透過 ADK 代理在 Cloud Run 上使用 MCP 伺服器。
- 請嘗試將 ADK 代理程式部署至 Cloud Run (含 GPU) 的程式碼研究室。
- 在 Agent Development Kit (ADK) 範例中，尋找可直接使用的代理範例。
- 在 Cloud Run 託管 Model Context Protocol (MCP) 伺服器。