在 Cloud Run 資源上託管 AI 代理

本頁面重點說明在 Cloud Run 上代管 AI 代理程式的用途。

AI 代理是自主軟體實體，會使用 LLM 驅動的系統感知、決策及行動，以達成目標。隨著更多自主代理建構完成，它們的溝通和協作能力將變得至關重要。

如需 AI 代理的簡介，請參閱「什麼是 AI 代理」。

選擇 Cloud Run 資源

視代理程式設計而定，您可以將代理程式容器做為下列其中一種 Cloud Run 資源類型執行：

• 服務：最適合處理可變動使用者流量的無狀態要求導向代理程式，可從自動調度資源中獲益，並在閒置時調度至零。例如聊天機器人 API 和 Web API 後端。
• 執行個體：最適合專屬、有狀態的常時運作單例項代理程式迴圈，需要類似 VM 的生命週期狀態指令。例如 OpenClaw 和 Hermes 等個人代理程式。
• 工作人員集區：最適合執行背景、分散式代理程式叢集，從訊息佇列 (例如 Kafka 或 Pub/Sub) 取用工作，並以水平方式擴充，而不公開 HTTP 端點。
• 工作：最適合執行完成的代理程式工作流程，例如批次評估、大規模資料擷取管道或排定的同步指令碼。

選擇代理程式架構

將代理程式部署至 Cloud Run 之前，請先在本機或開發平台選擇並設定代理程式架構。AI 代理架構的例子包括 Agent Development Kit (ADK)、Dify、LangGraph 和 n8n。

在 Cloud Run 中，您的程式碼通常會以 服務或執行個體。這兩種資源類型都會在相同的執行環境中執行沙箱化容器執行個體，並與 Google Cloud 服務整合。

Cloud Run 上的 AI 代理架構

在 Cloud Run 上部署的典型 AI 代理架構可能涉及 Google Cloud 和Google Cloud內外的多個元件。下圖顯示如何以 Cloud Run 服務的形式導入 AI 代理，自動調度管理一組非同步工作，並透過多輪要求/回應互動提供資訊。

圖 1 Cloud Run 中的 AI 代理架構。

下圖顯示下列項目：

• 代管平台：Cloud Run 服務是應用程式核心邏輯的可擴充 API 端點。透過自動、隨選和快速調度執行個體，有效管理多位並行使用者。Cloud Run 具有下列優點：

  • 支援執行任何代理程式架構，建構不同類型的代理程式和代理程式架構。
  • 內建支援代理身分。為代理指派可加密驗證的專屬身分，以便 Google Cloud 呼叫 API、工具，以及安全地連線至其他代理。詳情請參閱「設定 Agent Platform 功能」。
  • 內建與Agent Registry 的整合功能。將已部署的服務指定為代理或 MCP 伺服器，以便自動探索及採用健全的代理對代理 (A2A) 驗證機制。詳情請參閱「設定 Agent Platform 功能」。
  • 支援將代理程式架構連結至其他服務。您可以將代理程式連結至部署在 Cloud Run 上的第一方或第三方工具。舉例來說，如要瞭解代理程式的工作和執行情況，您可以部署及使用 Langfuse 和 Arize 等工具。

• 對話代理互動：Cloud Run 支援串流 HTTP 回應給使用者，以及使用 WebSockets 進行即時互動。

• 生成式 AI 模型：自動化調度管理層會呼叫模型，以取得推論功能。 這些模型可託管於下列服務：

  • Gemini API 適用於 Google 的生成式 AI 模型。
  • 自訂模型或其他基礎模型的 Vertex AI 端點。
  • 啟用 GPU 的 Cloud Run 服務，適用於您自行微調的模型。

• 記憶：代理通常需要記憶功能來保留脈絡，並從過去的互動中學習。 您可以使用下列服務：

  • Memorystore for Redis，用於短期記憶。
  • Firestore 用於長期記憶，例如儲存對話記錄，或根據原始資料記住使用者的偏好設定。
  • Vertex AI Agent Engine Memory Bank ，提供長期個人化記憶。這項功能會自動從使用者的對話記錄中擷取資訊，以便記憶及更新使用者的偏好設定。請注意，如要透過 Cloud Run 使用這項功能，您必須至少建立一個 Agent Engine 執行個體。

• 向量資料庫：如要進行檢索增強生成 (RAG) 或擷取結構化資料，請使用向量資料庫查詢特定實體資訊，或對嵌入項目執行向量搜尋。將 pgvector 擴充功能與下列服務搭配使用：

  • PostgreSQL 適用的 Cloud SQL
  • AlloyDB for PostgreSQL

• 工具：協調器會使用工具執行特定工作，與外部服務、API 或網站互動。這些實用資源包括：

  • Model Context Protocol (MCP)：使用這項標準化通訊協定，與透過 MCP 伺服器執行的外部工具通訊。
  • 基本公用程式：精確的數學計算、時間轉換或其他類似公用程式。
  • 呼叫 API：呼叫其他內部或第三方 API (讀取或寫入存取權)。
  • 生成圖片或圖表：快速有效地製作視覺內容。
  • 瀏覽器和作業系統自動化：在容器執行個體中執行無周邊或完整圖形作業系統，讓代理程式瀏覽網頁、從網站擷取資訊，或使用點擊和鍵盤輸入執行動作。
  • 執行程式碼：執行程式碼 時，可使用多層沙箱機制，確保環境安全，且只需極少或完全不需要 IAM 權限。
  • Vertex AI Agent Engine 程式碼執行：在安全、隔離且受管理的沙箱環境中執行程式碼，支援檔案輸入和輸出、不到一秒的程式碼執行時間，以及長期記憶。請注意，您需要建立至少一個 Vertex AI Agent Engine 實例在 Cloud Run 中使用此功能。

後續步驟

• 在 Cloud Run 建構及部署代理程式：
  • A2A
  • ADK
  • n8n
• 觀看「在 Cloud Run 建構 AI 代理」。
• 請嘗試程式碼實驗室，瞭解如何建構 LangChain 應用程式並部署至 Cloud Run。
• 瞭解如何將 Agent Development Kit (ADK) 部署至 Cloud Run。
• 瞭解如何建立及管理 Cloud Run 執行個體。
• 請嘗試使用 ADK 代理在 Cloud Run 上使用 MCP 伺服器的程式碼研究室。
• 請嘗試程式碼研究室，瞭解如何將 ADK 代理部署至 Cloud Run (含 GPU)。
• 在 ADK 範例中尋找現成的代理範例。
• 在 Cloud Run 託管 Model Context Protocol (MCP) 伺服器。