代理式 AI 用途：分類多模態資料

Last reviewed 2026-10-14 UTC

本文件提供在 Cloud Run 部署的多代理式 AI 系統高階架構，可分析不同的多模態資料，並產生高信賴度的分類。這種做法會將即時資料與歷來基準真相進行比對，交叉驗證片段媒體，產生有根據且可驗證的洞察資料。

本文適用對象包括在雲端建構及管理 AI 基礎架構和應用程式的架構師、開發人員和管理員。本文假設您已具備 AI 代理和模型的基本知識。本文件並未提供設計和編寫 AI 代理程式的具體指引。

本文件的「部署」一節列出程式碼範例，可協助您瞭解如何建構及部署多代理式 AI 系統。

架構

下圖顯示多代理 AI 系統的架構，該系統採用平行代理設計模式，協調多模態資料的獨立分析，產生單一分類。

多代理式 AI 系統的架構，可分類多模態資料。

架構顯示下列資料流程：

  1. 網頁應用程式向根代理傳送要求，分析一組多模態資料進行分類。根代理是協調者代理，會接收要求，並部署在 Cloud Run 服務上。
  2. 根代理會按照下列方式處理要求：
    1. 根層級代理會啟動 before_agent_callback，收集環境設定、驗證使用者輸入內容，並將資源路徑儲存在共用工作階段狀態。所有子代理都能存取共用工作階段狀態，因此不必重複呼叫來擷取狀態資料，整體延遲時間也隨之降低。
    2. 根代理會使用 Gemini Enterprise Agent Platform 上的 Gemini，解讀使用者要求，並將工作分配給平行執行的專業子代理。
  3. 每個子代理都專精於特定領域，並獨立執行下列工作：
    1. 圖片和影片分析師子代理會與自訂 Model Context Protocol (MCP) 伺服器互動，執行下列動作：
      1. 擷取儲存在 Cloud Storage bucket 中的原始非結構化資料。
      2. 向 Gemini 傳送要求，解讀輸入資料、分類資料，並計算信賴水準。
      3. Gemini 會將建議的分類和信心水準傳回自訂 MCP 伺服器。
      4. 自訂 MCP 伺服器將回應轉送回子代理。
    2. 結構化資料分析師子代理會完成下列工作，自動調度分析作業：
      1. 與 BigQuery MCP 伺服器互動，擷取儲存在 BigQuery 資料集中的結構化比對內容資料 (例如歷來記錄、事件記錄或感應器讀數)。
      2. 結構化資料分析師向 Gemini 傳送要求，請 Gemini 解讀輸入資料、分類資料，並計算信賴水準。
      3. Gemini 將建議的分類和信賴水準傳回給子代理。
  4. 每個子代理都會將建議的分類和信賴水準傳回根代理。
  5. 根代理會使用 Gemini 彙整專門子代理的輸出內容，產生單一且高可信度的分類。
    • 如果專門子代理的大多數分類相符，根代理就會將相符的分類傳送至網頁應用程式。
    • 如果子代理未提供相符的分類，根代理會選取信賴水準最高的分類，並傳送至網頁應用程式。

使用的產品

這個參考架構使用下列 Google Cloud 產品和工具：

  • Cloud Run：無伺服器運算平台，可讓您直接在 Google 可擴充的基礎架構上執行容器。
  • Gemini Enterprise Agent Platform：全方位平台，可建構、擴充、管理及最佳化企業級 AI 代理。
  • Gemini：Google 開發的多模態 AI 模型系列。
  • BigQuery：企業資料倉儲，內建機器學習、地理空間分析和商業智慧等功能，可協助您管理及分析資料。
  • Cloud Storage：適用於多種資料類型的物件儲存庫，成本低廉且沒有限制。資料在 Google Cloud內外都能存取，且會複製到多個位置，以便提供備援機制。
  • Google Cloud MCP 伺服器：Google 代管的遠端服務，可實作 Model Context Protocol (MCP)，讓 AI 應用程式存取 Google 和 Google Cloud 產品與服務。
  • Model Context Protocol (MCP)：開放原始碼標準，用於將 AI 應用程式連結至外部系統。
  • Agent Development Kit (ADK)：一組工具和程式庫，用於開發、測試及部署 AI 代理。

如要瞭解如何為代理式 AI 系統選取替代元件，包括框架、Agent Runtime、工具、記憶體和設計模式，請參閱「選擇代理式 AI 架構元件」。

用途

這個架構專為合成各種多模態資料，用於分類和偵測工作的用途而設計。為提升準確度和擴充性，架構採用多代理式 AI 系統，而非單一代理式。這種設計模式可提供重點明確的指示、避免指令衝突、使用較小的工具集加快決策速度，並支援獨立更新，進而產生更穩健、更精細的結果。

以下是本文所述架構的用途範例：

  • 醫療診斷：部署專業代理，獨立分析醫療影像、病患症狀和實驗室結果，提供全面的診斷評估。AI 系統會根據預定的可信度門檻，彙整這些發現，為臨床醫生提供有根據、可驗證的洞察資訊。
  • 詐欺偵測：部署代理，獨立分析使用者行為模式和交易資料 (例如掃描的收據和商家帳單)，偵測並標記潛在詐欺行為。系統會交叉比對文件中的視覺證據和數位網路活動，找出不一致之處，並標記單一代理識別出可疑指標的任何交易。
  • 文件處理：部署光學字元辨識 (OCR)、文件分類和資料擷取專用代理，自動分類及擷取文件中的資訊。為確保處理結果高度可靠，AI 系統會要求所有代理對輸出內容達成共識。
  • 品質驗證：部署專門的代理，進行視覺檢查、感應器資料分析和規格檢查，藉此分類產品品質或偵測異常狀況。系統會根據代理之間確定的信賴度門檻，判斷是否通過。

設計須知

本節說明使用這個參考架構開發拓撲時，應考量的設計因素、最佳做法和建議，以滿足您對安全性、成本和效能的特定需求。

本節指南僅列出部分範例。如要進一步瞭解設計因素和最佳做法，以及建構和部署多代理式 AI 系統的建議，請參閱「 Google Cloud中的多代理式 AI 系統」。

安全性、隱私權和法規遵循

為因應 AI 代理獨有的安全風險，Google 建議採取做法，結合確定性安全控管機制與動態、以推論為基礎的防禦措施：

  • 人工監督：在業務關鍵系統中加入人工介入迴路流程，讓人工監督員審查輸出內容，並核准、覆寫或暫停代理動作。
  • Agent Identity：為每個代理指派與工作負載繫結的身分，強制執行最小權限存取控管，並集中管理外部工具的憑證。
  • Agent Gateway：強制執行輸入和輸出流量管理、預設拒絕存取政策，以及使用 Model Armor 進行內嵌提示和工具檢查。

  • Agent Registry：確認代理只會連線至核准的子代理和 MCP 工具。

  • 應用程式輸入安全性：如要控管應用程式存取權，請停用前端 Cloud Run 服務的預設 run.app 應用程式網址，並設定區域性外部應用程式負載平衡器。除了平衡應用程式的傳入流量，負載平衡器也會處理 SSL 憑證管理作業。如要進一步強化防護，請使用 Google Cloud Armor 安全性政策，為服務提供要求篩選、DDoS 防護和頻率限制。

  • 容器映像檔安全性：為確保只有授權的容器映像檔部署至 Cloud Run，請使用二進位授權。如要找出並降低容器映像檔中的安全風險，請使用 Artifact Analysis 自動執行安全漏洞掃描。詳情請參閱「容器掃描總覽」。

  • 儲存空間安全性：Cloud Storage 支援兩種方法，可控管使用者對 bucket 和物件的存取權：Identity and Access Management (IAM) 和存取控管清單 (ACL)。在多數情況下，建議您使用 IAM，在 bucket 和專案層級授予權限。詳情請參閱「存取控管總覽」。

成本最佳化

為確保代理設定符合成本需求，請考慮下列建議：

  • 符合成本效益的提示：提示 (輸入) 和生成回覆 (輸出) 的長度會直接影響效能和成本。撰寫簡短、直接且提供充分背景資訊的提示。詳情請參閱提示設計最佳做法。
  • 儲存費用：如要控管儲存費用，您可以選擇Standard Storage，並啟用物件生命週期管理和自動調整級別。這些功能會根據您的存取模式或設定的規則，自動在儲存空間級別之間移動或刪除資料，協助您降低成本。

效能最佳化

為確保代理程式設定符合效能需求，請參考下列建議：

部署作業

如要部署這個架構的範例實作，請試試Way Back Home Level 1 程式碼實驗室。

後續步驟

貢獻者

作者：Samantha He | 技術文件撰稿者

其他貢獻者：