本文件提供參考架構,協助您保護採用檢索增強生成 (RAG) 技術的應用程式網路基礎架構。RAG 架構通常包含獨立的子系統,用於處理資料處理和內容檢索流程。這項參考架構示範如何使用 Shared VPC 執行下列操作:
- 使用 Identity and Access Management (IAM) 權限,區隔子系統。
- 使用私人 IP 位址連結應用程式元件。
本文適用對象包括架構師、開發人員,以及網路和安全性管理員。本文件假設您已具備網路的基本概念。本文不會說明如何建立 RAG 應用程式。
架構
下圖顯示本文件介紹的網路架構:
上圖中的架構顯示下列元件:
- 外部網路,無論是地端部署或其他雲端
執行下列函式的外部網路:
- 為上傳原始 RAG 資料的資料工程師提供網路連線。
- 終止外部網路連線。
- 託管外部路由器。
- 提供 Google Cloud 轉送虛擬私有雲 (VPC) 網路中 Private Service Connect 端點的連線。
- 包含指向 Private Service Connect 端點的 DNS 伺服器。
- 轉送專案
執行下列功能的 Google Cloud 專案:
- 託管路由虛擬私有雲網路,透過 Cloud Interconnect 或 Cloud VPN 連線連至外部網路。
- 託管 Network Connectivity Center (NCC) 中樞,將外部網路、路由虛擬私有雲網路和 Shared VPC 網路連結在一起。
- 託管連至區域性 Cloud Storage 端點的 Private Service Connect 端點。資料工程師可透過這個端點,將 RAG 資料上傳至 Cloud Storage bucket。
- RAG Shared VPC 主專案
託管 Shared VPC 虛擬私有雲網路,該網路託管前端服務內部應用程式負載平衡器,以及任何其他需要虛擬私有雲網路的服務。所有服務專案都能存取該 Shared VPC 網路。
- 資料擷取服務專案
包含用於輸入原始資料的 Cloud Storage bucket。包含資料擷取子系統,其中包含下列元件:
- 擷取處理:讀取並處理原始資料。
- 擷取輸出:寫入最終資料儲存庫。
- 提供服務的專案
包含提供子系統,其中包含下列元件,可提供推論和互動的服務和函式:
- RAG 資料儲存庫,內含資料擷取子系統的輸出內容。
- 提供服務的程序,會結合推論查詢和 RAG 資料儲存庫中的資料,將資料提供給模型。
- 提供子系統使用的模型,用於從上傳的 RAG 資料建立向量,以及處理使用者要求。
- 前端服務專案
包含前端子系統,也就是在 Cloud Run 或 Google Kubernetes Engine (GKE) 上執行的使用者互動服務前端,有一個應用程式負載平衡器。
專案也包含 Google Cloud Armor,可協助限制服務的存取方式。如要提供網際網路存取權,可以新增區域性外部應用程式負載平衡器。
- VPC Service Controls 範圍
有助於防範資料竊取。儲存在 Cloud Storage bucket 中的資料無法複製到 perimeter 以外的任何位置,且控制層作業會受到保護。
以下各節說明架構中的連線和流量。
元件之間的連結
本節說明這個架構中元件和網路之間的連線。
外部網路至轉送虛擬私有雲網路
外部網路會透過 Cloud Interconnect 或 Cloud VPN 連線至 Google Cloud 轉送虛擬私有雲網路,這些是 NCC 中樞的混合式輪輻。
路由虛擬私有雲網路中的 Cloud Router,以及外部網路中的外部路由器,會交換邊界閘道通訊協定 (BGP) 路由:
- 外部網路中的路由器會向轉送虛擬私有雲 Cloud Router 公告外部子網路的路由。您可以使用 BGP 指標和屬性,表示路由偏好設定。
- 路由虛擬私有雲網路中的 Cloud Router 會將 Google Cloud虛擬私有雲中的前置字元路由 advertise 至外部網路。
將虛擬私有雲網路轉送至 Shared VPC 網路
您可以使用 NCC 中樞的 NCC 虛擬私有雲輪輻,連結轉送虛擬私有雲網路和 RAG 虛擬私有雲網路。中樞也託管連至外部網路的混合輪輻。
Shared VPC 網路中的資源對資源
在這個設計中,Cloud Storage bucket 會接收來自外部網路的資料。推論要求會透過區域性內部應用程式負載平衡器傳送。其餘系統則可採取下列做法:
- 將所有內容託管在 Google SaaS 基礎架構中,例如 Cloud Storage bucket、Gemini Enterprise Agent Platform、Cloud Run 和 Pub/Sub。在這種情況下,元件會透過私人 Google 基礎架構進行通訊。
- 將所有內容託管於 Compute Engine VM、GKE 叢集、Cloud SQL 資料庫或其他在虛擬私有雲網路中執行的元件中執行的工作負載。在這種情況下,系統會透過 NCC 或虛擬私有雲網路對等互連連結的網路,使用私人 IP 位址進行通訊。
- 混合使用全代管、平台和基礎架構服務。在這種情況下,您可以使用下列方法,在虛擬私有雲網路和全代管服務之間建立連線:
- Private Google Access:使用這個方法,沒有外部 IP 位址且在虛擬私有雲網路中執行的工作負載,可以存取 Google API。這項存取作業會在 Google 基礎架構內部進行,且這項程序不會將這類流量公開至網際網路。
- Private Service Connect:使用這個方法,您可以在服務專案中建立端點,用於託管在代管虛擬私有雲網路中的服務,例如 AlloyDB for PostgreSQL。
外部網路至前端服務應用程式負載平衡器
區域性內部應用程式負載平衡器的端點是 RAG 網路中的 IP 位址。RAG 網路、轉送網路和外部網路的混合連線,都是同一個 NCC 中樞的輪輻。因此,您可以指示 NCC 將所有輪輻子範圍匯出至中樞,然後中樞會將這些子範圍重新匯出至其他輪輻網路。系統的使用者可以從外部網路存取負載平衡服務。
流量
這個參考架構中的流量流程包括 RAG 資料流程和推論流程。
RAG 母體流程
這個流程說明 RAG 資料如何從資料工程師流向向量儲存空間。
- 資料工程師會透過 Cloud Interconnect 連線或 Cloud VPN 連線,從外部網路上傳原始資料。資料會上傳至轉送虛擬私有雲網路中的 Private Service Connect 端點。
- 資料會透過 Google 的內部基礎架構,傳輸至資料擷取服務專案中的 Cloud Storage bucket。
在資料擷取服務專案中,資料會透過下列其中一種方法在系統之間傳輸:
- Private Google Access
- Private Service Connect 端點
- 直接 Google 基礎架構
具體方法取決於系統是託管在Google Cloud 虛擬私有雲網路,還是直接託管在Google Cloud。在這個流程中,資料擷取子系統會將分塊的 RAG 資料提供給模型,模型則會為每個區塊產生向量。
資料擷取子系統會將向量資料和分塊資料寫入適當的資料儲存庫。
推論流程
這個流程說明客戶要求。
- 客戶從外部網路傳送要求至服務的 IP 位址。
- 要求會透過 Cloud Interconnect 連線或 Cloud VPN 連線,傳送至轉送虛擬私有雲網路。
- 要求會透過虛擬私有雲輪輻連線傳送至 RAG 虛擬私有雲網路。
- 客戶要求會傳送至應用程式負載平衡器,再由負載平衡器傳送至前端子系統。
- 前端子系統會將要求轉送至服務子系統。
- 服務子系統會使用資料儲存庫中的相關比對內容資料,擴充要求。
- 服務子系統會將增強後的提示傳送至 AI 模型,由模型生成回覆。
使用的產品
這個參考架構使用下列 Google Cloud 產品:
- 虛擬私有雲 (VPC):虛擬系統,為 Google Cloud 工作負載提供全球性、可擴充的網路功能。虛擬私有雲包含虛擬私有雲網路對接、Private Service Connect、私人服務存取權和 Shared VPC。
- Shared VPC:虛擬私有雲的一項功能,可讓您使用該網路的內部 IP 位址,將多項專案中的資源連線至通用虛擬私有雲網路。
- Private Service Connect:這項功能可讓用戶從虛擬私有雲網路內部,以不公開的方式存取代管服務。
- Private Google Access:這項功能可讓沒有外部 IP 位址的 VM 執行個體,連線至 Google API 和服務的外部 IP 位址。
- Cloud Interconnect:這項服務可透過高可用性、低延遲的連線,將外部網路延伸至 Google 網路。
- Cloud VPN:這項服務可透過 IPsec VPN 通道,將對等互連網路安全地延伸至 Google 網路。
- Cloud Router:分散式全代管服務,提供邊界閘道通訊協定 (BGP) 發言者和回應者功能。Cloud Router 可與 Cloud Interconnect、Cloud VPN 和路由器設備搭配使用,根據 BGP 接收和自訂已知路徑,在虛擬私有雲網路中建立動態路徑。
- Network Connectivity Center:自動化調度管理架構,可簡化輪輻資源之間的網路連線,這些資源會連線至稱為中樞的集中管理資源。
- VPC Service Controls:代管網路功能,可將 Google Cloud 資源的資料竊取風險降到最低。
- Cloud Load Balancing:高效能、可擴充的全球和區域負載平衡器組合。
- Model Armor:這項服務可保護生成式和代理式 AI 資源,防範提示詞注入、敏感資料外洩和有害內容。
- Google Cloud Armor:這項網路安全服務提供網頁應用程式防火牆 (WAF) 規則,可協助防範 DDoS 和應用程式攻擊。
- Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。
用途
這種架構專為企業情境設計,整個系統的輸入、輸出和內部通訊都必須使用私人 IP 位址,且不得透過網際網路傳輸:
- 私人輸入:上傳的資料不會透過網際網路傳輸。而是將 Cloud Storage bucket 託管在 Google Cloud轉送虛擬私有雲網路中的 Private Service Connect 端點後方。您只使用私人 IP 位址,透過 Cloud Interconnect 或 Cloud VPN 連線複製 RAG 資料。
- 私人服務間連線:服務透過 Google 的內部介面,或虛擬私有雲網路內部的私人位址相互通訊。
- 私人輸出:除非您選擇設定存取權,否則無法透過網際網路存取推論結果。根據預設,只有指定外部網路中的使用者,才能連上服務的私人端點。
設計替代方案
本節介紹其他網路設計方法,可供您在 Google Cloud中建構具備 RAG 功能的應用程式時參考。
公開服務
在本文所示的架構中,只有內部網路中的使用者可以傳送查詢至應用程式。如果應用程式必須可供網際網路上的用戶端存取,請使用區域性外部應用程式負載平衡器。
使用 GKE Inference Gateway
如果前端子系統在 GKE 上執行,您可以使用 GKE Inference Gateway,而非應用程式負載平衡器。
設計須知
本節提供額外指引,協助您部署網路,支援 RAG 架構的私人連線。這份指南可協助您滿足安全性、隱私權和法規遵循、可靠性、成本最佳化、作業效率和效能最佳化等方面的特定需求。本節的指引並未涵蓋所有情況。針對特定部署作業,您可能需要考量本節未涵蓋的其他設計因素。
安全性、隱私權和法規遵循
為確保 RAG 架構安全,並符合隱私權和法規遵循要求,請參考下列建議:
- 提示詞和回覆篩選:在 AI 模型前部署 Model Armor,評估傳入的提示詞和傳出的結果,防範提示詞注入、越獄嘗試、敏感資料外洩,以及違反負責任 AI 政策的行為。您可以直接將 Model Armor 與 Gemini Enterprise Agent Platform 整合,或使用 Service Extensions 流量擴充功能,將 Model Armor 附加至應用程式負載平衡器,在不當要求到達服務子系統前予以拒絕。如要從虛擬私有雲網路內私下存取 Model Armor 區域端點,且在使用 Private Google Access 或 VPC Service Controls 時不會發生憑證錯誤,請為 Model Armor API 建立區域性 Private Service Connect 端點。
- Perimeter 和網路微區隔:這個架構使用 VPC Service Controls,協助防止未經授權的資料從服務專案外洩。除了 service perimeter 之外,您也可以使用 Cloud Next Generation Firewall 階層式和網路防火牆政策,搭配 IAM 管理的標記,限制 Shared VPC 虛擬私有雲網路中資料擷取、服務和前端工作負載之間的橫向流量。
- 身分和零信任存取權:啟用 Identity-Aware Proxy (IAP),對前端內部應用程式負載平衡器或區域性外部應用程式負載平衡器,強制執行零信任存取控管,確保只有經過驗證和授權的使用者才能查詢 RAG 應用程式。將最小權限服務帳戶與主體存取邊界政策結合,限制每個子系統主體可存取的資源。如果服務子系統會透過私人網路,自動調度自主代理或 Model Context Protocol (MCP) 工具,請使用 Agent Identity 和 Agent Gateway,驗證及管理代理與工具之間的流量。
- 資料隱私權和加密:在資料擷取子系統中使用 Sensitive Data Protection,檢查、分類及去識別化上傳至 Cloud Storage bucket 的原始文件中的個人識別資訊 (PII),然後再生成嵌入並寫入 RAG 資料儲存庫。如果法規遵循要求控管加密金鑰,請在 Cloud Key Management Service (Cloud KMS) 中,為 Cloud Storage bucket、向量資料儲存庫和模型端點設定客戶自行管理的加密金鑰 (CMEK)。
這項設計採用既定的安全原則,有助於保護 RAG 工作負載。 如需 AI 和機器學習工作負載專屬的安全原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:安全性」。
可靠性
如要為支援 RAG 的應用程式建構及運作可靠的網路基礎架構,請參考下列建議:
- 備援混合式連線能力:在多個邊緣可用性網域和區域中,設定備援 Cloud Interconnect VLAN 連結或高可用性 VPN 通道,並搭配備援 Cloud Router,以便在外部網路和轉送虛擬私有雲網路之間進行動態 BGP 容錯移轉。
- 多區域負載平衡和儲存空間:如要確保跨區域的高可用性,請使用跨區域內部應用程式負載平衡器,將推論流量分配到多個區域的前端和服務後端,並使用雙區域或多區域 Cloud Storage bucket,搭配複製的向量資料儲存庫。
- 非同步擷取和配額彈性:使用 Pub/Sub 搭配 dead-letter 主題或 Eventarc 重試政策,將原始資料上傳至 Cloud Storage bucket 的作業與擷取處理管道分離,這樣一來,暫時性的嵌入或索引失敗作業就能重試,不會發生資料遺失。如要在大量生成和推論嵌入時,確保延遲時間和容量可預測,請預留佈建輸送量,並針對 HTTP
429回應實作指數輪詢。
如需 AI 和機器學習工作負載專屬的可靠性原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:可靠性」。
成本最佳化
如要最佳化建構及執行 RAG 架構的成本,請考慮下列建議:
- 網路輸出和端點選取:將轉送虛擬私有雲網路、Private Service Connect 端點、Cloud Storage bucket、RAG 資料儲存庫和模型端點放在相同區域,避免 NCC 輪輻之間產生跨區域資料移轉費用。在轉送或主機虛擬私有雲網路中,整合共用的 Private Service Connect 端點,減少每小時端點和資料處理費用。
- 儲存空間生命週期管理:在原始資料擷取 bucket 上設定 Cloud Storage 物件生命週期管理或 Autoclass,以便在向量寫入 RAG 資料儲存庫後,將處理過的來源文件轉換為較冷的儲存空間級別,或刪除暫存檔案。
- 批次嵌入和脈絡快取:如要對資料擷取子系統中的大型非緊急 RAG 語料庫進行更新,請使用批次預測嵌入或批次推論,費用會比線上要求低。在服務子系統中,為週期性系統指令和經常擷取的參考文件啟用脈絡快取,降低輸入詞元成本。
如要瞭解 AI 和機器學習工作負載專屬的成本最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:成本最佳化」。
提升作業效率
如要有效率地操作及管理網路和 RAG 基礎架構,請參考下列建議:
- 基礎架構即程式碼 (IaC):使用企業基礎藍圖和 Infrastructure Manager 的 Terraform 模組,自動佈建轉送專案、Shared VPC 主機和服務專案、NCC 中樞和輪輻、Private Service Connect 端點,以及 VPC Service Controls perimeter。
- 集中式私人 DNS 解析:在轉送虛擬私有雲網路中,使用 Cloud DNS 私人區域和傳入或傳出轉送政策,簡化外部網路和虛擬私有雲輪輻的 DNS 管理作業,讓地端部署用戶端和服務專案自動解析 Private Service Connect 端點和內部應用程式負載平衡器 IP 位址。
- 網路和 AI 觀測能力:使用 Network Intelligence Center (包括 Connectivity Tests 和 Flow Analyzer)、Cloud Logging 和 Cloud Monitoring,監控混合式連線、NCC 輪輻流量和 VPC Service Controls 政策拒絕情形。使用 Gen AI Evaluation Service,持續評估服務子系統中的檢索關聯性和基準。
如要瞭解 AI 和機器學習工作負載專屬的卓越營運原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:卓越營運」。
效能最佳化
如要提升網路和 RAG 工作負載的效能,建議您採取下列做法:
- 混合頻寬和區域共置:調整 Cloud Interconnect VLAN 連結或 Cloud VPN 通道的大小,以便處理外部網路的原始資料上傳量高峰,同時不耗盡與互動式推論要求共用的頻寬。將區域性 Private Service Connect 端點、Cloud Storage bucket、向量資料儲存庫 (例如 向量搜尋 或 AlloyDB for PostgreSQL) 和模型端點,集中在最靠近混合互連網路連接點的區域,盡可能縮短網路來回延遲時間。
- 運算資源調度與推論轉送:如果前端或服務子系統在 Cloud Run 上執行,請設定執行個體數量下限,並調整並行設定,消除流量高峰期間的冷啟動延遲。如果您在 GKE 提供開放模型,請使用 Inference Gateway,在模型伺服器之間執行 KV 快取感知和負載感知轉送。
如需 AI 和機器學習工作負載專屬的效能最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:效能最佳化」。
部署作業
本節說明建立應用程式的步驟:
- 找出工作負載的區域。
- 建立 Google Cloud 專案和虛擬私有雲網路。
- 將外部網路連線至轉送虛擬私有雲網路。
- 使用 NCC 連結網路。
- 找出 RAG 部署作業的元件,並建立服務帳戶。
- 設定 VPC Service Controls。
- 建構資料擷取子系統。
- 建構供應子系統。
- 建構前端子系統。
- 讓應用程式可透過網際網路連線。
找出工作負載的區域
一般來說,您會希望將連線、虛擬私有雲子網路和 Google Cloud工作負載,放在靠近地端部署網路或其他雲端用戶端的位置。如要進一步瞭解如何為工作負載選擇區域,請參閱「Google Cloud 區域挑選器」和「選擇 Compute Engine 區域的最佳做法」。
建立 Google Cloud 專案和虛擬私有雲網路
如果貴組織已設定分散式應用程式的 Cross-Cloud Network,則應已具備轉送專案和轉送虛擬私有雲網路。
請按照下列順序建立 Google Cloud 專案和虛擬私有雲網路:
- 建立轉送專案。
- 建立已啟用 Private Google Access 的轉送虛擬私有雲網路。
- 建立 RAG 專案。
- 將 RAG 專案升級為 Shared VPC 主專案。
- 建立資料擷取服務專案。
- 建立供應服務專案。
- 建立前端服務專案。
- 建立 Shared VPC RAG 網路,並啟用 Private Google Access。
- 授予服務專案使用 RAG 網路的權限。
將外部網路連線至轉送虛擬私有雲網路
如果您已設定分散式應用程式適用的 Cross-Cloud Network,可以略過這個步驟。
設定外部網路與轉送網路之間的連線能力。如要瞭解相關技術,請參閱「外部和混合式連線」。如需選擇連線產品的指引,請參閱「選擇網路連線產品」。
使用 NCC 連結網路
- 在轉送專案中,建立 NCC 中樞。
- 將 Cloud Interconnect 連線新增為 VLAN 連結輪輻,或將 Cloud VPN 連線新增為 VPN 輪輻。
- 將 RAG 虛擬私有雲網路和轉送虛擬私有雲網路,新增至中樞做為虛擬私有雲輪輻。
找出 RAG 部署作業的元件並建立服務帳戶
這項設計假設您使用 Cloud Storage bucket 做為資料輸入元件,並在推論前端使用應用程式負載平衡器。其餘設計則可視需要調整。
理想情況下,每個元件都應以自己的服務帳戶執行。請確保每個元件僅具備執行必要功能所需的最低 IAM 權限。舉例來說,資料擷取子系統中的 Cloud Run 工作需要從輸入 Cloud Storage bucket 讀取資料,但不需要寫入 bucket。在本例中,執行 Cloud Run 工作的服務專案應僅具備 bucket 讀取權限,不具備寫入權限。
設定 VPC Service Controls
- 在部署作業周圍建立 VPC Service Controls 範圍。
- 設定存取規則。
建構資料擷取子系統
資料擷取子系統會從資料工程師取得原始資料,並加以處理,供服務子系統使用。
- 在資料擷取服務專案中,建立 Cloud Storage bucket。
- 在轉送虛擬私有雲網路中,建立區域性 Private Service Connect 端點,並將端點連線至 bucket。
- 在外部網路中,使用上一步產生的 IP 位址和網址,為端點新增 DNS 項目。
- 更新外部網路防火牆規則,允許存取端點 IP 位址。
- 在資料擷取服務專案中,根據所選 RAG 架構建構其餘的擷取管道。
- 授予 IAM 權限,讓擷取管道中的相關資源可以存取產生向量的模型。
- 授予 IAM 權限,讓擷取管道中的相關資源可以寫入向量資料儲存庫。
建構服務子系統
- 在提供服務的專案中,建構提供管道。
- 授予 IAM 權限,讓前端系統中的服務帳戶可以存取服務子系統的輸出內容。
建構前端子系統
本節假設您使用區域性內部應用程式負載平衡器,並在 Cloud Run 前方使用無伺服器 NEG。不過,您可以使用不同的負載平衡器和後端。
- 為前端系統建立程式碼。
- 在前端服務專案中,部署負載平衡前端系統,包括設定 Cloud Armor 安全性政策的選用步驟。
- 在路由虛擬私有雲網路中設定 Cloud Router,將 RAG 虛擬私有雲網路的路由轉送至地端部署路由器。這項設定可讓用戶端連上應用程式負載平衡器。
- 在外部網路中設定防火牆規則,讓負載平衡器前端可從外部網路連線。
- 在外部網路中,更新 DNS 以指向應用程式負載平衡器轉送規則。
讓應用程式可透過網際網路存取
這個部分為選用。
這項設計假設您希望服務只能從外部網路連線,但您也可以讓服務可從網際網路連線。
如要讓服務可透過網際網路連線,請完成下列步驟:
- 建立區域性外部應用程式負載平衡器,並指向內部應用程式負載平衡器指向的相同後端。完成選用步驟,設定 Cloud Armor 安全性政策。
- 更新 VPC Service Controls,讓服務客戶能連線至後端服務。
後續步驟
- 瞭解分散式應用程式適用的 Cross-Cloud Network。
- 瞭解如何在 Cloud Run 上託管 AI 應用程式和代理。
- 瞭解負責任的 AI 最佳做法和 Agent Platform 安全篩選器。
- 瞭解 LLM 的提示策略。
- 如要概略瞭解 Google Cloud中 AI 和機器學習工作負載專屬的架構原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點」一文。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:
- Deepak Michael | 網路專員客戶工程師
- Mark Schlagenhauf | 網路技術文件撰稿者
其他貢獻者:
- Kumar Dhanagopal | 跨產品解決方案開發人員
- Victor Moreno | Cloud Networking 產品經理
- Samantha He | 技術撰稿人
- Ammett Williams | 開發人員關係工程師
- Aspen Sherrill | 雲端安全架構師