支援 RAG 的生成式 AI 應用程式的私人連線

Last reviewed 2026-11-03 UTC

本文件提供參考架構,協助您保護採用檢索增強生成 (RAG) 技術的應用程式網路基礎架構。RAG 架構通常包含獨立的子系統,用於處理資料處理和內容檢索流程。這項參考架構示範如何使用 Shared VPC 執行下列操作:

  • 使用 Identity and Access Management (IAM) 權限,區隔子系統。
  • 使用私人 IP 位址連結應用程式元件。

本文適用對象包括架構師、開發人員,以及網路和安全性管理員。本文件假設您已具備網路的基本概念。本文不會說明如何建立 RAG 應用程式。

架構

下圖顯示本文件介紹的網路架構:

具備 RAG 的應用程式網路架構。

網路架構的連線和流量。

上圖中的架構顯示下列元件:

外部網路,無論是地端部署或其他雲端

執行下列函式的外部網路:

  • 為上傳原始 RAG 資料的資料工程師提供網路連線。
  • 終止外部網路連線。
  • 託管外部路由器。
  • 提供 Google Cloud 轉送虛擬私有雲 (VPC) 網路中 Private Service Connect 端點的連線。
  • 包含指向 Private Service Connect 端點的 DNS 伺服器。
轉送專案

執行下列功能的 Google Cloud 專案:

  • 託管路由虛擬私有雲網路,透過 Cloud Interconnect 或 Cloud VPN 連線連至外部網路。
  • 託管 Network Connectivity Center (NCC) 中樞,將外部網路、路由虛擬私有雲網路和 Shared VPC 網路連結在一起。
  • 託管連至區域性 Cloud Storage 端點的 Private Service Connect 端點。資料工程師可透過這個端點,將 RAG 資料上傳至 Cloud Storage bucket。
RAG Shared VPC 主專案

託管 Shared VPC 虛擬私有雲網路,該網路託管前端服務內部應用程式負載平衡器,以及任何其他需要虛擬私有雲網路的服務。所有服務專案都能存取該 Shared VPC 網路。

資料擷取服務專案

包含用於輸入原始資料的 Cloud Storage bucket。包含資料擷取子系統,其中包含下列元件:

  • 擷取處理:讀取並處理原始資料。
  • 擷取輸出:寫入最終資料儲存庫。
提供服務的專案

包含提供子系統,其中包含下列元件,可提供推論和互動的服務和函式:

  • RAG 資料儲存庫,內含資料擷取子系統的輸出內容。
  • 提供服務的程序,會結合推論查詢和 RAG 資料儲存庫中的資料,將資料提供給模型。
  • 提供子系統使用的模型,用於從上傳的 RAG 資料建立向量,以及處理使用者要求。
前端服務專案

包含前端子系統,也就是在 Cloud Run 或 Google Kubernetes Engine (GKE) 上執行的使用者互動服務前端,有一個應用程式負載平衡器。

專案也包含 Google Cloud Armor,可協助限制服務的存取方式。如要提供網際網路存取權,可以新增區域性外部應用程式負載平衡器。

VPC Service Controls 範圍

有助於防範資料竊取。儲存在 Cloud Storage bucket 中的資料無法複製到 perimeter 以外的任何位置,且控制層作業會受到保護。

以下各節說明架構中的連線和流量。

元件之間的連結

本節說明這個架構中元件和網路之間的連線。

外部網路至轉送虛擬私有雲網路

外部網路會透過 Cloud Interconnect 或 Cloud VPN 連線至 Google Cloud 轉送虛擬私有雲網路,這些是 NCC 中樞的混合式輪輻。

路由虛擬私有雲網路中的 Cloud Router,以及外部網路中的外部路由器,會交換邊界閘道通訊協定 (BGP) 路由:

  • 外部網路中的路由器會向轉送虛擬私有雲 Cloud Router 公告外部子網路的路由。您可以使用 BGP 指標和屬性,表示路由偏好設定。
  • 路由虛擬私有雲網路中的 Cloud Router 會將 Google Cloud虛擬私有雲中的前置字元路由 advertise 至外部網路。

將虛擬私有雲網路轉送至 Shared VPC 網路

您可以使用 NCC 中樞的 NCC 虛擬私有雲輪輻,連結轉送虛擬私有雲網路和 RAG 虛擬私有雲網路。中樞也託管連至外部網路的混合輪輻。

Shared VPC 網路中的資源對資源

在這個設計中,Cloud Storage bucket 會接收來自外部網路的資料。推論要求會透過區域性內部應用程式負載平衡器傳送。其餘系統則可採取下列做法:

  • 將所有內容託管在 Google SaaS 基礎架構中,例如 Cloud Storage bucket、Gemini Enterprise Agent Platform、Cloud Run 和 Pub/Sub。在這種情況下,元件會透過私人 Google 基礎架構進行通訊。
  • 將所有內容託管於 Compute Engine VM、GKE 叢集、Cloud SQL 資料庫或其他在虛擬私有雲網路中執行的元件中執行的工作負載。在這種情況下,系統會透過 NCC 或虛擬私有雲網路對等互連連結的網路,使用私人 IP 位址進行通訊。
  • 混合使用全代管、平台和基礎架構服務。在這種情況下,您可以使用下列方法,在虛擬私有雲網路和全代管服務之間建立連線:
    • Private Google Access:使用這個方法,沒有外部 IP 位址且在虛擬私有雲網路中執行的工作負載,可以存取 Google API。這項存取作業會在 Google 基礎架構內部進行,且這項程序不會將這類流量公開至網際網路。
    • Private Service Connect:使用這個方法,您可以在服務專案中建立端點,用於託管在代管虛擬私有雲網路中的服務,例如 AlloyDB for PostgreSQL。

外部網路至前端服務應用程式負載平衡器

區域性內部應用程式負載平衡器的端點是 RAG 網路中的 IP 位址。RAG 網路、轉送網路和外部網路的混合連線,都是同一個 NCC 中樞的輪輻。因此,您可以指示 NCC 將所有輪輻子範圍匯出至中樞,然後中樞會將這些子範圍重新匯出至其他輪輻網路。系統的使用者可以從外部網路存取負載平衡服務。

流量

這個參考架構中的流量流程包括 RAG 資料流程和推論流程。

RAG 母體流程

這個流程說明 RAG 資料如何從資料工程師流向向量儲存空間。

  1. 資料工程師會透過 Cloud Interconnect 連線或 Cloud VPN 連線,從外部網路上傳原始資料。資料會上傳至轉送虛擬私有雲網路中的 Private Service Connect 端點。
  2. 資料會透過 Google 的內部基礎架構,傳輸至資料擷取服務專案中的 Cloud Storage bucket。
  3. 在資料擷取服務專案中,資料會透過下列其中一種方法在系統之間傳輸:

    • Private Google Access
    • Private Service Connect 端點
    • 直接 Google 基礎架構

    具體方法取決於系統是託管在Google Cloud 虛擬私有雲網路,還是直接託管在Google Cloud。在這個流程中,資料擷取子系統會將分塊的 RAG 資料提供給模型,模型則會為每個區塊產生向量。

  4. 資料擷取子系統會將向量資料和分塊資料寫入適當的資料儲存庫。

推論流程

這個流程說明客戶要求。

  1. 客戶從外部網路傳送要求至服務的 IP 位址。
  2. 要求會透過 Cloud Interconnect 連線或 Cloud VPN 連線,傳送至轉送虛擬私有雲網路。
  3. 要求會透過虛擬私有雲輪輻連線傳送至 RAG 虛擬私有雲網路。
  4. 客戶要求會傳送至應用程式負載平衡器,再由負載平衡器傳送至前端子系統。
  5. 前端子系統會將要求轉送至服務子系統。
  6. 服務子系統會使用資料儲存庫中的相關比對內容資料,擴充要求。
  7. 服務子系統會將增強後的提示傳送至 AI 模型,由模型生成回覆。

使用的產品

這個參考架構使用下列 Google Cloud 產品:

  • 虛擬私有雲 (VPC):虛擬系統,為 Google Cloud 工作負載提供全球性、可擴充的網路功能。虛擬私有雲包含虛擬私有雲網路對接、Private Service Connect、私人服務存取權和 Shared VPC。
  • Shared VPC:虛擬私有雲的一項功能,可讓您使用該網路的內部 IP 位址,將多項專案中的資源連線至通用虛擬私有雲網路。
  • Private Service Connect:這項功能可讓用戶從虛擬私有雲網路內部,以不公開的方式存取代管服務。
  • Private Google Access:這項功能可讓沒有外部 IP 位址的 VM 執行個體,連線至 Google API 和服務的外部 IP 位址。
  • Cloud Interconnect:這項服務可透過高可用性、低延遲的連線,將外部網路延伸至 Google 網路。
  • Cloud VPN:這項服務可透過 IPsec VPN 通道,將對等互連網路安全地延伸至 Google 網路。
  • Cloud Router:分散式全代管服務,提供邊界閘道通訊協定 (BGP) 發言者和回應者功能。Cloud Router 可與 Cloud Interconnect、Cloud VPN 和路由器設備搭配使用,根據 BGP 接收和自訂已知路徑,在虛擬私有雲網路中建立動態路徑。
  • Network Connectivity Center:自動化調度管理架構,可簡化輪輻資源之間的網路連線,這些資源會連線至稱為中樞的集中管理資源。
  • VPC Service Controls:代管網路功能,可將 Google Cloud 資源的資料竊取風險降到最低。
  • Cloud Load Balancing:高效能、可擴充的全球和區域負載平衡器組合。
  • Model Armor:這項服務可保護生成式和代理式 AI 資源,防範提示詞注入、敏感資料外洩和有害內容。
  • Google Cloud Armor:這項網路安全服務提供網頁應用程式防火牆 (WAF) 規則,可協助防範 DDoS 和應用程式攻擊。
  • Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。

用途

這種架構專為企業情境設計,整個系統的輸入、輸出和內部通訊都必須使用私人 IP 位址,且不得透過網際網路傳輸:

  • 私人輸入:上傳的資料不會透過網際網路傳輸。而是將 Cloud Storage bucket 託管在 Google Cloud轉送虛擬私有雲網路中的 Private Service Connect 端點後方。您只使用私人 IP 位址,透過 Cloud Interconnect 或 Cloud VPN 連線複製 RAG 資料。
  • 私人服務間連線:服務透過 Google 的內部介面,或虛擬私有雲網路內部的私人位址相互通訊。
  • 私人輸出:除非您選擇設定存取權,否則無法透過網際網路存取推論結果。根據預設,只有指定外部網路中的使用者,才能連上服務的私人端點。

設計替代方案

本節介紹其他網路設計方法,可供您在 Google Cloud中建構具備 RAG 功能的應用程式時參考。

公開服務

在本文所示的架構中,只有內部網路中的使用者可以傳送查詢至應用程式。如果應用程式必須可供網際網路上的用戶端存取,請使用區域性外部應用程式負載平衡器。

使用 GKE Inference Gateway

如果前端子系統在 GKE 上執行,您可以使用 GKE Inference Gateway,而非應用程式負載平衡器。

設計須知

本節提供額外指引,協助您部署網路,支援 RAG 架構的私人連線。這份指南可協助您滿足安全性、隱私權和法規遵循、可靠性、成本最佳化、作業效率和效能最佳化等方面的特定需求。本節的指引並未涵蓋所有情況。針對特定部署作業,您可能需要考量本節未涵蓋的其他設計因素。

安全性、隱私權和法規遵循

為確保 RAG 架構安全,並符合隱私權和法規遵循要求,請參考下列建議:

  • 提示詞和回覆篩選:在 AI 模型前部署 Model Armor,評估傳入的提示詞和傳出的結果,防範提示詞注入、越獄嘗試、敏感資料外洩,以及違反負責任 AI 政策的行為。您可以直接將 Model Armor 與 Gemini Enterprise Agent Platform 整合,或使用 Service Extensions 流量擴充功能,將 Model Armor 附加至應用程式負載平衡器,在不當要求到達服務子系統前予以拒絕。如要從虛擬私有雲網路內私下存取 Model Armor 區域端點,且在使用 Private Google Access 或 VPC Service Controls 時不會發生憑證錯誤,請為 Model Armor API 建立區域性 Private Service Connect 端點。
  • Perimeter 和網路微區隔:這個架構使用 VPC Service Controls,協助防止未經授權的資料從服務專案外洩。除了 service perimeter 之外,您也可以使用 Cloud Next Generation Firewall 階層式和網路防火牆政策,搭配 IAM 管理的標記,限制 Shared VPC 虛擬私有雲網路中資料擷取、服務和前端工作負載之間的橫向流量。
  • 身分和零信任存取權:啟用 Identity-Aware Proxy (IAP),對前端內部應用程式負載平衡器或區域性外部應用程式負載平衡器,強制執行零信任存取控管,確保只有經過驗證和授權的使用者才能查詢 RAG 應用程式。將最小權限服務帳戶與主體存取邊界政策結合,限制每個子系統主體可存取的資源。如果服務子系統會透過私人網路,自動調度自主代理或 Model Context Protocol (MCP) 工具,請使用 Agent Identity 和 Agent Gateway,驗證及管理代理與工具之間的流量。
  • 資料隱私權和加密:在資料擷取子系統中使用 Sensitive Data Protection,檢查、分類及去識別化上傳至 Cloud Storage bucket 的原始文件中的個人識別資訊 (PII),然後再生成嵌入並寫入 RAG 資料儲存庫。如果法規遵循要求控管加密金鑰,請在 Cloud Key Management Service (Cloud KMS) 中,為 Cloud Storage bucket、向量資料儲存庫和模型端點設定客戶自行管理的加密金鑰 (CMEK)。

這項設計採用既定的安全原則,有助於保護 RAG 工作負載。 如需 AI 和機器學習工作負載專屬的安全原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:安全性」。

可靠性

如要為支援 RAG 的應用程式建構及運作可靠的網路基礎架構,請參考下列建議:

  • 備援混合式連線能力:在多個邊緣可用性網域和區域中,設定備援 Cloud Interconnect VLAN 連結或高可用性 VPN 通道,並搭配備援 Cloud Router,以便在外部網路和轉送虛擬私有雲網路之間進行動態 BGP 容錯移轉。
  • 多區域負載平衡和儲存空間:如要確保跨區域的高可用性,請使用跨區域內部應用程式負載平衡器,將推論流量分配到多個區域的前端和服務後端,並使用雙區域或多區域 Cloud Storage bucket,搭配複製的向量資料儲存庫。
  • 非同步擷取和配額彈性:使用 Pub/Sub 搭配 dead-letter 主題或 Eventarc 重試政策,將原始資料上傳至 Cloud Storage bucket 的作業與擷取處理管道分離,這樣一來,暫時性的嵌入或索引失敗作業就能重試,不會發生資料遺失。如要在大量生成和推論嵌入時,確保延遲時間和容量可預測,請預留佈建輸送量,並針對 HTTP 429 回應實作指數輪詢。

如需 AI 和機器學習工作負載專屬的可靠性原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:可靠性」。

成本最佳化

如要最佳化建構及執行 RAG 架構的成本,請考慮下列建議:

  • 網路輸出和端點選取:將轉送虛擬私有雲網路、Private Service Connect 端點、Cloud Storage bucket、RAG 資料儲存庫和模型端點放在相同區域,避免 NCC 輪輻之間產生跨區域資料移轉費用。在轉送或主機虛擬私有雲網路中,整合共用的 Private Service Connect 端點,減少每小時端點和資料處理費用。
  • 儲存空間生命週期管理:在原始資料擷取 bucket 上設定 Cloud Storage 物件生命週期管理或 Autoclass,以便在向量寫入 RAG 資料儲存庫後,將處理過的來源文件轉換為較冷的儲存空間級別,或刪除暫存檔案。
  • 批次嵌入和脈絡快取:如要對資料擷取子系統中的大型非緊急 RAG 語料庫進行更新,請使用批次預測嵌入或批次推論,費用會比線上要求低。在服務子系統中,為週期性系統指令和經常擷取的參考文件啟用脈絡快取,降低輸入詞元成本。

如要瞭解 AI 和機器學習工作負載專屬的成本最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:成本最佳化」。

提升作業效率

如要有效率地操作及管理網路和 RAG 基礎架構,請參考下列建議:

  • 基礎架構即程式碼 (IaC):使用企業基礎藍圖和 Infrastructure Manager 的 Terraform 模組,自動佈建轉送專案、Shared VPC 主機和服務專案、NCC 中樞和輪輻、Private Service Connect 端點,以及 VPC Service Controls perimeter。
  • 集中式私人 DNS 解析:在轉送虛擬私有雲網路中,使用 Cloud DNS 私人區域和傳入或傳出轉送政策,簡化外部網路和虛擬私有雲輪輻的 DNS 管理作業,讓地端部署用戶端和服務專案自動解析 Private Service Connect 端點和內部應用程式負載平衡器 IP 位址。
  • 網路和 AI 觀測能力:使用 Network Intelligence Center (包括 Connectivity Tests 和 Flow Analyzer)、Cloud Logging 和 Cloud Monitoring,監控混合式連線、NCC 輪輻流量和 VPC Service Controls 政策拒絕情形。使用 Gen AI Evaluation Service,持續評估服務子系統中的檢索關聯性和基準。

如要瞭解 AI 和機器學習工作負載專屬的卓越營運原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:卓越營運」。

效能最佳化

如要提升網路和 RAG 工作負載的效能,建議您採取下列做法:

  • 混合頻寬和區域共置:調整 Cloud Interconnect VLAN 連結或 Cloud VPN 通道的大小,以便處理外部網路的原始資料上傳量高峰,同時不耗盡與互動式推論要求共用的頻寬。將區域性 Private Service Connect 端點、Cloud Storage bucket、向量資料儲存庫 (例如 向量搜尋 或 AlloyDB for PostgreSQL) 和模型端點,集中在最靠近混合互連網路連接點的區域,盡可能縮短網路來回延遲時間。
  • 運算資源調度與推論轉送:如果前端或服務子系統在 Cloud Run 上執行,請設定執行個體數量下限,並調整並行設定,消除流量高峰期間的冷啟動延遲。如果您在 GKE 提供開放模型,請使用 Inference Gateway,在模型伺服器之間執行 KV 快取感知和負載感知轉送。

如需 AI 和機器學習工作負載專屬的效能最佳化原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點:效能最佳化」。

部署作業

本節說明建立應用程式的步驟:

  1. 找出工作負載的區域。
  2. 建立 Google Cloud 專案和虛擬私有雲網路。
  3. 將外部網路連線至轉送虛擬私有雲網路。
  4. 使用 NCC 連結網路。
  5. 找出 RAG 部署作業的元件,並建立服務帳戶。
  6. 設定 VPC Service Controls。
  7. 建構資料擷取子系統。
  8. 建構供應子系統。
  9. 建構前端子系統。
  10. 讓應用程式可透過網際網路連線。

找出工作負載的區域

一般來說,您會希望將連線、虛擬私有雲子網路和 Google Cloud工作負載,放在靠近地端部署網路或其他雲端用戶端的位置。如要進一步瞭解如何為工作負載選擇區域,請參閱「Google Cloud 區域挑選器」和「選擇 Compute Engine 區域的最佳做法」。

建立 Google Cloud 專案和虛擬私有雲網路

如果貴組織已設定分散式應用程式的 Cross-Cloud Network,則應已具備轉送專案和轉送虛擬私有雲網路。

請按照下列順序建立 Google Cloud 專案和虛擬私有雲網路:

  1. 建立轉送專案。
  2. 建立已啟用 Private Google Access 的轉送虛擬私有雲網路。
  3. 建立 RAG 專案。
  4. 將 RAG 專案升級為 Shared VPC 主專案。
  5. 建立資料擷取服務專案。
  6. 建立供應服務專案。
  7. 建立前端服務專案。
  8. 建立 Shared VPC RAG 網路,並啟用 Private Google Access。
  9. 授予服務專案使用 RAG 網路的權限。

將外部網路連線至轉送虛擬私有雲網路

如果您已設定分散式應用程式適用的 Cross-Cloud Network,可以略過這個步驟。

設定外部網路與轉送網路之間的連線能力。如要瞭解相關技術,請參閱「外部和混合式連線」。如需選擇連線產品的指引,請參閱「選擇網路連線產品」。

  1. 在轉送專案中,建立 NCC 中樞。
  2. 將 Cloud Interconnect 連線新增為 VLAN 連結輪輻,或將 Cloud VPN 連線新增為 VPN 輪輻。
  3. 將 RAG 虛擬私有雲網路和轉送虛擬私有雲網路,新增至中樞做為虛擬私有雲輪輻。

找出 RAG 部署作業的元件並建立服務帳戶

  1. 選擇 RAG 部署作業,並列出所需元件。
  2. 找出各元件需要的存取權。
  3. 請為每個元件建立服務帳戶,並授予適當權限。在某些情況下,這表示您授予元件權限,允許其讀取或寫入其他服務專案。

這項設計假設您使用 Cloud Storage bucket 做為資料輸入元件,並在推論前端使用應用程式負載平衡器。其餘設計則可視需要調整。

理想情況下,每個元件都應以自己的服務帳戶執行。請確保每個元件僅具備執行必要功能所需的最低 IAM 權限。舉例來說,資料擷取子系統中的 Cloud Run 工作需要從輸入 Cloud Storage bucket 讀取資料,但不需要寫入 bucket。在本例中,執行 Cloud Run 工作的服務專案應僅具備 bucket 讀取權限,不具備寫入權限。

設定 VPC Service Controls

  1. 在部署作業周圍建立 VPC Service Controls 範圍。
  2. 設定存取規則。

建構資料擷取子系統

資料擷取子系統會從資料工程師取得原始資料,並加以處理,供服務子系統使用。

  1. 在資料擷取服務專案中,建立 Cloud Storage bucket。
  2. 在轉送虛擬私有雲網路中,建立區域性 Private Service Connect 端點,並將端點連線至 bucket。
  3. 在外部網路中,使用上一步產生的 IP 位址和網址,為端點新增 DNS 項目。
  4. 更新外部網路防火牆規則,允許存取端點 IP 位址。
  5. 在資料擷取服務專案中,根據所選 RAG 架構建構其餘的擷取管道。
  6. 授予 IAM 權限,讓擷取管道中的相關資源可以存取產生向量的模型。
  7. 授予 IAM 權限,讓擷取管道中的相關資源可以寫入向量資料儲存庫。

建構服務子系統

  1. 在提供服務的專案中,建構提供管道。
  2. 授予 IAM 權限,讓前端系統中的服務帳戶可以存取服務子系統的輸出內容。

建構前端子系統

本節假設您使用區域性內部應用程式負載平衡器,並在 Cloud Run 前方使用無伺服器 NEG。不過,您可以使用不同的負載平衡器和後端。

  1. 為前端系統建立程式碼。
  2. 在前端服務專案中,部署負載平衡前端系統,包括設定 Cloud Armor 安全性政策的選用步驟。
  3. 在路由虛擬私有雲網路中設定 Cloud Router,將 RAG 虛擬私有雲網路的路由轉送至地端部署路由器。這項設定可讓用戶端連上應用程式負載平衡器。
  4. 在外部網路中設定防火牆規則,讓負載平衡器前端可從外部網路連線。
  5. 在外部網路中,更新 DNS 以指向應用程式負載平衡器轉送規則。

讓應用程式可透過網際網路存取

這個部分為選用。

這項設計假設您希望服務只能從外部網路連線,但您也可以讓服務可從網際網路連線。

如要讓服務可透過網際網路連線,請完成下列步驟:

  1. 建立區域性外部應用程式負載平衡器,並指向內部應用程式負載平衡器指向的相同後端。完成選用步驟,設定 Cloud Armor 安全性政策。
  2. 更新 VPC Service Controls,讓服務客戶能連線至後端服務。

後續步驟

貢獻者

作者:

  • Deepak Michael | 網路專員客戶工程師
  • Mark Schlagenhauf | 網路技術文件撰稿者

其他貢獻者: