本文件提供參考架構,說明如何使用 Gemini Enterprise Agent Platform 實作端對端雙塔候選項目生成工作流程。雙塔模型架構是強大的檢索技術,適用於個人化用途,因為它會學習兩個不同實體 (例如網頁查詢和候選項) 之間的語意相似度。
本文適用於資料科學家和機器學習工程師等技術人員,他們正在開發大規模推薦應用程式,且有低延遲服務需求。
架構
下圖顯示訓練雙塔模型的架構,並分別部署各塔,用於不同的部署和提供工作:
圖中的架構包含下列元件:
- 訓練資料:訓練檔案會儲存在 Cloud Storage。
- 雙塔訓練:使用 Gemini Enterprise Agent Platform Managed Training 服務,離線訓練合併的雙塔模型;每個塔會分開儲存,並用於不同工作。
- 已註冊的查詢和候選塔:訓練完成後,每個塔會分別上傳至 Gemini Enterprise Agent Platform 的 Model Registry。
- 已部署的查詢塔:已註冊的查詢塔會部署至 Agent Platform 線上端點。
- 批次預測嵌入:在批次推論工作中使用已註冊的候選塔,預先計算所有可用候選項目的嵌入表示法。
- 嵌入 JSON:預測的嵌入會儲存至 Cloud Storage 中的 JSON 檔案。
- ANN 索引:Agent Platform 向量搜尋用於建立設定為近似最鄰近項目 (ANN) 搜尋的服務索引。
- 已部署的索引:ANN 索引會部署至 Agent Platform 向量搜尋索引端點。
使用的產品
這個參考架構使用下列 Google Cloud 產品:
- Gemini Enterprise Agent Platform 代管訓練:這項代管訓練服務可讓您大規模訓練模型。
- 向量搜尋:向量相似度比對服務,可讓您儲存、索引及搜尋語意相似或相關的資料。
- Gemini Enterprise Agent Platform 的 Model Registry:用於管理機器學習模型生命週期的中央存放區。
- Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。
用途
為滿足低延遲服務需求,大規模推薦系統通常會部署至正式環境,做為兩階段系統,有時也會做為多級式系統。第一階段是產生候選項目,目標是從大量候選項目中篩選出數百個相關項目,供後續的篩選和排名工作使用。如要最佳化這項檢索工作,請考量以下兩項核心目標:
- 在模型訓練期間,瞭解要解決的問題或工作的最佳表示法,並將此表示法編譯成
<query, candidate>嵌入。 - 在提供模型期間,快速擷取相關項目,以符合延遲時間要求。
下圖顯示兩階段推薦系統的概念元件:
在圖表中,候選項目生成階段會篩選數百萬個候選項目。接著,排名階段會篩選出數百個候選項目,並傳回數十個推薦項目。
本文件中的參考架構會訓練雙塔式檢索模型。在架構中,每個塔都是一個神經網路,會處理查詢或候選項目特徵,然後產生這些特徵的嵌入表示法。每個塔都會個別部署,因為每個塔在實際工作環境中會用於不同工作:
- 候選塔:候選塔用於預先計算所有候選項目的嵌入。預先運算的嵌入會部署至向量搜尋索引端點,該端點已針對低延遲檢索進行最佳化。
- 已部署的塔:在線上提供期間,已部署的查詢塔會將原始使用者查詢轉換為嵌入表示法。接著,系統會使用嵌入表示法,在已部署的索引中查詢類似的項目嵌入。
雙塔架構可擷取查詢和候選實體的語意關係,並對應至共用的嵌入空間,因此非常適合用於許多檢索工作。將實體對應至共用嵌入空間時,語意相似的實體會聚集在一起。因此,如果您計算特定查詢的向量嵌入,就可以在嵌入空間中搜尋最接近 (最相似) 的候選項目。這種架構的主要優點,是能夠分離查詢和候選表示法的推論。這種分離方式主要有兩大優點:
- 您可以提供新項目,不必重新訓練新項目詞彙。只要將任何一組項目特徵提供給候選項目塔,就能計算任何一組候選項目的項目嵌入,即使是訓練期間未出現的候選項目也沒問題。執行這項運算有助於解決冷啟動問題。
- 候選塔可支援任意一組候選項目,包括尚未與推薦系統互動的項目。雙塔架構會處理每個
<query, candidate>配對的多媒體內容和中繼資料特徵,因此能提供這項支援。這種處理方式可讓系統根據已知項目描述未知項目。
- 候選塔可支援任意一組候選項目,包括尚未與推薦系統互動的項目。雙塔架構會處理每個
- 您可以預先計算所有候選項目嵌入,藉此最佳化檢索推論。這些預先運算的嵌入項目可建立索引,並部署至專為低延遲檢索最佳化的服務基礎架構。
- 雙塔共同學習可讓您根據查詢描述項目,反之亦然。如果您有配對的一半 (例如查詢),且需要尋找另一個對應項目,可以預先計算一半的方程式。預先計算可讓您盡快做出其餘決策。
設計須知
本節說明設計因素、最佳做法和建議,符合Google Cloud Well-Architected Framework。使用這個參考架構開發拓撲時,請考量這項資訊,確保拓撲符合您在安全性、可靠性、成本最佳化、作業效率和效能方面的特定需求。
安全性、隱私權和法規遵循
Agent Platform 向量搜尋支援公開端點、虛擬私有雲 (VPC) 網路對等互連,以及 Private Service Connect,可用於部署索引端點。請考慮為工作負載採用下列網路安全選項:
- 使用 Private Service Connect 建立私人連線:對於大多數私人部署作業,請在向量搜尋索引端點上設定 Private Service Connect。Private Service Connect 可讓多個虛擬私有雲網路和專案中的用戶端,透過您定義的內部 IP 位址查詢索引,不必保留專屬的虛擬私有雲對接 IP 範圍。
- 虛擬私有雲網路對接:如果使用虛擬私有雲網路對接,只有線上向量比對查詢需要從相同虛擬私有雲網路建立對接連線。舉例來說,如果您從 Gemini Enterprise Agent Platform Workbench 執行個體,將線上查詢傳送至對接的索引端點,請在同一個虛擬私有雲網路中建立執行個體。建立、部署或刪除索引的控制層 API 呼叫,不需要虛擬私有雲網路對接連線。
- 資料竊取防護:為防止未經授權的資料在訓練、儲存和服務資源之間移動,請將 Agent Platform 和 Cloud Storage 放在 VPC Service Controls service perimeter 內。
可靠性
為確保線上候選項目生成作業的高可用性,請在 Vector Search 索引端點和線上模型端點之間設定備援機制:
- 索引副本設定:將索引部署至向量搜尋端點時,請將
minReplicaCount欄位設為每個 shard 至少2個副本。DeployedIndex資源的每個 shard 至少須有兩個副本,才能納入 Agent Platform 服務水準協議 (SLA) 的涵蓋範圍。 - 自動調度資源門檻:監控已部署索引 shard 的 CPU 和記憶體使用率,並設定
maxReplicaCount欄位,讓向量搜尋在 CPU 或記憶體使用率持續超過 60% 時新增副本。
成本最佳化
如要管理離線訓練和線上向量服務的基礎架構成本,請適當調整索引 shard 和運算資源:
- 索引 shard 和機器大小:建立及部署向量搜尋索引時,請選取最小的 shard 大小 (例如
SHARD_SIZE_SMALL值,最多 2 GiB;或SHARD_SIZE_MEDIUM值,最多 20 GiB),以及與候選嵌入語料庫相容的機器類型。適當調整 shard 大小,有助於避免過度佈建全天候運作的索引端點 VM。
提升作業效率
如要簡化候選嵌入、特徵管道和索引更新的持續維護作業,請考慮下列功能:
- 串流索引更新:本文中的架構使用批次索引重建,定期更新候選目錄。如果應用程式需要在幾秒內顯示新的或更新的候選項目,請設定向量搜尋串流索引,而不是批次重建完整索引。
- 混合型搜尋:如果查詢包含確切的產品 SKU、ID 或網域外關鍵字,以及語意嵌入,請使用向量搜尋中的混合型搜尋,透過倒數排名融合 (RRF) 演算法,在單一索引中結合密集雙塔嵌入和稀疏符記嵌入。
- 線上特徵供應:如果部署的查詢塔在線上推論期間需要即時使用者情境或行為特徵,請使用 Agent Platform 特徵儲存庫搭配 Bigtable 線上提供,從 BigQuery 資料表擷取低延遲特徵。
- 自動化工作流程自動調度管理:如要自動執行週期性資料準備、雙塔訓練、批次推論和索引部署步驟,請使用 Gemini Enterprise Agent Platform Pipelines 自動調度管理工作流程。
效能最佳化
本節說明使用這個參考架構在 Google Cloud 中設計拓撲時,應考量的因素,以符合工作負載的效能需求。
剖析訓練工作
如要最佳化資料輸入管道和整體訓練圖,請使用 Agent Platform SDK 的 cloud_profiler 外掛程式和 Vertex AI TensorBoard,分析訓練效能。Vertex AI TensorBoard 提供開放原始碼 TensorBoard Profiler 的代管版本。
在自訂訓練指令碼中初始化 cloud_profiler 模組並設定 tf.keras.callbacks.TensorBoard 回呼時,訓練工作會為每個週期剖析設定數量的批次。設定檔會擷取主機 CPU 和裝置 GPU 或 Cloud TPU 硬體的追蹤記錄。追蹤記錄會提供訓練工作的資源消耗資訊。為避免記憶體不足錯誤,請先將設定檔時間長度設為 2 到 10 個訓練步驟,並視需要增加時間長度。
如要瞭解如何使用 Agent Platform 代管訓練和 Vertex AI TensorBoard,剖析自訂訓練工作的效能,請參閱「剖析模型訓練效能」。如需偵錯最佳做法,請參閱「最佳化 GPU 效能」。如要瞭解如何最佳化效能,請參閱「使用 Profiler 最佳化 TensorFlow 效能」。
充分運用加速器
附加 NVIDIA GPU 或 Cloud TPU 等訓練加速器時,請務必充分運用。加速器是架構中最昂貴的元件,因此充分利用訓練加速器是成本管理的最佳做法。充分利用訓練加速器也是提高工作效率的最佳做法,因為沒有閒置時間,整體資源消耗量就會減少。
如要充分利用加速器,通常需要執行幾次疊代,找出並最佳化瓶頸,然後重複這些步驟,直到加速器裝置使用率達到可接受的程度。由於這個用途的許多資料集都太大,無法放入記憶體,因此瓶頸通常會出現在儲存空間、主機 VM 和加速器之間。
下圖顯示機器學習訓練輸入管道的概念階段:
在圖表中,系統會從儲存空間讀取資料並預先處理。資料經過預先處理後,會傳送至裝置。如要最佳化效能,請先判斷整體效能是否受限於主機 CPU 或加速器裝置 (GPU 或 TPU)。裝置負責加速訓練迴圈,主機則負責將訓練資料提供給裝置,並接收裝置的結果。以下各節將說明如何提升輸入管道和裝置效能,解決瓶頸問題。
改善輸入管道效能
如要減少主機輸入管道瓶頸,請使用下列技術:
- 從儲存空間讀取資料:如要改善資料讀取,請使用快取、prefetching、循序存取模式和並行 I/O。
- 預先處理資料:如要改善資料預先處理,請設定平行處理,以便資料擷取及轉換,並調整資料輸入管道中的
interleave轉換。 - 將資料傳送至裝置:如要縮短整體工作時間,請將資料從主機平行傳輸至多部裝置。
提升裝置效能
如要在每個訓練步驟中提高加速器使用率,請採用下列技術:
- 增加小批次大小:小批次是指在訓練迴圈的一次疊代中,每個裝置使用的訓練樣本數量。增加小批次大小時,作業之間的平行處理量會增加,資料重複使用率也會提高。不過,小批必須能與訓練程式的其他部分一起放入記憶體。如果過度增加小批大小,可能會發生記憶體不足錯誤和模型發散。
- 向量化 user-defined function:資料轉換通常可以表示為 user-defined function,說明如何轉換輸入資料集的每個元素。如要向量化這個函式,請一次對一批輸入內容套用轉換作業,而不是一次轉換一個元素。任何 user-defined function 都會產生與排程和執行相關的負擔。轉換一批輸入內容時,每批只會產生一次負擔,而非每個資料集元素產生一次。
先擴充資源,再水平擴展
設定訓練工作的運算資源時,請先向上擴充,再水平擴展。請先選擇較大、功能較強大的裝置,再使用多個功能較弱的裝置。請按照下列順序調整訓練資源:
- 單一工作者 + 單一裝置
- 單一工作站 + 效能更強大的裝置
- 單一工作者 + 多部裝置
- 分散式訓練
評估 ANN 向量搜尋的喚回度和延遲時間
如要評估 ANN 搜尋的優點,您可以評估特定查詢的延遲時間和喚回度。為協助調整索引,Agent Platform 向量搜尋提供建立暴力索引的功能。暴力破解索引會執行詳盡搜尋,找出指定查詢向量的真正最鄰近項目,但延遲時間會較長。暴力法索引不適用於正式環境,但在調整索引時,可做為計算喚回度的良好基準。
如要評估檢索率與延遲時間,請將預先運算的候選嵌入部署至兩個索引,一個設定為 ANN 搜尋,另一個設定為暴力搜尋。暴力法索引會傳回絕對最近鄰,但通常比 ANN 搜尋耗時。您可能願意犧牲部分檢索喚回度,以縮短檢索延遲時間,但應評估這項權衡。影響喚回度和延遲時間的其他特性包括:
- 模型參數:許多模型決策都會影響嵌入空間,而嵌入空間最終會成為服務索引。比較從淺層和深度檢索模型建構的索引中,檢索到的候選項目。
- 維度:維度是另一個最終由模型決定的面向。ANN 索引的維度必須與查詢和候選塔向量的維度相符。
- 群聚和篩選標記:標記可提供強大功能,針對不同的實際工作環境用途自訂結果。最佳做法是瞭解標記如何影響擷取的候選項目和成效。
- ANN 計數:提高這個值會增加檢索率,延遲時間也可能等比例增加。
- 要搜尋的葉節點百分比:在評估檢索率和延遲時間之間的取捨時,要搜尋的葉節點百分比是最重要的選項。提高這個值會增加喚回度,延遲時間也可能等比例增加。
後續步驟
如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:
- Jordan Totten | 客戶工程師
- Jeremy Wortz | 客戶工程師
- Lakshmanan Sethu | 客戶技術顧問
其他貢獻者:Kaz Sato | 資深開發人員服務代表