Vertex AI 提供一系列 API,協助您建構檢索增強生成 (RAG) 應用程式或搜尋引擎。本頁面將介紹這些 API。
擷取和生成
檢索增強生成 (RAG) 是一種方法,可讓大型語言模型 (LLM) 根據您選擇的資料來源生成回覆。RAG 分為兩個階段:
- 擷取:快速取得最相關的事實可能是常見的搜尋問題。有了 RAG,您就能快速擷取重要事實,生成回覆。
- 生成:LLM 會根據檢索到的事實,生成有依據的回覆。
Vertex AI 提供這兩個階段的選項,可滿足各種開發人員需求。
擷取
請選擇最符合需求的擷取方式:
Agent Search:Agent Search 是符合 Google 搜尋品質的資訊檢索引擎,可做為元件,並搭配企業資料建構出任何生成式 AI 應用程式。Agent Search 是可立即用於 RAG 的語意和關鍵字搜尋引擎,能夠處理各種文件類型,並透過連接器連結各種來源系統,包括 BigQuery 和許多第三方系統。
詳情請參閱「代理程式搜尋」。
建構自己的檢索功能:如要建構語意搜尋功能,可以運用 Vertex AI API,為自訂 RAG 系統的元件提供支援。這套 API 可高效剖析文件、嵌入生成內容、進行向量搜尋,並按語意排名。使用這些低階 API,您就能充分彈性地設計檢索器,同時運用低階 Vertex AI API,加快上市時間並確保高品質。
詳情請參閱「建構自己的檢索擴增生成模型」。
使用現有的檢索器:您可以將現有的搜尋功能做為基礎生成的檢索器。您也可以使用 RAG 做為回覆內容的依據,將現有搜尋升級為更高品質的搜尋。詳情請參閱基礎總覽。
Vertex AI RAG 引擎:Vertex AI RAG 引擎提供全代管的 RAG 協調執行階段,可讓開發人員建構 RAG,用於正式環境和企業級情境。
詳情請參閱 Vertex AI 的生成式 AI 說明文件中的 Vertex AI RAG 引擎總覽。
Google 搜尋:為 Gemini 模型啟用「以 Google 搜尋建立基準」後,Gemini 會使用 Google 搜尋,並根據相關搜尋結果輸出內容。這個擷取方法不需要管理,且可提供全球各地的知識給 Gemini。
詳情請參閱 Vertex AI 生成式 AI 說明文件中的「使用 Google 搜尋建立基準」。
生成
選擇最符合需求的產生方式:
根據您的資料建立基準: 針對使用者查詢生成有憑有據的答案。有依據的生成 API 使用經過微調的專用 Gemini 模型,可有效減少幻覺,並根據您的來源或第三方來源提供回覆,包括參考有依據的支援內容。
詳情請參閱「使用 RAG 生成有憑有據的答案」。
您也可以使用 Vertex AI 上的生成式 AI,以 Agent Search 資料為回覆內容建立基準。詳情請參閱「以資料為依據」一文。
以 Google 搜尋強化事實基礎:Gemini 是 Google 最強大的模型,可直接以 Google 搜尋強化事實基礎。您可以使用這項功能,建構完全自訂的基礎生成解決方案。
詳情請參閱 Vertex AI 的生成式 AI 說明文件中的「以 Google 搜尋強化事實基礎」。
Model Garden:如要完全掌控並選擇模型,可以使用 Vertex AI Model Garden 中的任何模型生成內容。
建構自己的檢索增強生成功能
開發自訂 RAG 系統以建立基準,可讓您在流程的每個步驟中享有彈性和控制權。Vertex AI 提供一系列 API,協助您建立專屬的搜尋解決方案。使用這些 API 可充分彈性地設計 RAG 應用程式,同時運用這些低階 Vertex AI API,加快上市時間並確保高品質。
Document AI 版面配置剖析器。 Document AI 版面配置剖析器可將各種格式的文件轉換為結構化表示法,方便存取段落、表格、清單等內容,以及標題、頁首和頁尾等結構化元素,並建立情境感知分塊,以便在各種生成式 AI 和探索應用程式中檢索資訊。
詳情請參閱 Document AI 說明文件中的「Document AI 版面配置剖析器」。
Embeddings API:Vertex AI Embeddings API 可讓您為文字或多模態輸入內容建立嵌入項目。嵌入項目是浮點數向量,可擷取輸入內容的意義。您可以使用嵌入項目,透過向量搜尋功能執行語意搜尋。
Vector Search。檢索引擎是 RAG 或搜尋應用程式的重要部分。Vertex AI Vector Search 是一種檢索引擎,可從數十億個語意相似或語意相關的項目中進行大規模搜尋,不僅每秒查詢次數 (QPS) 高、召回率高、延遲時間短,而且經濟實惠。這項服務可搜尋稠密嵌入,並在公開搶先版中支援稀疏嵌入關鍵字搜尋和混合型搜尋。
詳情請參閱 Vertex AI 說明文件中的「Vertex AI Vector Search 總覽」。
排名 API。 排序 API 會接收文件清單,並根據文件與特定查詢的相關程度重新排序。相較於單純根據文件和查詢的語意相似度計算的嵌入,Ranking API 可更精確地評估文件回答特定查詢的程度。
詳情請參閱「使用排序 API 提升搜尋和 RAG 品質」。
Grounded Generation API。使用有憑有據的生成 API,根據使用者提示生成有憑有據的答案。基準來源可以是 Agent Search 資料存放區、您提供的自訂資料,或是 Google 搜尋。
詳情請參閱「生成有根據的答案」。
生成內容 API。使用生成內容 API,針對使用者的提示生成有根據的回覆。基準來源可以是 Agent Search 資料存放區或 Google 搜尋。
詳情請參閱「以 Google 搜尋建立基準」或「以自有資料建立基準」。
Check Grounding API。 檢查內容是否有所依據的 API 會以一組指定的參考文字為基準,判斷某段文字有多少內容是根據該事實生成。這項 API 可從參考文字生成佐證引文,指出參考文字支援指定文字的內容。舉例來說,您可以使用這項 API 評估 RAG 系統回覆的根據。此外,這項 API 也會生成矛盾的引文,指出指定文字和參考文字不一致的地方,這項功能目前為實驗性功能。
詳情請參閱「檢查接地」。
工作流程:從非結構化資料生成有憑有據的回覆
以下工作流程說明如何整合 Vertex AI RAG API,從非結構化資料生成有根據的回覆。
- 將非結構化文件 (例如 PDF 檔案、HTML 檔案或含有文字的圖片) 匯入 Cloud Storage 位置。
- 使用版面配置剖析器處理匯入的文件。 版面配置剖析器會將非結構化文件分解為多個區塊,並將非結構化內容轉換為結構化表示法。版面配置剖析器也會從區塊中擷取註解。
- 使用 Vertex AI 文字嵌入 API,為區塊建立文字嵌入。
- 使用 Vector Search 建立索引並擷取區塊嵌入。
- 使用排序 API 排序區塊,並找出排序最高的區塊。
- 使用 Grounded Generation API 或 Generate Content API,根據排名最高的區塊生成有根據的答案。
如果您使用 Google 模型以外的答案生成模型生成答案,可以透過檢查基準方法檢查這些答案的基準。