AlloyDB 總覽：註冊及呼叫遠端 AI 模型

在 AlloyDB for PostgreSQL 中，您可以使用模型端點管理功能註冊遠端 AI 模型、管理資料庫叢集中的模型中繼資料，以及使用 SQL 查詢叫用預測或生成嵌入。瞭解模型端點管理結構定義、支援的模型供應商、驗證方式和 SQL 函式類型，有助於將基礎模型和自訂端點與資料庫工作負載整合。

如要向 AlloyDB Omni 註冊遠端模型端點，請參閱「在 AlloyDB Omni 註冊及呼叫遠端 AI 模型」。

總覽

模型端點管理是 AlloyDB AI 的 AI 功能，包含可協助您註冊及管理 AI 模型中繼資料的函式和運算子。您可以註冊模型端點、管理資料庫叢集中的模型端點中繼資料，以及使用 SQL 查詢呼叫遠端模型端點。

模型端點管理提供 google_ml_integration 擴充功能，其中包含可讓您向 AlloyDB 註冊 AI 模型相關中繼資料的函式。這項已註冊的中繼資料會用於生成向量嵌入或叫用預測。

AI 函式包含一系列以模型端點管理 (預先發布版) 為基礎的函式，並新增 AI 運算子支援，可讓您將自然語言詞組與 SQL 查詢結合，例如 ai.if() 用於篩選和彙整、ai.rank() 用於排序，以及 ai.generate() 用於生成資料摘要。此外，這項功能也支援 Gemini Enterprise Agent Platform 多模態和排名模型。

以下列舉一些可透過模型端點管理功能註冊的模型類型：

  • Agent Platform 文字嵌入和一般模型
  • Agent Platform 多模態模型
  • Agent Platform 排名模型
  • 第三方供應商 (例如 Hugging Face 或 OpenAI) 提供的嵌入模型
  • 客戶託管的文字嵌入模型，包括自行託管的模型，或可透過私人端點存取的模型
  • 採用 JSON API 的一般模型，例如託管於 Hugging Face 的 facebook/bart-large-mnli 模型、Model Garden 的 gemini-3.5-flash-lite 模型，或 Anthropic 的 claude 模型

用途

您可以呼叫已註冊的模型端點，與資料庫中的現有資料互動，生成嵌入或預測結果。以下是部分應用實例：

  • 使用交易應用程式進行即時推論：根據使用者目前的瀏覽記錄和購物車內容，提供即時推薦。
  • 辨識情緒並生成摘要：針對顧客評論資料庫，生成摘要或辨識每則評論的主要情緒。
  • 智慧型搜尋和檢索系統：為內部知識庫的資料庫建構搜尋系統，並使用 AI 輔助的 SQL 運算子 (而非關鍵字) 進行查詢。
  • 個人化使用者體驗：最佳化內容平台，根據每位使用者過去的互動，動態顯示個人化內容。

如要進一步瞭解 AlloyDB AI 的用途，請參閱「AlloyDB AI 用途」。

運作方式

您可以使用模型端點管理功能，註冊符合下列條件的模型端點：

  • 模型輸入和輸出內容支援 JSON 格式。
  • 可以使用 REST 通訊協定呼叫模型。

使用模型端點管理功能註冊模型端點時，系統會為每個端點註冊您提供的專屬模型 ID，做為模型的參照。

您可以使用模型端點 ID 查詢模型，執行下列操作：

  • 生成嵌入項目，將文字提示詞轉譯為數值向量。在資料庫啟用 vector 擴充功能後，即可將生成的嵌入儲存為向量資料。詳情請參閱「使用 pgvector 查詢及建立嵌入索引」。

  • 生成多模態嵌入，將文字、圖片和影片等資料轉換為嵌入。(預先發布版)

  • 根據以自然語言陳述的條件，為查詢中的項目清單排名或評分。

  • 使用 SQL 叫用預測。

基本概念

開始使用模型端點管理功能之前，請先瞭解連線及使用模型所需的概念。

結構定義

應用程式可以使用 google_ml_integration 擴充功能存取模型端點管理。google_ml_integration 擴充功能包含 public、google_ml 和 ai 結構定義中的函式。google_ml 結構定義包含所有函式，public 和 ai 結構定義則提供特定函式。

如要進一步瞭解結構定義，請參閱「結構定義」。

模型供應商

模型供應商：支援的模型代管服務供應商。設定模型供應商為選用步驟，但有助於管理模型端點，因為系統會識別供應商，並自動為支援的模型設定標頭格式。

如要進一步瞭解模型供應商，請參閱「模型供應商」。

模型類型

Model type：AI 模型的類型。這項擴充功能支援文字嵌入、多模態嵌入、大型語言模型 (LLM)、重新排名、時間序列預測和一般模型類型。註冊模型端點時，可設定的支援模型類型為 text_embedding、generic、llm、reranking、multimodal_embedding 和 ts_forecasting。

註冊一般模型端點時，不一定要設定模型類型，因為 generic 是預設模型類型。

如要進一步瞭解模型類型，請參閱「模型類型」。

驗證

驗證類型：指出您可以使用哪種驗證類型，透過 google_ml_integration 擴充功能連線至模型端點管理。設定驗證為選用步驟，只有在需要驗證才能存取模型時才須執行。

如要進一步瞭解驗證，請參閱「驗證」。

預測函式

預測函式是 SQL 函式，可讓您在 AlloyDB 資料庫中與 AI 模型互動。這些函式可讓您使用標準 SQL 查詢，將資料傳送至模型端點，並生成嵌入或預測結果。

如要進一步瞭解預測函式，請參閱「預測函式」。

運算子函式

google_ml_integration 擴充功能包含下列運算子函式，會使用預設 Gemini 透過 AI 輔助 SQL 運算子執行查詢。

如要進一步瞭解運算子函式，請參閱「運算子函式」。

轉換函式

轉換函式會將輸入內容修改為模型可理解的格式，並將模型回應轉換為預測函式預期的格式。註冊沒有內建支援的 text_embedding 模型端點時，會使用轉換函式。轉換函式的簽章取決於模型預期的輸入內容。

如要進一步瞭解轉換函式，請參閱「轉換函式」。

HTTP 標頭產生函式

HTTP 標頭產生函式會以 JSON 鍵/值組合的形式產生輸出內容，並做為 HTTP 標頭使用。預測函式的簽章會定義標頭產生函式的簽章。

如要進一步瞭解 HTTP 標頭產生函式，請參閱「HTTP 標頭產生函式」。

後續步驟