叫用預測

本頁說明如何使用 public 和 google_ml 命名空間的函式叫用預測。google_ml_integration 擴充功能包含這些命名空間的預測函式。

您可以在 public 結構定義中使用 ml_predict_row() 函式，搭配 Vertex AI 中託管的任何通用模型，無須註冊端點。google_ml 架構中的 google_ml.predict_row() 函式可與已向模型端點管理服務註冊的任何模型搭配使用。

如要叫用預測功能，請選取下列其中一個結構定義。

事前準備

如要允許 AlloyDB 叫用預測，請按照下列步驟操作：

叫用線上預測

使用 ml_predict_row() SQL 函式，對資料叫用線上預測。

函式初始引數的格式取決於您要使用的 ML 模型是否位於 Vertex AI Model Garden，或是 Google Cloud 專案中執行的端點。

使用 Vertex AI Model Garden 中的模型

如要使用在 Vertex AI Model Garden 中執行的機器學習模型叫用線上預測，請使用 google_ml.predict_row() SQL 函式的下列語法：

SELECT ml_predict_row('projects/PROJECT_ID/locations/REGION_ID/publishers/google/models/MODEL_ID', '{ CONTENTS }');

更改下列內容：

  • PROJECT_ID：您的 Google Cloud 專案 ID

  • REGION_ID：模型所在的 Google Cloud 區域 ID，例如 gemini-pro 的 us-central1

  • MODEL_ID：要使用的 ML 模型 ID，例如 gemini-pro

  • CONTENTS：預測呼叫的輸入內容，採用 JSON 格式

如果 ML 模型與 AlloyDB 叢集儲存在同一個專案和區域，則可以縮寫這個函式的第一個引數：

SELECT ml_predict_row('publishers/google/models/MODEL_ID', '{ CONTENTS }');

如要瞭解模型的 JSON 回覆訊息，請參閱「生成式 AI 基礎模型參考資料」。

如需範例，請參閱「呼叫範例」。

使用 Vertex AI 模型端點

如要使用 Vertex AI 模型端點叫用線上預測，請使用 ml_predict_row() SQL 函式的下列語法：

SELECT ml_predict_row('projects/PROJECT_ID/locations/REGION_ID/endpoints/ENDPOINT_ID', '{ CONTENTS }');

更改下列內容：

  • PROJECT_ID：模型所在的 Google Cloud 專案 ID

  • REGION_ID：模型所在 Google Cloud 區域的 ID，例如 us-central1

  • ENDPOINT_ID：模型端點的 ID

  • CONTENTS：預測呼叫的輸入內容，採用 JSON 格式

如果端點與 AlloyDB 叢集位於相同專案和區域，則可以縮寫這個函式的第一個引數：

SELECT ml_predict_row('endpoints/ENDPOINT_ID', '{ CONTENTS }');

如要瞭解模型的 JSON 回應訊息，請參閱 PredictResponse。

叫用範例

下列範例使用 Model Garden 中提供的 gemini-pro，根據以字面引數形式提供給 ml_predict_row() 的簡短提示生成文字：

SELECT
  json_array_elements(ml_predict_row('publishers/google/models/gemini-1.5-pro:streamGenerateContent',
      '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
} ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

回覆為 JSON 物件。如要進一步瞭解物件格式，請參閱「回應本文」。

下一個範例會透過下列方式修改前一個範例：

  • 這個範例會使用目前資料庫 messages.message 資料欄的內容做為輸入內容。

  • 這個範例會示範如何使用json_build_object() 函式，協助格式化函式參數。


select ml_predict_row('projects/PROJECT_ID/locations/us-central1/publishers/google/models/gemini-1.5-pro:generateContent', json_build_object('contents', json_build_object('text', message))) from messages;

傳回的 JSON 物件現在的 predictions 陣列中，會為 messages 表格的每個資料列包含一個項目。

由於回應是 JSON 物件，您可以使用 PostgreSQL 箭頭運算子從中提取特定欄位：

select ml_predict_row('projects/PROJECT_ID/locations/us-central1/publishers/google/models/gemini-1.5-pro:generateContent', json_build_object('contents', json_build_object('text', message)))->'predictions'->0->'content' FROM messages;

如要查看 ml_predict_row() 的更多引數範例，請參閱「使用 Vertex AI API 快速入門」。

後續步驟