生成多模態嵌入

選取說明文件版本:

您可以使用支援的 Vertex AI 多模態模型 multimodalembedding@001,在 AlloyDB Omni 中生成多模態嵌入。

您可以使用「支援的模型」中提及的 Vertex AI 多模態嵌入模型。

本頁面假設您熟悉 AlloyDB Omni 和生成式 AI 概念。詳情請參閱「什麼是嵌入」一文。

事前準備

使用多模態嵌入前,請先完成下列步驟:

  1. 設定 Vertex AI 模型的使用者存取權。
  2. 確認已安裝最新版本的 google_ml_integration。
    1. 如要檢查已安裝的版本,請執行下列指令:

      SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
      extversion
      ------------
      1.5.2
      (1 row)
    2. 如果未安裝擴充功能,或安裝的版本低於 1.5.2,請更新擴充功能。

      CREATE EXTENSION IF NOT EXISTS google_ml_integration;
      ALTER EXTENSION google_ml_integration UPDATE;

      如果執行上述指令時發生問題,或執行上述指令後,擴充功能未更新至 1.5.2 版,請與 Google Cloud 支援團隊聯絡。

  3. 如要使用 AlloyDB AI 查詢引擎功能,請將 google_ml_integration.enable_ai_query_engine 旗標設為 on。

    1. 使用文字編輯器,在 AlloyDB Omni 安裝作業的 postgresql.conf 設定檔中設定下列旗標:
      google_ml_integration.enable_ai_query_engine = on
    2. 儲存 postgresql.conf 檔案後,請重新啟動 AlloyDB Omni 服務,讓變更生效。
      sudo systemctl restart alloydbomni18
  4. 存取 Cloud Storage 中的資料,生成多模態嵌入。

存取 Cloud Storage 中的資料,生成多模態嵌入

  • 如要生成多模態嵌入,請使用 gs:// URI 參照 Cloud Storage 中的內容。
  • 透過目前專案的 Vertex AI 服務代理存取 Cloud Storage 內容。根據預設,Vertex AI 服務代理已有權限存取同一專案中的 bucket。詳情請參閱「IAM 角色和權限索引」。
  • 如要存取其他 Google Cloud 專案中 Cloud Storage bucket 的資料,請執行下列 gcloud CLI 指令,將 Storage 物件檢視者角色 (roles/storage.objectViewer) 授予Google Cloud 專案的 Vertex AI 服務代理。

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
    --member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
    --role="roles/storage.objectViewer"

    詳情請參閱「設定及管理 bucket 的 IAM 政策」。

如要生成多模態嵌入,請選取下列其中一個結構定義。

生成多模態嵌入

如要為 multimodalembedding@001 模型端點生成文字嵌入,請執行下列陳述式:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

將 TEXT 替換為要生成嵌入的文字。

如要為已註冊的 multimodalembedding@001 模型端點生成圖片嵌入,且圖片 MIME 類型為預設的 image/jpeg,請執行下列陳述式:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => 'MIMETYPE');

更改下列內容:

  • IMAGE_PATH_OR_TEXT:圖片的 Cloud Storage URI (例如 gs://my-bucket/embeddings/flowers.jpeg) 或圖片的 Base64 字串。

  • MIMETYPE 替換為圖片的 MIME 類型,例如 image/jpeg。如需支援的 MIME 類型完整清單,請參閱 Multimodal Embeddings API。

如要為已註冊的 multimodalembedding@001 模型端點生成影片嵌入,請執行下列陳述式:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

將 VIDEO_URI 替換為目標影片的 Cloud Storage URI (例如 gs://my-bucket/embeddings/supermarket-video.mp4),或影片的 Base64 字串。這些是二維陣列,可透過類似 my_array[0][5] 的語法存取。詳情請參閱「陣列」。

後續步驟