生成多模态嵌入

您可以使用支持的 Vertex AI 多模态模型 multimodalembedding@001 在 AlloyDB for PostgreSQL 中生成多模态嵌入。

您可以使用支持的模型中提及的 Vertex AI 多模态嵌入模型。

本页面假定您熟悉 AlloyDB for PostgreSQL 和生成式 AI 概念。如需了解详情，请参阅什么是嵌入。

准备工作

在使用多模态嵌入之前，请执行以下操作：

与 Vertex AI 集成并安装扩展程序

  1. 配置用户对 Vertex AI 模型的访问权限。
  2. 验证是否已安装最新版本的 google_ml_integration。

    1. 如需检查已安装的版本，请运行以下命令：

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion 
        ------------
        1.5.2
        (1 row)

    2. 如果未安装该扩展程序，或者安装的版本低于 1.5.2，请更新该扩展程序。

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      如果您在运行上述命令时遇到问题，或者在运行上述命令后扩展程序未更新到 1.5.2 版，请与Google Cloud 支持团队联系。

  3. 如需使用 AlloyDB AI 查询引擎功能，请将 google_ml_integration.enable_ai_query_engine 标志设置为 true。

    SQL

    1. 为当前会话启用 AI 查询引擎。
                    SET google_ml_integration.enable_ai_query_engine = true;
    2. 为特定数据库在不同会话中启用功能。
                    ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. 为特定用户在不同会话和数据库中启用 AI 查询引擎。
                    ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    控制台

    如需修改 google_ml_integration.enable_ai_query_engine 标志的值，请按照配置实例的数据库标志中的步骤操作。

    gcloud

    如需使用 gcloud CLI，您可以安装并初始化 Google Cloud CLI，也可以使用 Cloud Shell。

    您可以修改 google_ml_integration.enable_ai_query_engine 标志的值。如需了解详情，请参阅配置实例的数据库标志。

                 gcloud alloydb instances update INSTANCE_ID \
               --database-flags google_ml_integration.enable_ai_query_engine=on \
               --region=REGION_ID \
               --cluster=CLUSTER_ID \
               --project=PROJECT_ID

访问 Cloud Storage 中的数据以生成多模态嵌入

  • 如需生成多模态嵌入，请使用 gs:// URI 引用 Cloud Storage 中的内容。
  • 通过当前项目的 Vertex AI 服务代理访问 Cloud Storage 内容。默认情况下，Vertex AI 服务代理已获得访问同一项目中的存储桶的权限。如需了解详情，请参阅 IAM 角色和权限索引。

  • 如需访问其他 Google Cloud 项目的 Cloud Storage 存储桶中的数据，请运行以下 gcloud CLI 命令，以向 AlloyDB 项目的 Vertex AI 服务代理授予 Storage Object Viewer 角色 (roles/storage.objectViewer)。

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    如需了解详情，请参阅为存储桶设置和管理 IAM 政策。

如需生成多模态嵌入，请选择以下架构之一。

后续步骤