Generar incrustaciones multimodales

Puedes generar incrustaciones multimodales en AlloyDB para PostgreSQL con el modelo multimodal de Vertex AI compatible, multimodalembedding@001.

Puedes usar los modelos de inserciones multimodales de Vertex AI que se mencionan en Modelos admitidos.

En esta página se presupone que conoces AlloyDB para PostgreSQL y los conceptos de IA generativa. Para obtener más información, consulta Qué son las inserciones.

Antes de empezar

Antes de usar las inserciones multimodales, haz lo siguiente:

Integrar con Vertex AI e instalar la extensión

  1. Configura el acceso de los usuarios a los modelos de Vertex AI.
  2. Comprueba que tienes instalada la versión más reciente de google_ml_integration.

    1. Para comprobar la versión instalada, ejecuta el siguiente comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion 
        ------------
        1.5.2
        (1 row)

    2. Si la extensión no está instalada o la versión instalada es anterior a la 1.5.2, actualízala.

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Si tienes problemas al ejecutar los comandos anteriores o si la extensión no se actualiza a la versión 1.5.2 después de ejecutar los comandos anteriores, ponte en contacto con el Google Cloud equipo de Asistencia.

  3. Para usar la función del motor de consultas de AlloyDB AI, define la marca google_ml_integration.enable_ai_query_engine en true.

    SQL

    1. Habilita el motor de consultas de IA para la sesión actual.
                    SET google_ml_integration.enable_ai_query_engine = true;
    2. Habilita funciones para una base de datos específica en todas las sesiones.
                    ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Habilita el motor de consultas de IA para un usuario específico en todas las sesiones y bases de datos.
                    ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Consola

    Para modificar el valor de la marca google_ml_integration.enable_ai_query_engine, sigue los pasos que se indican en Configurar las marcas de base de datos de una instancia.

    gcloud

    Para usar la CLI de gcloud, puedes instalar e inicializar Google Cloud CLI o usar Cloud Shell.

    Puedes modificar el valor de la marca google_ml_integration.enable_ai_query_engine. Para obtener más información, consulta Configurar las marcas de la base de datos de una instancia. 

                 gcloud alloydb instances update INSTANCE_ID \
               --database-flags google_ml_integration.enable_ai_query_engine=on \
               --region=REGION_ID \
               --cluster=CLUSTER_ID \
               --project=PROJECT_ID

Acceder a datos de Cloud Storage para generar inserciones multimodales

  • Para generar incrustaciones multimodales, haz referencia al contenido de Cloud Storage mediante un URI gs://.
  • Acceda al contenido de Cloud Storage a través del agente de servicio de Vertex AI de su proyecto actual. De forma predeterminada, el agente de servicio de Vertex AI ya tiene permiso para acceder al segmento del mismo proyecto. Para obtener más información, consulta el índice de roles y permisos de gestión de identidades y accesos.

  • Para acceder a los datos de un segmento de Cloud Storage de otro Google Cloud proyecto, ejecuta el siguiente comando de la CLI de gcloud para asignar el rol Lector de objetos de Storage (roles/storage.objectViewer) al agente de servicio de Vertex AI de tu proyecto de AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para obtener más información, consulta Definir y gestionar políticas de IAM en segmentos.

Para generar inserciones multimodales, selecciona uno de los siguientes esquemas.

Siguientes pasos