Genera incorporaciones multimodales

Puedes generar incorporaciones multimodales en AlloyDB para PostgreSQL con el modelo multimodal de Vertex AI compatible, multimodalembedding@001.

Puedes usar los modelos de incorporación multimodales de Vertex AI a los que se hace referencia en Modelos compatibles.

En esta página, se supone que conoces AlloyDB para PostgreSQL y los conceptos de IA generativa. Para obtener más información, consulta ¿Qué son los embeddings?

Antes de comenzar

Antes de usar embeddings multimodales, haz lo siguiente:

Integra la extensión en Vertex AI y, luego, instálala

  1. Configura el acceso de los usuarios a los modelos de Vertex AI.
  2. Verifica que esté instalada la versión más reciente de google_ml_integration.

    1. Para verificar la versión instalada, ejecuta el siguiente comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion 
        ------------
        1.5.2
        (1 row)

    2. Si la extensión no está instalada o si la versión instalada es anterior a la 1.5.2, actualízala.

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Si tienes problemas cuando ejecutas los comandos anteriores o si la extensión no se actualiza a la versión 1.5.2 después de ejecutar los comandos anteriores, comunícate con el Google Cloud equipo de asistencia.

  3. Para usar la funcionalidad del motor de consultas de AlloyDB AI, establece la marca google_ml_integration.enable_ai_query_engine en true.

    SQL

    1. Habilita el motor de consultas de IA para la sesión actual.
                    SET google_ml_integration.enable_ai_query_engine = true;
    2. Habilita funciones para una base de datos específica en todas las sesiones.
                    ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Habilita el motor de consultas de IA para un usuario específico en todas las sesiones y bases de datos.
                    ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Console

    Para modificar el valor de la marca google_ml_integration.enable_ai_query_engine, sigue los pasos que se indican en Configura las marcas de base de datos de una instancia.

    gcloud

    Para usar gcloud CLI, puedes instalar y, luego, inicializar Google Cloud CLI, o bien usar Cloud Shell.

    Puedes modificar el valor de la marca google_ml_integration.enable_ai_query_engine. Para obtener más información, consulta Configura las marcas de base de datos de una instancia. 

                 gcloud alloydb instances update INSTANCE_ID \
               --database-flags google_ml_integration.enable_ai_query_engine=on \
               --region=REGION_ID \
               --cluster=CLUSTER_ID \
               --project=PROJECT_ID

Accede a los datos en Cloud Storage para generar incorporaciones multimodales

  • Para generar incorporaciones multimodales, haz referencia al contenido de Cloud Storage con un URI gs://.
  • Accede al contenido de Cloud Storage a través del agente de servicio de Vertex AI de tu proyecto actual. De forma predeterminada, el agente de servicio de Vertex AI ya tiene permiso para acceder al bucket en el mismo proyecto. Para obtener más información, consulta el índice de roles y permisos de IAM.

  • Para acceder a los datos de un bucket de Cloud Storage en otro proyecto de Google Cloud , ejecuta el siguiente comando de gcloud CLI para otorgar el rol de visualizador de objetos de Storage (roles/storage.objectViewer) al agente de servicio de Vertex AI de tu proyecto de AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para obtener más información, consulta Configura y administra políticas de IAM en buckets.

Para generar embeddings multimodales, selecciona uno de los siguientes esquemas.

¿Qué sigue?