Genera incorporaciones multimodales

En esta página, se describe cómo generar incorporaciones multimodales con el modelo multimodal de Vertex AI compatible, multimodalembedding@001.

Puedes usar los modelos de incorporación multimodales de Vertex AI a los que se hace referencia en Modelos compatibles.

En esta página, se supone que conoces AlloyDB para PostgreSQL y los conceptos de IA generativa. Para obtener más información sobre los embeddings, consulta ¿Qué son los embeddings?

Antes de comenzar

Antes de usar embeddings multimodales, haz lo siguiente:

Integra la extensión en Vertex AI y, luego, instálala

  1. Integración en Vertex AI
  2. Asegúrate de que esté instalada la versión más reciente de google_ml_integration.

    1. Para verificar la versión instalada, ejecuta el siguiente comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.3
        (1 row)

    2. Si la extensión no está instalada o si la versión instalada es anterior a la 1.4.3, ejecuta los siguientes comandos para actualizarla:

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Si tienes problemas cuando ejecutas los comandos anteriores o si la extensión no se actualiza a la versión 1.4.3 después de ejecutar los comandos anteriores, comunícate con el equipo de asistencia de AlloyDB.

    3. Después de asegurarte de que la versión esté actualizada, instala la funcionalidad de vista previa ejecutando el procedimiento upgrade_to_preview_version:

              CALL google_ml.upgrade_to_preview_version();
        SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.4
        (1 row)

Accede a los datos en Cloud Storage para generar incorporaciones multimodales

  • Para generar incorporaciones multimodales, haz referencia al contenido de Cloud Storage con un URI gs://.
  • Accede al contenido de Cloud Storage a través del agente de servicio de Vertex AI de tu proyecto actual. De forma predeterminada, el agente de servicio de Vertex AI ya tiene permiso para acceder al bucket en el mismo proyecto. Para obtener más información, consulta el índice de roles y permisos de IAM.

  • Para acceder a los datos de un bucket de Cloud Storage en otro proyecto de Google Cloud , ejecuta el siguiente comando de gcloud CLI para otorgar el rol de visualizador de objetos de Storage (roles/storage.objectViewer) al agente de servicio de Vertex AI de tu proyecto de AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para obtener más información, consulta Configura y administra políticas de IAM en buckets.

Para generar embeddings multimodales, selecciona uno de los siguientes esquemas.

Genera incorporaciones multimodales

Para generar embeddings de texto para un extremo del modelo multimodalembedding@001, ejecuta la siguiente instrucción:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Reemplaza TEXT por el texto para el que deseas generar la incorporación.

Para generar incorporaciones de imágenes para un extremo del modelo multimodalembedding@001 registrado en el que el tipo de MIME de la imagen es el valor predeterminado image/jpeg, ejecuta la siguiente instrucción:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Reemplaza lo siguiente:

  • IMAGE_PATH_OR_TEXT con el URI de Cloud Storage de la imagen, por ejemplo, gs://my-bucket/embeddings/flowers.jpeg, o la cadena base64 de la imagen
  • MIMETYPE con el tipo MIME de la imagen, por ejemplo, image/jpeg. Para obtener la lista completa de tipos de MIME compatibles, consulta la API de Multimodal embeddings.

Para generar embeddings de video para un extremo del modelo multimodalembedding@001 registrado, ejecuta la siguiente instrucción:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Reemplaza VIDEO_URI por el URI de Cloud Storage del video objetivo, por ejemplo, gs://my-bucket/embeddings/supermarket-video.mp4, o la cadena en base64 del video.

¿Qué sigue?