Gerar embeddings multimodais

Selecione uma versão da documentação:

É possível gerar embeddings multimodais no AlloyDB Omni usando o modelo multimodal da Vertex AI, multimodalembedding@001.

É possível usar os modelos de embedding multimodal da Vertex AI mencionados em Modelos compatíveis.

Nesta página, consideramos que você já conhece o AlloyDB Omni e os conceitos de IA generativa. Para mais informações, consulte O que são embeddings.

Antes de começar

Antes de usar embeddings multimodais, faça o seguinte:

  1. Configurar o acesso do usuário aos modelos de IA da Vertex AI.
  2. Verifique se a versão mais recente do google_ml_integration está instalada.
    1. Para verificar a versão instalada, execute o seguinte comando:

      SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
      extversion
      ------------
      1.5.2
      (1 row)
    2. Se a extensão não estiver instalada ou se a versão instalada for anterior à 1.5.2, atualize a extensão.

      CREATE EXTENSION IF NOT EXISTS google_ml_integration;
      ALTER EXTENSION google_ml_integration UPDATE;

      Se você tiver problemas ao executar os comandos anteriores ou se a extensão não for atualizada para a versão 1.5.2 depois de executar os comandos anteriores, entre em contato com o suporte do Google Cloud.

  3. Para usar a funcionalidade do mecanismo de consulta da IA do AlloyDB, defina a flag google_ml_integration.enable_ai_query_engine como on.

    1. Use um editor de texto para definir a seguinte flag no arquivo de configuração postgresql.conf da instalação do AlloyDB Omni:
      google_ml_integration.enable_ai_query_engine = on
    2. Depois de salvar o arquivo postgresql.conf, reinicie o serviço do AlloyDB Omni para que as mudanças entrem em vigor.
      docker restart CONTAINER_NAME
  4. Acessar dados no Cloud Storage para gerar embeddings multimodais.

Acessar dados no Cloud Storage para gerar embeddings multimodais

  • Para gerar embeddings multimodais, consulte o conteúdo no Cloud Storage usando um URI gs://.
  • Acesse o conteúdo do Cloud Storage pelo agente de serviço da Vertex AI do projeto atual. Por padrão, o agente de serviço da Vertex AI já tem permissão para acessar o bucket no mesmo projeto. Para mais informações, consulte o índice de papéis e permissões do IAM.
  • Para acessar dados em um bucket do Cloud Storage em outro projeto do Google Cloud , execute o seguinte comando da CLI gcloud para conceder o papel de Leitor de objetos do Storage (roles/storage.objectViewer) ao agente de serviço da Vertex AI do seu projeto doGoogle Cloud .

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
    --member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
    --role="roles/storage.objectViewer"

    Para mais informações, consulte Definir e gerenciar políticas do IAM em buckets.

Para gerar embeddings multimodais, selecione um dos esquemas a seguir.

Gerar embeddings multimodais

Para gerar embeddings de texto para um endpoint de modelo multimodalembedding@001, execute a seguinte instrução:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Substitua TEXT pelo texto para o qual você quer gerar o embedding.

Para gerar embeddings de imagem para um endpoint de modelo multimodalembedding@001 registrado em que o tipo MIME da imagem é o padrão image/jpeg, execute a seguinte instrução:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => 'MIMETYPE');

Substitua:

  • IMAGE_PATH_OR_TEXT pelo URI do Cloud Storage da imagem, por exemplo, gs://my-bucket/embeddings/flowers.jpeg, ou pela string base64 da imagem.

  • MIMETYPE pelo tipo MIME da imagem, por exemplo, image/jpeg. Para ver a lista completa de tipos MIME compatíveis, consulte a API Multimodal Embeddings.

Para gerar embeddings de vídeo para um endpoint de modelo multimodalembedding@001 registrado, execute a seguinte instrução:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Substitua VIDEO_URI pelo URI do Cloud Storage do vídeo de destino, por exemplo, gs://my-bucket/embeddings/supermarket-video.mp4, ou pela string em base64 do vídeo. São matrizes bidimensionais que podem ser acessadas como sintaxe do tipo my_array[0][5]. Para mais informações, consulte Matrizes.

A seguir