Gerar embeddings multimodais

É possível gerar incorporações multimodais no AlloyDB para PostgreSQL usando o modelo multimodal da Vertex AI compatível, multimodalembedding@001.

É possível usar os modelos de embedding multimodal da Vertex AI mencionados em Modelos compatíveis.

Nesta página, consideramos que você esteja familiarizado com o AlloyDB para PostgreSQL e os conceitos de IA generativa. Para mais informações, consulte O que são embeddings.

Antes de começar

Antes de usar embeddings multimodais, faça o seguinte:

Integrar com a Vertex AI e instalar a extensão

  1. Configure o acesso do usuário aos modelos da Vertex AI.
  2. Verifique se a versão mais recente do google_ml_integration está instalada.

    1. Para verificar a versão instalada, execute o seguinte comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion 
        ------------
        1.5.2
        (1 row)

    2. Se a extensão não estiver instalada ou se a versão instalada for anterior à 1.5.2, atualize a extensão.

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Se você tiver problemas ao executar os comandos anteriores ou se a extensão não for atualizada para a versão 1.5.2 depois de executar os comandos anteriores, entre em contato com o suporte doGoogle Cloud .

  3. Para usar a funcionalidade do mecanismo de consulta da IA do AlloyDB, defina a flag google_ml_integration.enable_ai_query_engine como true.

    SQL

    1. Ative o mecanismo de consulta de IA para a sessão atual.
                    SET google_ml_integration.enable_ai_query_engine = true;
    2. Ativar recursos para um banco de dados específico em várias sessões.
                    ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Ative o mecanismo de consulta de IA para um usuário específico em sessões e bancos de dados.
                    ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Console

    Para modificar o valor da flag google_ml_integration.enable_ai_query_engine, siga as etapas em Configurar flags de bancos de dados de uma instância.

    gcloud

    Para usar a gcloud CLI, você pode instalar e inicializar a CLI do Google Cloud ou usar o Cloud Shell.

    É possível modificar o valor da flag google_ml_integration.enable_ai_query_engine. Para mais informações, consulte Configurar flags de banco de dados de uma instância. 

                 gcloud alloydb instances update INSTANCE_ID \
               --database-flags google_ml_integration.enable_ai_query_engine=on \
               --region=REGION_ID \
               --cluster=CLUSTER_ID \
               --project=PROJECT_ID

Acessar dados no Cloud Storage para gerar incorporações multimodais

  • Para gerar incorporações multimodais, consulte o conteúdo no Cloud Storage usando um URI gs://.
  • Acesse o conteúdo do Cloud Storage usando o agente de serviço da Vertex AI do projeto atual. Por padrão, o agente de serviço da Vertex AI já tem permissão para acessar o bucket no mesmo projeto. Para mais informações, consulte o índice de papéis e permissões do IAM.

  • Para acessar dados em um bucket do Cloud Storage em outro projeto do Google Cloud , execute o seguinte comando da CLI gcloud para conceder o papel Leitor de objetos do Storage (roles/storage.objectViewer) ao agente de serviço da Vertex AI do seu projeto do AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para mais informações, consulte Definir e gerenciar políticas do IAM em buckets.

Para gerar embeddings multimodais, selecione um dos seguintes esquemas.

A seguir