Gere incorporações multimodais

Pode gerar incorporações multimodais no AlloyDB para PostgreSQL através do modelo multimodal do Vertex AI suportado, multimodalembedding@001.

Pode usar os modelos de incorporação multimodal do Vertex AI referidos em Modelos suportados.

Esta página pressupõe que conhece o AlloyDB for PostgreSQL e os conceitos de IA generativa. Para mais informações, consulte o artigo O que são incorporações.

Antes de começar

Antes de usar as incorporações multimodais, faça o seguinte:

Faça a integração com o Vertex AI e instale a extensão

  1. Configure o acesso dos utilizadores aos modelos do Vertex AI.
  2. Verifique se tem a versão mais recente do google_ml_integration instalada.

    1. Para verificar a versão instalada, execute o seguinte comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion 
        ------------
        1.5.2
        (1 row)

    2. Se a extensão não estiver instalada ou se a versão instalada for anterior à 1.5.2, atualize a extensão.

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Se tiver problemas quando executar os comandos anteriores ou se a extensão não for atualizada para a versão 1.5.2 depois de executar os comandos anteriores, contacte o Google Cloud apoio técnico.

  3. Para usar a funcionalidade do motor de consultas de IA do AlloyDB, defina a flag google_ml_integration.enable_ai_query_engine como true.

    SQL

    1. Ative o motor de consultas de IA para a sessão atual.
                    SET google_ml_integration.enable_ai_query_engine = true;
    2. Ative funcionalidades para uma base de dados específica em várias sessões.
                    ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Ative o motor de consultas de IA para um utilizador específico em sessões e bases de dados.
                    ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Consola

    Para modificar o valor da flag google_ml_integration.enable_ai_query_engine, siga os passos descritos em Configure as flags da base de dados de uma instância.

    gcloud

    Para usar a CLI gcloud, pode instalar e inicializar a CLI Google Cloud ou usar a Cloud Shell.

    Pode modificar o valor da flag google_ml_integration.enable_ai_query_engine. Para mais informações, consulte o artigo Configure as flags da base de dados de uma instância. 

                 gcloud alloydb instances update INSTANCE_ID \
               --database-flags google_ml_integration.enable_ai_query_engine=on \
               --region=REGION_ID \
               --cluster=CLUSTER_ID \
               --project=PROJECT_ID

Aceda aos dados no Cloud Storage para gerar incorporações multimodais

  • Para gerar incorporações multimodais, consulte o conteúdo no Cloud Storage através de um URI gs://.
  • Aceder ao conteúdo do Cloud Storage através do agente do serviço Vertex AI do seu projeto atual. Por predefinição, o agente do serviço Vertex AI já tem autorização para aceder ao contentor no mesmo projeto. Para mais informações, consulte o índice de funções e autorizações de IAM.

  • Para aceder aos dados num contentor do Cloud Storage noutro Google Cloud projeto, execute o seguinte comando da CLI gcloud para conceder a função de visualizador de objetos de armazenamento (roles/storage.objectViewer) ao agente de serviço do Vertex AI do seu projeto do AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para mais informações, consulte o artigo Defina e faça a gestão de políticas de IAM em contentores.

Para gerar incorporações multimodais, selecione um dos seguintes esquemas.

O que se segue?