Utilizzare i modelli di embedding con il motore RAG di Vertex AI

Questa pagina descrive le scelte dei modelli di embedding e mostra come utilizzare il modello di embedding per creare un corpus RAG. L'associazione tra il modello di embedding e il corpus RAG rimane fissa per la durata del corpus RAG.

Introduzione agli embedding

Gli embedding sono rappresentazioni numeriche degli input. Puoi utilizzare gli embedding nelle tue applicazioni per riconoscere significati complessi e relazioni semantiche, nonché per elaborare e produrre linguaggio.

Gli embedding funzionano convertendo testo, immagini e video in array di numeri con rappresentazione in virgola mobile chiamati vettori. Più due vettori sono vicini nel loro spazio di embedding, maggiore è la somiglianza dei loro input.

I modelli di embedding sono una componente importante dei sistemi di recupero semantico. Il rendimento di un sistema di recupero dipende dalla qualità della mappatura delle relazioni nei dati da parte del modello di embedding.

Scelte del modello di embedding

Vertex AI RAG Engine implementa la generazione Retrieval-Augmented Generation (RAG) e ti offre la possibilità di scegliere i seguenti modelli di embedding da utilizzare in un corpus RAG:

Tipo di modello di embedding Descrizione
Modelli di text embedding Vertex AI Modelli addestrati dall'editore, ad esempio Google. I modelli vengono addestrati su un set di dati di testo di grandi dimensioni e forniscono una base solida per molte attività.
Modelli di text embedding Vertex AI ottimizzati I modelli di text embedding Vertex AI vengono ottimizzati per avere conoscenze specializzate o prestazioni altamente personalizzate.
Modelli di embedding OSS Modelli di embedding open source di terze parti nelle varianti solo in inglese e multilingue.

Modelli di embedding supportati

I modelli di embedding vengono utilizzati per creare un corpus e per la ricerca e il recupero durante la generazione di risposte. In questa sezione sono elencati i modelli di embedding supportati.

Versione del modello Descrizione
text-embedding-005 Modello di embedding predefinito.

Consigliato per l'uso con un corpus RAG.
text-embedding-004
text-multilingual-embedding-002 Consigliato per l'uso con un corpus RAG.

Modelli di embedding open source

Sono supportati anche i seguenti modelli di embedding open source. Puoi trovarli in Model Garden.

  • e5-base-v2
  • e5-large-v2
  • e5-small-v2
  • multilingual-e5-large
  • multilingual-e5-small

Utilizzare i modelli di text embedding Vertex AI

L'API Vertex AI di text embedding utilizza i modelli di embedding Gecko, che producono un vettore di embedding denso con 768 dimensioni. Gli embedding densi memorizzano il significato del testo a differenza dei vettori sparsi, che tendono a mappare direttamente le parole ai numeri. Il vantaggio dell'utilizzo di embedding di vettori densi nell'AI generativa è che, anziché cercare una corrispondenza diretta di parole o sintassi, puoi cercare meglio i passaggi che si allineano al significato della query, anche se i passaggi non utilizzano la stessa lingua.

Modelli Gecko

I modelli Gecko sono disponibili nelle versioni solo in inglese e multilingue. A differenza dei modelli Gecko ottimizzati, i modelli Gecko publisher non devono essere sottoposti a deployment, il che li rende il set di modelli preferito da utilizzare con Vertex AI RAG Engine.

Per identificare il modello di embedding predefinito utilizzato o se hai bisogno di un elenco di modelli Gecko consigliati per l'uso con un corpus RAG, consulta Modelli di embedding supportati.

Quando i modelli Gecko vengono ritirati

I modelli Gecko dell'editore potrebbero essere ritirati. In questo caso, i modelli Gecko non possono essere utilizzati con Vertex AI RAG Engine, nemmeno per un corpus RAG creato prima del ritiro. Quando il modello Gecko viene ritirato, devi eseguire la migrazione del corpus RAG, il che significa che devi creare un nuovo corpus RAG e reimportare i dati. In alternativa, puoi utilizzare un modello Gecko ottimizzato o un modello di embedding OSS con deployment autonomo, che è supportato dopo il ritiro del modello.

Creare un corpus RAG con un modello Gecko dell'editore

Questi esempi di codice mostrano come creare un corpus RAG con un modello Gecko dell'editore.

curl

  ENDPOINT=us-central1-aiplatform.googleapis.com
  PROJECT_ID=YOUR_PROJECT_ID

  // Set this to your choice of publisher Gecko model. Note that the full resource name of the publisher model is required.
  // Example: projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/text-embedding-004
  ENDPOINT_NAME=YOUR_ENDPOINT_NAME

  // Set a display name for your corpus.
  // For example, "my test corpus"
  CORPUS_DISPLAY_NAME=YOUR_CORPUS_DISPLAY_NAME

  // CreateRagCorpus
  // Input: ENDPOINT, PROJECT_ID, ENDPOINT_NAME, CORPUS_DISPLAY_NAME
  curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/us-central1/ragCorpora \
  -d '{
        "display_name" : '\""${CORPUS_DISPLAY_NAME}"\"',
        "rag_embedding_model_config" : {
              "vertex_prediction_endpoint": {
                    "endpoint": '\""${ENDPOINT_NAME}"\"'
              }
        }
  }'

SDK Vertex AI Python 

  import vertexai
  from vertexai import rag

  # Set Project
  PROJECT_ID = "YOUR_PROJECT_ID"
  vertexai.init(project=${PROJECT_ID}, location="us-central1")

  # Configure a Google first-party embedding model
  embedding_model_config = rag.RagEmbeddingModelConfig(
        publisher_model="publishers/google/models/text-embedding-004"
  )

  # Name your corpus
  DISPLAY_NAME = "YOUR_CORPUS_DISPLAY_NAME"

  rag_corpus = rag.create_corpus(
        display_name=DISPLAY_NAME, rag_embedding_model_config=embedding_model_config
  )

Utilizzare i modelli di text embedding Vertex AI ottimizzati

Sebbene i modelli di base dell'editore vengano addestrati su un set di dati di testo di grandi dimensioni e forniscano una base solida per molte attività, potrebbero esistere scenari in cui i modelli potrebbero richiedere conoscenze specializzate o prestazioni altamente personalizzate. In questi casi, l'ottimizzazione del modello consente di ottimizzare le rappresentazioni del modello utilizzando i dati pertinenti. Un ulteriore vantaggio di questo approccio è che, quando il modello viene ottimizzato, l'immagine risultante è di tua proprietà e non è interessata dal ritiro del modello Gecko. Tutti i modelli di embedding Gecko ottimizzati producono embedding con vettori a 768 dimensioni. Per saperne di più su questi modelli, consulta Ottenere embedding di testo.

Per saperne di più sull'ottimizzazione dei modelli di embedding, consulta Ottimizzare gli embedding di testo.

Questi esempi di codice mostrano come creare un corpus RAG con il modello Gecko ottimizzato e sottoposto a deployment.

curl

  ENDPOINT=us-central1-aiplatform.googleapis.com
  PROJECT_ID=YOUR_PROJECT_ID

  // Your Vertex AI endpoint resource with the deployed fine-tuned Gecko model
  // Example: projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}
  ENDPOINT_NAME=YOUR_ENDPOINT_NAME

  // Set a display name for your corpus.
  // For example, "my test corpus"
  CORPUS_DISPLAY_NAME=YOUR_CORPUS_DISPLAY_NAME

  // CreateRagCorpus
  // Input: ENDPOINT, PROJECT_ID, ENDPOINT_NAME, CORPUS_DISPLAY_NAME
  curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/us-central1/ragCorpora \
  -d '{
        "display_name" : '\""${CORPUS_DISPLAY_NAME}"\"',
        "rag_embedding_model_config" : {
                "vertex_prediction_endpoint": {
                      "endpoint": '\""${ENDPOINT_NAME}"\"'
                }
        }
    }'

SDK Vertex AI Python 

  import vertexai
  from vertexai import rag

  # Set Project
  PROJECT_ID = "YOUR_PROJECT_ID"
  vertexai.init(project=${PROJECT_ID}, location="us-central1")

  # Your Vertex Endpoint resource with the deployed fine-tuned Gecko model
  ENDPOINT_ID = "YOUR_MODEL_ENDPOINT_ID"
  MODEL_ENDPOINT = "projects/${PROJECT_ID}/locations/us-central1/endpoints/${ENDPOINT_ID}"

  embedding_model_config = rag.RagEmbeddingModelConfig(
      endpoint=${MODEL_ENDPOINT},
  )

  # Name your corpus
  DISPLAY_NAME = "YOUR_CORPUS_DISPLAY_NAME"

  rag_corpus = rag.create_corpus(
      display_name=${DISPLAY_NAME}, rag_embedding_model_config=embedding_model_config
  )

Utilizzare i modelli di embedding OSS

Vertex AI RAG Engine supporta modelli di embedding open source di terze parti nelle varianti solo in inglese e multilingue. Questa tabella elenca i modelli E5 supportati.

Versione del modello Modello di base Parametri Dimensione dell'embedding Solo in inglese
e5-base-v2 MiniLM 109M 768 ✔
e5-large-v2 MiniLM 335M 1024 ✔
e5-small-v2 MiniLM 33M 384 ✔
multilingual-e5-large xlm-roberta-large 560M 1024 ✗
multilingual-e5-small microsoft/Multilingual-MiniLM-L12-H384 118M 384 ✗

Per utilizzare i modelli E5 con Vertex AI RAG Engine, il modello E5 deve essere sottoposto a deployment da Model Garden. Per eseguire il deployment del modello E5, consulta E5 Embedding di testo nella Google Cloud console.

Questi esempi di codice mostrano come creare un corpus RAG con il modello E5 sottoposto a deployment.

curl 

  ENDPOINT=us-central1-aiplatform.googleapis.com
  PROJECT_ID=YOUR_PROJECT_ID

  // Your Vertex Endpoint resource with the deployed E5 model
  // Example: projects/${PROJECT_ID}/locations/${LOCATION}/endpoints/${ENDPOINT_ID}
  ENDPOINT_NAME=YOUR_ENDPOINT_NAME

  // Set a display name for your corpus.
  // For example, "my test corpus"
  CORPUS_DISPLAY_NAME=YOUR_CORPUS_DISPLAY_NAME

  // CreateRagCorpus
  // Input: ENDPOINT, PROJECT_ID, ENDPOINT_NAME, CORPUS_DISPLAY_NAME
  curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/us-central1/ragCorpora \
  -d '{
        "display_name" : '\""${CORPUS_DISPLAY_NAME</var>}"\"',
        "rag_embedding_model_config" : {
                "vertex_prediction_endpoint": {
                      "endpoint": '\""${ENDPOINT_NAME}"\"'
                }
        }
    }'

SDK Vertex AI Python 

  import vertexai
  from vertexai import rag

  # Set Project
  PROJECT_ID = "YOUR_PROJECT_ID"
  vertexai.init(project=PROJECT_ID, location="us-central1")

  # Your Vertex Endpoint resource with the deployed E5 model
  ENDPOINT_ID = "YOUR_MODEL_ENDPOINT_ID"
  MODEL_ENDPOINT = "projects/{PROJECT_ID}/locations/us-central1/endpoints/{ENDPOINT_ID}"

  embedding_model_config = rag.RagEmbeddingModelConfig(
      endpoint=MODEL_ENDPOINT,
  )

  # Name your corpus
  DISPLAY_NAME = "YOUR_CORPUS_DISPLAY_NAME"

  rag_corpus = rag.create_corpus(
      display_name=DISPLAY_NAME, rag_embedding_model_config=embedding_model_config
  )

Passaggi successivi