Modelli supportati da Vertex AI RAG Engine

Questa pagina elenca i modelli Gemini, i modelli con deployment automatico e i modelli con API gestite su Vertex AI che supportano Vertex AI RAG Engine.

Modelli Gemini

I seguenti modelli supportano Vertex AI RAG Engine:

I modelli Gemini sottoposti a fine tuning non sono supportati quando i modelli Gemini utilizzano Vertex AI RAG Engine.

Modelli con deployment autonomo

Vertex AI RAG Engine supporta tutti i modelli in Model Garden.

Utilizza il motore RAG di Vertex AI con gli endpoint dei modelli open di cui hai eseguito il deployment autonomamente.

Sostituisci le variabili utilizzate nell'esempio di codice:

  • PROJECT_ID: il tuo ID progetto.
  • LOCATION: la regione in cui elaborare la richiesta.

  • ENDPOINT_ID: il tuo ID endpoint.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modelli con API gestite su Vertex AI

I modelli con API gestite su Vertex AI che supportano Vertex AI RAG Engine includono quanto segue:

Il seguente esempio di codice mostra come utilizzare l'API Gemini GenerateContent per creare un'istanza del modello generativo. L'ID modello, /publisher/meta/models/llama-3.1-405B-instruct-maas, si trova nella scheda del modello.

Sostituisci le variabili utilizzate nell'esempio di codice:

  • PROJECT_ID: il tuo ID progetto.
  • LOCATION: la regione in cui elaborare la richiesta.

  • RAG_RETRIEVAL_TOOL: lo strumento di recupero RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Il seguente esempio di codice mostra come utilizzare l'API ChatCompletions compatibile con OpenAI per generare una risposta del modello.

Sostituisci le variabili utilizzate nell'esempio di codice:

  • PROJECT_ID: il tuo ID progetto.
  • LOCATION: la regione in cui elaborare la richiesta.
  • MODEL_ID: modello LLM per la generazione di contenuti. Ad esempio, meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: il testo inviato al LLM per la generazione di contenuti. Utilizza un prompt pertinente ai documenti in Vertex AI Search.
  • RAG_CORPUS_ID: l'ID della risorsa del corpus RAG.
  • ROLE: il tuo ruolo.
  • USER: il tuo nome utente.

  • CONTENT: i tuoi contenuti.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Passaggi successivi