Modèles compatibles avec le moteur RAG sur Gemini Enterprise Agent Platform

Cette page liste les modèles Gemini, les modèles auto-déployés et les modèles avec des API gérées sur Agent Platform qui sont compatibles avec le moteur RAG sur Gemini Enterprise Agent Platform.

Modèles Gemini

Les modèles suivants sont compatibles avec le moteur RAG :

Cliquer pour développer les modèles compatibles

Les modèles Gemini affinés ne sont pas compatibles lorsque les modèles Gemini utilisent le moteur RAG sur Gemini Enterprise Agent Platform.

Modèles auto-déployés

Le moteur RAG sur Gemini Enterprise Agent Platform est compatible avec tous les modèles de Model Garden.

Utilisez le moteur RAG avec vos points de terminaison de modèle ouvert auto-déployés.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID: ID du projet.
  • LOCATION: région dans laquelle traiter votre requête.

  • ENDPOINT_ID: ID de votre point de terminaison.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modèles avec des API gérées sur Agent Platform

Les modèles avec des API gérées sur Agent Platform qui sont compatibles avec le moteur RAG incluent les suivants :

L'exemple de code suivant montre comment utiliser l'API GenerateContent Gemini pour créer une instance de modèle génératif. L'ID du modèle, /publisher/meta/models/llama-3.1-405B-instruct-maas, se trouve dans la fiche du modèle.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID: ID du projet.
  • LOCATION: région dans laquelle traiter votre requête.

  • RAG_RETRIEVAL_TOOL: outil de récupération RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

L'exemple de code suivant montre comment utiliser l'API ChatCompletions compatible avec OpenAI pour générer une réponse de modèle.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID: ID du projet.
  • LOCATION: région dans laquelle traiter votre requête.
  • MODEL_ID : LLM pour la génération de contenu. Exemple : meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT : texte envoyé au LLM pour la génération de contenu. Utilisez un prompt adapté aux documents dans Agent Search.
  • RAG_CORPUS_ID : ID de la ressource du corpus RAG.
  • ROLE: votre rôle.
  • USER: votre nom d'utilisateur.

  • CONTENT: votre contenu.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Étape suivante