Modèles compatibles avec le moteur RAG de Gemini Enterprise Agent Platform

Cette page liste les modèles Gemini, les modèles auto-déployés et les modèles avec API gérées sur Agent Platform qui sont compatibles avec le moteur RAG de Gemini Enterprise Agent Platform.

Modèles Gemini

Les modèles suivants sont compatibles avec le moteur RAG de Gemini Enterprise Agent Platform :

Les modèles Gemini affinés ne sont pas compatibles lorsque les modèles Gemini utilisent le moteur RAG de Gemini Enterprise Agent Platform.

Modèles déployés automatiquement

Le moteur RAG de Gemini Enterprise Agent Platform est compatible avec tous les modèles de Model Garden.

Utilisez le moteur RAG de Gemini Enterprise Agent Platform avec vos points de terminaison de modèles ouverts auto-déployés.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID : ID de votre projet.
  • LOCATION : région dans laquelle traiter votre demande.

  • ENDPOINT_ID : ID de votre point de terminaison.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modèles avec API gérées sur Agent Platform

Voici les modèles avec API gérées sur Agent Platform compatibles avec le moteur RAG Gemini Enterprise Agent Platform :

L'exemple de code suivant montre comment utiliser l'API Gemini GenerateContent pour créer une instance de modèle génératif. L'ID du modèle, /publisher/meta/models/llama-3.1-405B-instruct-maas, se trouve dans la fiche du modèle.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID : ID de votre projet.
  • LOCATION : région dans laquelle traiter votre demande.

  • RAG_RETRIEVAL_TOOL : votre outil de récupération RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

L'exemple de code suivant montre comment utiliser l'API ChatCompletions compatible avec OpenAI pour générer une réponse de modèle.

Remplacez les variables utilisées dans l'exemple de code :

  • PROJECT_ID : ID de votre projet.
  • LOCATION : région dans laquelle traiter votre demande.
  • MODEL_ID : LLM pour la génération de contenu. Exemple : meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT : texte envoyé au LLM pour la génération de contenu. Utilisez un prompt adapté aux documents dans Gemini Enterprise Agent Platform Search.
  • RAG_CORPUS_ID : ID de la ressource du corpus RAG.
  • ROLE : votre rôle.
  • USER : votre nom d'utilisateur.

  • CONTENT : votre contenu.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Étapes suivantes