Unterstützte Modelle für die RAG Engine auf der Gemini Enterprise Agent Platform

Auf dieser Seite sind Gemini-Modelle, selbst bereitgestellte Modelle und Modelle mit verwalteten APIs auf der Agent Platform aufgeführt, die die RAG Engine auf der Gemini Enterprise Agent Platform unterstützen.

Gemini-Modelle

Die folgenden Modelle unterstützen die RAG Engine:

Klicken Sie, um unterstützte Modelle zu maximieren.

Abgestimmte Gemini-Modelle werden nicht unterstützt, wenn die Gemini-Modelle die RAG Engine auf der Gemini Enterprise Agent Platform verwenden.

Selbst bereitgestellte Modelle

Die RAG Engine auf der Gemini Enterprise Agent Platform unterstützt alle Modelle im Model Garden.

RAG Engine mit selbst bereitgestellten Open-Model-Endpunkten verwenden

Ersetzen Sie die im Codebeispiel verwendeten Variablen:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.

  • ENDPOINT_ID: Ihre Endpunkt-ID.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modelle mit verwalteten APIs auf der Agent Platform

Die Modelle mit verwalteten APIs auf der Agent Platform, die die RAG Engine unterstützen, sind:

Im folgenden Codebeispiel wird gezeigt, wie Sie mit der Gemini GenerateContent API eine generative Modellinstanz erstellen. Die Modell-ID, /publisher/meta/models/llama-3.1-405B-instruct-maas, finden Sie auf der Modellkarte.

Ersetzen Sie die im Codebeispiel verwendeten Variablen:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.

  • RAG_RETRIEVAL_TOOL: Ihr RAG-Abruftool.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Das folgende Codebeispiel zeigt, wie Sie die OpenAI-kompatible ChatCompletions API verwenden, um eine Modellantwort zu generieren.

Ersetzen Sie die im Codebeispiel verwendeten Variablen:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.
  • MODEL_ID: LLM-Modell für die Inhaltsgenerierung. Beispiel: meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Der Text, der zur Inhaltsgenerierung an das LLM gesendet wird. Verwenden Sie einen Prompt, der für die Dokumente in der Agent Search relevant ist.
  • RAG_CORPUS_ID: Die ID der RAG-Korpusressource.
  • ROLE: Ihre Rolle.
  • USER: Ihr Nutzername.

  • CONTENT: Ihre Inhalte.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Nächste Schritte