Unterstützte Modelle für die RAG Engine auf der Gemini Enterprise Agent Platform

Auf dieser Seite sind Gemini-Modelle, selbst bereitgestellte Modelle und Modelle mit verwalteten APIs auf der Agent Platform aufgeführt, die die RAG Engine auf der Gemini Enterprise Agent Platform unterstützen.

Gemini-Modelle

Die folgenden Modelle unterstützen die RAG Engine:

Klicken Sie, um die unterstützten Modelle zu maximieren.

Feinabgestimmte Gemini-Modelle werden nicht unterstützt, wenn die Gemini-Modelle die RAG Engine auf der Gemini Enterprise Agent Platform verwenden.

Selbst bereitgestellte Modelle

Die RAG Engine auf der Gemini Enterprise Agent Platform unterstützt alle Modelle in Model Garden.

Verwenden Sie die RAG Engine mit Ihren selbst bereitgestellten Endpunkten für offene Modelle.

Ersetzen Sie die Variablen im Codebeispiel:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.

  • ENDPOINT_ID: Ihre Endpunkt-ID.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modelle mit verwalteten APIs auf der Agent Platform

Zu den Modellen mit verwalteten APIs auf der Agent Platform, die die RAG Engine unterstützen, gehören die folgenden:

Im folgenden Codebeispiel wird gezeigt, wie Sie die Gemini GenerateContent API verwenden, um eine generative Modellinstanz zu erstellen. Die Modell-ID, /publisher/meta/models/llama-3.1-405B-instruct-maas, finden Sie auf der Modellkarte.

Ersetzen Sie die Variablen im Codebeispiel:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.

  • RAG_RETRIEVAL_TOOL: Ihr RAG-Abruftool.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Im folgenden Codebeispiel wird gezeigt, wie Sie die mit OpenAI kompatible ChatCompletions API verwenden, um eine Modellantwort zu generieren.

Ersetzen Sie die Variablen im Codebeispiel:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.
  • MODEL_ID: LLM-Modell für die Inhaltsgenerierung. Beispiel: meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Der Text, der zur Inhalts generierung an das LLM gesendet wird. Verwenden Sie einen Prompt, der für die Dokumente in der Agent Search relevant ist.
  • RAG_CORPUS_ID: Die ID der RAG-Corpus-Ressource.
  • ROLE: Ihre Rolle.
  • USER: Ihr Nutzername.

  • CONTENT: Ihr Inhalt.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Nächste Schritte