Unterstützte Modelle für die RAG Engine auf der Gemini Enterprise Agent Platform

Auf dieser Seite sind Gemini-Modelle, selbst bereitgestellte Modelle und Modelle mit verwalteten APIs auf der Agent Platform aufgeführt, die die RAG Engine auf der Gemini Enterprise Agent Platform unterstützen.

Gemini-Modelle

Die folgenden Modelle unterstützen die RAG Engine:

Klicken, um unterstützte Modelle einzublenden

Feinabgestimmte Gemini-Modelle werden nicht unterstützt, wenn die Gemini-Modelle die RAG Engine auf der Gemini Enterprise Agent Platform verwenden.

Selbst bereitgestellte Modelle

Die RAG Engine auf der Gemini Enterprise Agent Platform unterstützt alle Modelle in Model Garden.

RAG Engine mit Ihren selbst bereitgestellten offenen Modellendpunkten verwenden.

Ersetzen Sie die im Codebeispiel verwendeten Variablen:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.

  • ENDPOINT_ID: Ihre Endpunkt-ID.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modelle mit verwalteten APIs auf der Agent Platform

Die Modelle mit verwalteten APIs auf der Agent Platform, die die RAG Engine unterstützen, umfassen:

Im folgenden Codebeispiel wird gezeigt, wie Sie mit der Gemini GenerateContent API eine generative Modellinstanz erstellen. Die Modell-ID /publisher/meta/models/llama-3.1-405B-instruct-maas finden Sie auf der Modellkarte.

Ersetzen Sie die im Codebeispiel verwendeten Variablen:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.

  • RAG_RETRIEVAL_TOOL: Ihr RAG-Abruftool.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Im folgenden Codebeispiel wird gezeigt, wie Sie die OpenAI-kompatible ChatCompletions API verwenden, um eine Modellantwort zu generieren.

Ersetzen Sie die im Codebeispiel verwendeten Variablen:

  • PROJECT_ID: Ihre Projekt-ID.
  • LOCATION: Die Region, in der Ihre Anfrage verarbeitet werden soll.
  • MODEL_ID: LLM-Modell für die Inhaltsgenerierung. Beispiel: meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Der Text, der zur Inhaltsgenerierung an das LLM gesendet wird. Verwenden Sie einen Prompt, der für die Dokumente in der Agentensuche relevant ist.
  • RAG_CORPUS_ID: Die ID der RAG-Korpusressource.
  • ROLE: Ihre Rolle.
  • USER: Ihr Nutzername.

  • CONTENT: Ihre Inhalte.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Nächste Schritte