Modelos compatíveis com o mecanismo RAG da plataforma de agentes do Gemini Enterprise

Esta página lista os modelos do Gemini, os modelos autoimplantados e os modelos com APIs gerenciadas na Agent Platform que são compatíveis com o mecanismo RAG da Gemini Enterprise Agent Platform.

Modelos do Gemini

Os seguintes modelos são compatíveis com o mecanismo RAG da Gemini Enterprise Agent Platform:

Os modelos do Gemini ajustados não são compatíveis quando usam o mecanismo RAG da Gemini Enterprise Agent Platform.

Modelos autoimplantados

O mecanismo RAG da Gemini Enterprise Agent Platform é compatível com todos os modelos em Model Garden.

Use o mecanismo RAG da Gemini Enterprise Agent Platform com seus endpoints de modelo aberto autogerenciados.

Substitua as variáveis usadas no exemplo de código:

  • PROJECT_ID: o ID do projeto.
  • LOCATION: a região para processar a solicitação.

  • ENDPOINT_ID: o ID do endpoint.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Modelos com APIs gerenciadas na Agent Platform

Os modelos com APIs gerenciadas na Agent Platform que são compatíveis com o mecanismo RAG da Gemini Enterprise Agent Platform incluem o seguinte:

O exemplo de código a seguir demonstra como usar a API GenerateContent do Gemini para criar uma instância de modelo generativo. O ID do modelo, /publisher/meta/models/llama-3.1-405B-instruct-maas, está no card de modelo.

Substitua as variáveis usadas no exemplo de código:

  • PROJECT_ID: o ID do projeto.
  • LOCATION: a região para processar a solicitação.

  • RAG_RETRIEVAL_TOOL: sua ferramenta de recuperação de RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

O exemplo de código a seguir demonstra como usar a API ChatCompletions compatível com o OpenAI para gerar uma resposta do modelo.

Substitua as variáveis usadas no exemplo de código:

  • PROJECT_ID: o ID do projeto.
  • LOCATION: a região para processar a solicitação.
  • MODEL_ID: modelo LLM para geração de conteúdo. Por exemplo, meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: o texto enviado ao LLM para geração de conteúdo. Use um comando relevante para os documentos na Pesquisa da Gemini Enterprise Agent Platform.
  • RAG_CORPUS_ID: o ID do recurso de corpus RAG.
  • ROLE: o papel.
  • USER: o nome de usuário.

  • CONTENT: o conteúdo.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

A seguir