Mesin RAG di model yang didukung Platform Agen Gemini Enterprise

Halaman ini mencantumkan model Gemini, model yang di-deploy sendiri, dan model dengan API terkelola di Agent Platform yang mendukung RAG Engine di Gemini Enterprise Agent Platform.

Model Gemini

Model berikut mendukung RAG Engine:

Klik untuk meluaskan model yang didukung

Model Gemini yang disesuaikan tidak didukung saat model Gemini menggunakan RAG Engine di Gemini Enterprise Agent Platform.

Model yang di-deploy sendiri

RAG Engine di Platform Agen Gemini Enterprise mendukung semua model di Model Garden.

Gunakan RAG Engine dengan endpoint model terbuka yang di-deploy sendiri.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • ENDPOINT_ID: ID endpoint Anda.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Model dengan API terkelola di Agent Platform

Model dengan API terkelola di Agent Platform yang mendukung RAG Engine mencakup hal berikut:

Contoh kode berikut menunjukkan cara menggunakan Gemini GenerateContent API untuk membuat instance model generatif. ID model, /publisher/meta/models/llama-3.1-405B-instruct-maas, dapat ditemukan di kartu model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • RAG_RETRIEVAL_TOOL: Alat pengambilan RAG Anda.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Contoh kode berikut menunjukkan cara menggunakan ChatCompletions API yang kompatibel dengan OpenAI untuk membuat respons model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.
  • MODEL_ID: Model LLM untuk pembuatan konten. Misalnya, meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Teks yang dikirim ke LLM untuk pembuatan konten Gunakan perintah yang relevan dengan dokumen di Agent Search.
  • RAG_CORPUS_ID: ID resource korpus RAG.
  • ROLE: Peran Anda.
  • USER: Nama pengguna Anda.

  • CONTENT: Konten Anda.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Langkah berikutnya