Mesin RAG di model yang didukung Platform Agen Gemini Enterprise

Halaman ini mencantumkan model Gemini, model yang di-deploy sendiri, dan model dengan API terkelola di Agent Platform yang mendukung Mesin RAG di Gemini Enterprise Agent Platform.

Model Gemini

Model berikut mendukung RAG Engine:

Klik untuk meluaskan model yang didukung

Model Gemini yang di-fine-tune tidak didukung saat model Gemini menggunakan Mesin RAG di Gemini Enterprise Agent Platform.

Model yang di-deploy sendiri

Mesin RAG di Gemini Enterprise Agent Platform mendukung semua model di Model Garden.

Menggunakan RAG Engine dengan endpoint model terbuka yang Anda deploy sendiri.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • ENDPOINT_ID: ID endpoint Anda.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Model dengan API terkelola di Agent Platform

Model dengan API terkelola di Agent Platform yang mendukung RAG Engine meliputi:

Contoh kode berikut menunjukkan cara menggunakan Gemini GenerateContent API untuk membuat instance model generatif. /publisher/meta/models/llama-3.1-405B-instruct-maas, ID model, dapat ditemukan di kartu model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.

  • RAG_RETRIEVAL_TOOL: Alat pengambilan RAG Anda.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

Contoh kode berikut menunjukkan cara menggunakan ChatCompletions API yang kompatibel dengan OpenAI untuk menghasilkan respons model.

Ganti variabel yang digunakan dalam contoh kode:

  • PROJECT_ID: Project ID Anda.
  • LOCATION: Region untuk memproses permintaan Anda.
  • MODEL_ID: Model LLM untuk pembuatan konten. Contoh, meta/llama-3.1-405b-instruct-maas.
  • INPUT_PROMPT: Teks yang dikirim ke LLM untuk pembuatan konten. Gunakan perintah yang relevan dengan dokumen di Penelusuran Agen.
  • RAG_CORPUS_ID: ID resource korpus RAG.
  • ROLE: Peran Anda.
  • USER: Nama pengguna Anda.

  • CONTENT: Konten Anda.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

Langkah berikutnya