Menyesuaikan transformasi RAG

Setelah dokumen diserap, Mesin RAG di Gemini Enterprise Agent Platform menjalankan serangkaian transformasi untuk menyiapkan data untuk pengindeksan. Anda dapat mengontrol kasus penggunaan menggunakan parameter berikut:

Parameter Deskripsi
chunk_size Saat dokumen diserap ke dalam indeks, dokumen tersebut akan dibagi menjadi beberapa bagian. Parameter chunk_size (dalam token) menentukan ukuran gugus. Ukuran potongan default adalah 1.024 token.
chunk_overlap Secara default, dokumen dibagi menjadi beberapa bagian dengan jumlah tumpang-tindih tertentu untuk meningkatkan relevansi dan kualitas pengambilan. Tumpang-tindih potongan default adalah 256 token.

Ukuran potongan yang lebih kecil berarti embedding lebih akurat. Ukuran potongan yang lebih besar berarti embedding mungkin lebih umum, tetapi mungkin melewatkan detail tertentu.

Misalnya, jika Anda mengonversi 1.000 kata menjadi array embedding yang dimaksudkan untuk 200 kata, Anda mungkin kehilangan detail. Kapasitas embedding ditetapkan untuk setiap potongan. Sebagian besar teks mungkin tidak muat dalam model jendela kecil.

Langkah berikutnya