Affiner les transformations RAG

Une fois qu'un document est ingéré, le moteur RAG sur Gemini Enterprise Agent Platform exécute un ensemble de transformations pour préparer les données à l'indexation. Vous pouvez contrôler vos cas d'utilisation à l'aide des paramètres suivants :

Paramètre Description
chunk_size Lorsque des documents sont ingérés dans un index, ils sont divisés en fragments. Le paramètre chunk_size (en jetons) spécifie la taille du fragment. La taille des fragments par défaut est de 1 024 jetons.
chunk_overlap Par défaut, les documents sont divisés en fragments qui se chevauchent légèrement pour améliorer la pertinence et la qualité de récupération. Le chevauchement de fragments par défaut est de 256 jetons.

Une taille de fragment plus petite signifie que les embeddings sont plus précis. Une taille de fragment plus importante signifie que les embeddings peuvent être plus généraux, mais peuvent passer à côté de détails spécifiques.

Par exemple, si vous convertissez 1 000 mots en un tableau d'embeddings conçu pour 200 mots, vous risquez de perdre des détails. La capacité d'embedding est fixe pour chaque fragment. Un grand bloc de texte peut ne pas tenir dans un modèle à petite fenêtre.

Étapes suivantes