שיפור מדוקדק של טרנספורמציות RAG

אחרי שהמסמך נטמע, RAG Engine בפלטפורמת Gemini Enterprise Agent Platform מריץ קבוצה של טרנספורמציות כדי להכין את הנתונים להוספה לאינדקס. אתם יכולים לשלוט בתרחישי השימוש באמצעות הפרמטרים הבאים:

פרמטר תיאור
chunk_size כשמסמכים מוטמעים באינדקס, הם מפוצלים לחלקים. הפרמטר chunk_size (בטוקנים) מציין את גודל החלק. גודל ברירת המחדל של מקטע הוא 1,024 טוקנים.
chunk_overlap כברירת מחדל, המסמכים מחולקים לחלקים עם חפיפה מסוימת כדי לשפר את הרלוונטיות ואת איכות השליפה. ברירת המחדל לחפיפה בין מקטעים היא 256 טוקנים.

ככל שגודל החלק קטן יותר, כך ההטמעות מדויקות יותר. אם גודל הנתח גדול יותר, יכול להיות שההטמעות יהיו כלליות יותר אבל אולי יפספסו פרטים ספציפיים.

לדוגמה, אם ממירים 1,000 מילים למערך הטמעה שמיועד ל-200 מילים, יכול להיות שחלק מהפרטים יאבדו. קיבולת ההטמעה קבועה לכל קטע. יכול להיות שקטע טקסט גדול לא יתאים למודל עם חלון קטן.

המאמרים הבאים