הדגמה אינטראקטיבית של שליפת מידע על ידי סוכן

בהדגמה האינטראקטיבית הזו תוכלו ללמוד על Agent Retrieval (אחזור מידע על ידי סוכנים, בעבר Vector Search 2.0), מסד נתונים וקטורי בניהול מלא ל- Google Cloud. תוכלו להשתמש בהדגמה כדי לחפש בין מיליוני רשימות מוצרים באמצעות חיפוש סמנטי (שמופעל על ידי Gemini auto-embeddings), חיפוש טקסט לפי מילות מפתח או חיפוש היברידי שמשתמש ב-Reciprocal Rank Fusion (RRF) כדי לשלב בין חיפוש סמנטי לחיפוש טקסט לפי מילות מפתח. אפשר לדרג מחדש את התוצאות באמצעות Gemini Enterprise Agent Platform Ranking API.

היתרונות של Agent Retrieval

כדי להשתמש בחיפוש וקטורי, היה צריך ליצור הטמעה נפרדת, לפרוס אינדקס ולהשתמש ב-Vertex AI Feature Store למטא-נתונים. התכונה 'אחזור מידע על ידי סוכן' מספקת אחסון מאוחד של נתונים והטמעות, יצירה אוטומטית של הטמעות וחיפוש טקסט מובנה, בלי שתצטרכו לנהל תשתית.

רוצה לנסות?

כדי להריץ:

1. בשדה Query, מתארים את הפריטים שרוצים לשלוף (לדוגמה, vintage 1970s pinball machine). לחלופין, אפשר ללחוץ על Generate Query כדי ליצור תיאור באופן אוטומטי.

2. לוחצים על שליחה או מקישים על Enter.

כדאי להתנסות באפשרויות השונות בהדגמה כדי להבין את תהליך אחזור המידע על ידי הסוכן ואת היסודות של טכנולוגיית חיפוש וקטורי. מידע נוסף זמין במאמר בנושא ממשק משתמש.

ממשק משתמש

בקטע הזה מוסבר על ההגדרות בממשק המשתמש שבעזרתן אפשר לשלוט בתוצאות שמוחזרות על ידי Agent Retrieval (אחזור מידע על ידי סוכן, בעבר Vector Search 2.0) ובדירוג שלהן.

קבוצת הנתונים

בתפריט הנפתח Dataset בוחרים את מערך הנתונים שבו רוצים שהסוכן יריץ את השאילתה. מידע על כל מערך נתונים זמין במאמר מערכי נתונים.

שאילתה

כדי להריץ שאילתה:

1. לוחצים על מערך נתונים ובוחרים את מערך הנתונים שעליו רוצים להריץ את השאילתה.

2. בשדה Query, מוסיפים תיאור, שואלים שאלה או מזינים מילת מפתח אחת או יותר כדי לציין את הפריטים שסוכן אחזור המידע צריך להחזיר תוצאות לגביהם. לחלופין, לוחצים על Generate Query כדי ליצור שאילתה באופן אוטומטי.

3. מבצעים אחת מהפעולות הבאות:

   1. כדי לקבל תוצאות דומות מבחינה סמנטית, בוחרים באפשרות סמנטי.
   2. כדי להחזיר תוצאות על סמך תחביר הטקסט של השאילתה, בוחרים באפשרות טקסט.
   3. כדי לבצע חיפוש היברידי, בוחרים באפשרות סמנטי וגם באפשרות טקסט.

4. אם אתם מבצעים שאילתות סמנטיות במערך הנתונים Mercari 3M items (128-dim Gemini text embeddings) או Mercari 3M items (768-dim Gemini text embeddings), לוחצים על Query Task Type ובוחרים באפשרות QUESTION_ANSWERING או RETRIEVAL_QUERY.

5. לוחצים על Submit (שליחה) או על Enter כדי להריץ את השאילתה.

שינוי

יש הרבה אפשרויות שבהן אפשר להשתמש כדי לשנות את התוצאות שהסוכן מחזיר (בעבר חיפוש וקטורי 2.0) משאילתה.

• לוחצים על שורות ובוחרים את המספר המקסימלי של תוצאות החיפוש שרוצים שמנגנון אחזור המידע של הסוכן (לשעבר Vector Search 2.0) יחזיר.

• בוחרים באפשרות סמנטי כדי לקבל תוצאות דומות מבחינה סמנטית.

• בוחרים באפשרות טקסט כדי לקבל תוצאות על סמך תחביר הטקסט של השאילתה.

• כדי להפעיל חיפוש היברידי, בוחרים באפשרויות סמנטי וטקסט.

• בוחרים באפשרות דירוג מחדש כדי לדרג מחדש את תוצאות החיפוש על סמך הרלוונטיות שלהן לשאילתה. מידע נוסף מופיע במאמר שיפור האיכות של חיפוש ו-RAG באמצעות API לדירוג.

• בוחרים באפשרות Use kNN כדי להשתמש באלגוריתם k-nearest neighbors לאחזור תוצאות חיפוש. מכיוון ש-kNN מספק שיעור היזכרות של 100%, הוא שימושי מאוד כשמבצעים ניפוי באגים או בדיקות.

• לוחצים על Query Task Type (סוג משימת שאילתה) ובוחרים את סוג משימת השאילתה שרוצים להשתמש בה. האפשרות הזו זמינה רק כשמשתמשים במערכי הנתונים Mercari 3M items (128-dim Gemini text embeddings) ו-Mercari 3M items (768-dim Gemini text embeddings). מידע נוסף על סוגי משימות של שאילתות זמין במאמר בנושא בחירת סוג משימת הטמעה.

• בשדה RRF Alpha, מזינים ערך בין 0.0 ל-1.0 כדי לציין את השפעת הדירוג של RRF. האפשרות הזו זמינה רק לחיפוש היברידי (אם נבחרו האפשרויות סמנטי וטקסט).
  ערכי אלפא של:

  • ‫1.0 – דירוג התוצאות לפי דמיון סמנטי (צפוף) בלבד.
  • 0.0 – דירוג התוצאות לפי רלוונטיות של מילת המפתח בלבד (דליל).
  • ‫0.5 – דירוג התוצאות עם משקל שווה שניתן לדמיון סמנטי (צפוף) ולרלוונטיות של מילות מפתח (דלילה).

  מידע נוסף זמין במאמר מהו מיזוג דירוגים הדדי?

מדדים

אחרי שמריצים שאילתה, מקבלים מדדי השהיה שמפרטים את הזמן שנדרש להשלמת שלבים שונים של החיפוש.

למשל:

• החביון הכולל מכל המקורות.
• משך הזמן שנדרש ליצירת הטמעות ולביצוע חיפוש וקטורי.
• משך הזמן שלוקח לדירוג מחדש אם בוחרים באפשרות דירוג מחדש.
• הסכום הכולל של זמן האחזור מהרשת וממקורות אחרים.

הטמעות

השליפה של סוכן תומכת בסוגי ההטמעה הבאים:

• מרובה מצבים: חיפוש סמנטי מרובה מצבים בתמונות של פריטים. לפרטים נוספים, אפשר לעבור אל מהו חיפוש מרובה מצבים: 'מודלים גדולים של שפה עם ראייה' משנים את העסקים.

• טקסט (דמיון סמנטי): חיפוש סמנטי של טקסט בשמות פריטים ובתיאורים על סמך דמיון סמנטי. מידע נוסף זמין במאמר Vertex AI Embeddings for Text: Grounding LLMs made easy.

• טקסט (מסמך אחזור): חיפוש אסימטרי שמבוסס על שאלה או על צירוף מילים קצר. מידע נוסף זמין במאמר Vertex AI Embeddings for Text: Grounding LLMs made easy.

• מילה: הבנה סמנטית ברמת המילה עם הסקה מהירה מאוד ודחיסה גבוהה.

תהליך השאילתה

בתהליך השליפה של סוכן, תהליך השאילתה תלוי בסוג החיפושים שמבוצעים ובמודלים של ההטמעה.

חיפוש סמנטי וחיפוש היברידי

היצירה והחיפוש של ההטמעה מתבצעים בקריאה ל-API אחת. הסוכן Retrieval יוצר אוטומטית את הטמעת השאילתה בצד השרת באמצעות המודל שצוין ב-vertex_embedding_config עבור האוסף, מבצע את החיפוש ומחזיר תוצאות עם מטא-נתונים מלאים בלי צורך באחזור נפרד של Vertex AI Feature Store.

‫Word2Vec ומולטי-מודאליות

הלקוח יוצר את ההטמעה של השאילתה ושולח אותה אל Agent Retrieval לחיפוש וקטורי. התוצאות עדיין כוללות מטא-נתונים מלאים מהאוסף, ולא צריך לבצע אחזור מ-Vertex AI Feature Store.

טקסט

השליפה של נציג מבצעת התאמה מובנית למילות מפתח באופן ישיר. לא נוצרו הטמעות.

מערכי נתונים

הערה: מערכי הנתונים מסופקים על ידי Mercari, זירת מסחר פופולרית באינטרנט בארה"ב וביפן.

קבוצת הנתונים	תיאור	מודל הטמעה	סוג המשימה להטמעה
‫Mercari 1M items (768-dim Gemini text embeddings)	משתמש במודל ההטמעה Gemini Embedding 2 עם הטמעות נפרדות של טקסט ותמונות. מערך הנתונים הזה תומך בחיפוש יצירת טקסט על סמך טקסט ויצירת תמונות לפי טקסט באמצעות שדות וקטוריים שונים.	gemini-embedding-2-preview	SEMANTIC_SIMILARITY
‫3 מיליון פריטים ב-Mercari (הטמעות טקסט של Gemini עם 128 ממדים)	כולל מספר מופחת של ממדי הטמעה, שמספק גודל אינדקס קטן יותר ועלות אחסון נמוכה יותר. יכול להיות שהדיוק של מערך הנתונים הזה נמוך יותר מזה של 3 מיליון הפריטים של Mercari (הטמעות טקסט של Gemini עם 768 ממדים).	gemini-embedding-001	RETRIEVAL_DOCUMENT
‫Mercari 3M items (768-dim Gemini text embeddings)	יש לו הטמעות מלאות של מאפיינים עם הטמעות אוטומטיות ודיוק סמנטי גבוה של הטקסט. מערך הנתונים הזה משתמש ב-RETRIEVAL_DOCUMENT להתאמה אסימטרית בין שאילתות למסמכים.	gemini-embedding-001	RETRIEVAL_DOCUMENT
‫Mercari 3M items (768-dim Gemini text embeddings, semantic similarity)	משתמש בסוג המשימה SEMANTIC_SIMILARITY להתאמת דמיון. מערך הנתונים הזה הוא הטוב ביותר לתרחישי שימוש שבהם נדרשת הפונקציונליות 'חיפוש פריטים דומים', כאשר לשאילתה ולמסמכים יש סמנטיקה זהה.	gemini-embedding-001	SEMANTIC_SIMILARITY
‫Mercari 3M items (1408-dim Vertex AI multimodal embeddings)	כולל הטמעות מולטי-מודאליות של Vertex AI שמקודדות תמונות של פריטים לחיפוש תמונות.	multimodal-embedding-001	לא רלוונטי
‫3 מיליון פריטים ב-Mercari (הטמעות טקסט של Word2Vec עם 100 ממדים)	משתמש במודל ההטמעה Word2Vec של Gensim. מערך הנתונים הזה מאפשר את ההסקה המהירה ביותר. הוא מספק רק הבנה סמנטית ברמת המילה, אבל הוא מאוד קומפקטי.	‫Gensim Word2Vec	לא רלוונטי

מידע נוסף

• אוספים
• אובייקטים של נתונים
• שאילתות על אוספים של אובייקטים של נתונים
• חיפוש אובייקטים של נתונים