אפשרויות של מסדי נתונים וקטוריים ב-RAG Engine

בדף הזה מוסבר על מסדי הנתונים הווקטוריים שנתמכים במנוע RAG. אתם יכולים גם לראות איך מחברים מסד נתונים וקטורי (מאגר וקטורים) לקורפוס RAG.

מסדי נתונים וקטוריים ממלאים תפקיד חיוני באחזור נתונים באפליקציות RAG. מסדי נתונים וקטוריים מספקים דרך ייחודית לאחסן ולשלוח שאילתות להטמעות וקטורים, שהן ייצוגים מתמטיים של טקסט או נתונים אחרים שמתעדים משמעות סמנטית וקשרים. הטמעות וקטורים מאפשרות למערכות RAG למצוא במהירות ובדייקנות את המידע הכי רלוונטי בתוך מאגר ידע עצום, גם כשמדובר בשאילתות מורכבות או מפורטות. בשילוב עם מודל הטמעה, מסדי נתונים וקטוריים יכולים לעזור להתגבר על המגבלות של מודלים גדולים של שפה (LLM) ולספק תשובות מדויקות, רלוונטיות ומקיפות יותר.

מסדי נתונים וקטוריים נתמכים

כשיוצרים קורפוס RAG, מנוע RAG מציע את RagManagedDb שמתאים לארגונים כמסד הנתונים הווקטורי שמוגדר כברירת מחדל, שלא דורש הקצאה או ניהול נוספים. ב-RagManagedDb יש אפשרויות חיפוש גם של KNN וגם של ANN, ואפשר לעבור למסלול בסיסי כדי ליצור אב טיפוס מהיר ולערוך ניסויים. מידע נוסף על בחירת אסטרטגיית אחזור ב-RagManagedDb או על עדכון הרמה זמין במאמר שימוש ב-RagManagedDb עם RAG. כדי שמנוע RAG ייצור וינהל בשבילכם את מסד הנתונים הווקטורי באופן אוטומטי, קראו את המאמר משאב REST:‏ projects.locations.ragCorpora.

בנוסף ל-RagManagedDb שמוגדר כברירת מחדל, מנוע RAG מאפשר להקצות מסד נתונים וקטורי ולהשתמש בו בקורפוס RAG. במקרה כזה, אתם אחראים למחזור החיים ולמדרגיות של מסד הנתונים הווקטורי.

השוואה בין אפשרויות של מסדי נתונים וקטוריים

בטבלה הבאה מפורטים מסדי הנתונים הווקטוריים שנתמכים במנוע RAG, עם קישורים לדפים שמסבירים איך להשתמש במסדי הנתונים הווקטוריים בקורפוס ה-RAG.

מסד נתונים וקטורי   יתרונות   למי זה מתאים   חסרונות מדדי מרחק נתמכים סוג החיפוש שלב ההשקה
‫RagManagedDb (ברירת המחדל) הוא שירות מסד נתונים שניתן להתאמה ומופץ אזורית, שמציע עקביות גבוהה מאוד וזמינות גבוהה, ואפשר להשתמש בו לחיפוש וקטורי. easy simple fast quick
  • לא צריך להגדיר שום דבר.
  • מתאים לתרחישי שימוש בקנה מידה ארגוני ובקנה מידה קטן.
  • עקביות גבוהה מאוד.
  • זמינות גבוהה.
  • זמן אחזור קצר.
  • מעולה לעומסי עבודה של טרנזקציות.
  • ‫CMEK מופעל.
  • יצירת מסמכים בנפח גבוה.
  • פיתוח RAG בקנה מידה ארגוני.
  • פיתוח הוכחת היתכנות מהירה.
  • הקצאה ותחזוקה עם תקורה נמוכה.
  • שימוש בצ'אט בוטים.
  • פיתוח אפליקציות RAG.
  • כדי שהאחזור יהיה אופטימלי, צריך לבנות מחדש את האינדקס של תכונת ה-ANN אחרי שינויים משמעותיים בנתונים.
cosine ‫KNN (ברירת מחדל) ו-ANN זמינות לכלל המשתמשים (GA)
חיפוש וקטורי הוא שירות מסד הנתונים הווקטורי ב-Agent Platform, שמותאם למשימות של למידת מכונה.
  • משתלב עם שירותים אחרים של Google Cloud .
  • התשתית של Google Cloud תומכת במדרגיות ובאמינות.
  • התמחור הוא לפי שימוש.
  • יצירת מסמכים בנפח גבוה.
  • פיתוח RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד הנתונים הווקטורי.
  • לקוחות קיימים של Google Cloud או כל מי שרוצה להשתמש במספר שירותים של Google Cloud .
  • העדכונים לא משתקפים מיד.
  • לקוח שבוי של Google Cloud.
  • יכול להיות יקר יותר, בהתאם לתרחישי השימוש.
cosine

dot-product
ANN זמינות לכלל המשתמשים (GA)
‫Feature Store ב-Gemini Enterprise Agent Platform הוא שירות מנוהל לארגון, לאחסון ולהצגה של תכונות למידת מכונה.
  • משתלב עם פלטפורמת הסוכנים של Gemini Enterprise ושירותים אחרים של Google Cloud .
  • התשתית של Google Cloud תומכת במדרגיות ובאמינות.
  • הוא מנצל את התשתית הקיימת של BigQuery.
  • יצירת מסמכים בנפח גבוה.
  • פיתוח RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד הנתונים הווקטורי.
  • לקוחות קיימים של Google Cloud או לקוחות שרוצים להשתמש בכמה שירותים של Google Cloud .
  • השינויים זמינים בחנות אונליין רק אחרי שמבצעים סנכרון ידני.
  • לקוח שבוי של Google Cloud.
cosine

dot-product

L2 squared
ANN תצוגה מקדימה
‫Weaviate הוא מסד נתונים וקטורי בקוד פתוח, גמיש ומודולרי.
  • תמיכה בסוגי נתונים שונים ויכולות גרפיות מובנות.
  • מציע קוד פתוח וקהילה תוססת.
  • גמישים מאוד וניתנים להתאמה אישית.
  • תומך בסוגי נתונים שונים ובמודולים למודליות שונות, כמו טקסט ותמונות.
  • אפשר לבחור בין ספקי שירותי ענן, כמו Google Cloud,‏ AWS ו-Azure.
  • יצירת מסמכים בנפח גבוה.
  • פיתוח RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד הנתונים הווקטורי.
  • לקוחות קיימים של Weaviate.
  • העדכונים לא משתקפים מיד.
  • יכול להיות שיהיה קשה יותר להגדיר ולנהל אותו.
  • הביצועים עשויים להשתנות בהתאם להגדרות האישיות.
cosine

dot-product

L2 squared

hamming

manhattan
תמיכה ב-ANN ובחיפוש היברידי תצוגה מקדימה
‫Pinecone הוא מסד נתונים וקטורי מבוסס-ענן ומנוהל, שמיועד לחיפוש דמיון עם ביצועים גבוהים.
  • מתחילים לעבוד במהירות.
  • יכולת התאמה וביצועים מצוינים.
  • התמקדות בחיפוש וקטורי עם תכונות מתקדמות כמו סינון וחיפוש מטא-נתונים.
  • אפשר לבחור בין ספקי שירותי ענן, כמו Google Cloud,‏ AWS ו-Azure.
  • יצירת מסמכים בנפח גבוה.
  • פיתוח RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד הנתונים הווקטורי.
  • לקוחות קיימים של Pinecone.
  • העדכונים לא משתקפים מיד.
  • יכול להיות יקר יותר מאפשרויות אחרות.
  • המכסות והמגבלות מגבילות את ההיקף והביצועים.
  • שליטה מוגבלת בתשתית הבסיסית.
cosine

euclidean

dot-product
ANN זמינות לכלל המשתמשים (GA)

המאמרים הבאים