אפשרויות של מסדי נתונים וקטוריים ב-RAG Engine

בדף הזה מוסבר על מסדי הנתונים הווקטוריים שנתמכים ב-RAG Engine. אפשר גם לראות איך מחברים מאגר נתונים וקטורי (מאגר וקטורים) למאגר המידע של RAG.

מסדי נתונים וקטוריים ממלאים תפקיד מכריע בהפעלת אחזור של אפליקציות RAG. מסדי נתונים וקטוריים מציעים דרך מיוחדת לאחסון ולשאילתות של הטבעות וקטוריות, שהן ייצוגים מתמטיים של טקסט או נתונים אחרים שמתעדים משמעות ויחסים סמנטיים. הטבעות וקטוריות מאפשרות למערכות RAG למצוא במהירות ובדייקנות את המידע הרלוונטי ביותר בבסיס ידע נרחב, גם כשמדובר בשאילתות מורכבות או ניואנסיות. בשילוב עם מודל הטבעה, מסדי נתונים וקטוריים יכולים לעזור להתגבר על המגבלות של מודלים גדולים של שפה (LLM) ולספק תשובות מדויקות, רלוונטיות ומקיפות יותר.

מסדי נתונים וקטוריים נתמכים

כשיוצרים מאגר מידע של RAG,‏ RAG Engine מציע את RagManagedDb, שהוא מסד נתונים וקטורי שמוכן לשימוש בארגונים, כברירת המחדל. לא נדרשת הקצאה או ניהול נוספים. RagManagedDb מציע אפשרויות חיפוש של KNN ו-ANN, ומאפשר מעבר לרמה בסיסית לצורך יצירת אב טיפוס מהירה וניסויים. כדי לקבל מידע נוסף על בחירת אסטרטגיית אחזור ב-RagManagedDb או על עדכון הרמה, אפשר לעיין במאמר שימוש ב-RagManagedDb עם RAG. כדי ש-RAG Engine ייצור וינהל באופן אוטומטי את מסד הנתונים הווקטורי בשבילכם, אפשר לעיין במאמר REST Resource: projects.locations.ragCorpora .

בנוסף ל-RagManagedDb, מנוע RAG מאפשר לכם להקצות ולהשתמש במסד נתונים וקטורי בתוך מאגר ה-RAG. במקרה הזה, אתם אחראים למחזור החיים ולגמישות של מסד הנתונים הווקטורי.

השוואה בין אפשרויות של מסדי נתונים וקטוריים

בטבלה הזו מפורטות האפשרויות של מסדי נתונים וקטוריים שנתמכים ב-RAG Engine, ויש בה קישורים לדפים שמסבירים איך להשתמש במסדי הנתונים הווקטוריים בקורפוס RAG.

מסד נתונים וקטורי   יתרונות   מתאים במיוחד ל   חסרונות מדדי מרחק נתמכים סוג החיפוש שלב ההשקה
‫RagManagedDb (ברירת מחדל) הוא שירות של מסד נתונים ניתן להתאמה לעומס (scaling) שמופץ באופן אזורי. הוא מציע עקביות גבוהה מאוד וזמינות גבוהה, ואפשר להשתמש בו לחיפוש וקטורי. קל פשוט מהיר
  • לא נדרשת הגדרה.
  • מתאים לתרחישי שימוש בקנה מידה ארגוני וגם בקנה מידה קטן.
  • עקביות גבוהה מאוד.
  • זמינות גבוהה.
  • זמן אחזור קצר.
  • מצוין לעומסי עבודה טרנזקציוניים.
  • הצפנה באמצעות CMEK מופעלת.
  • יצירת מסמכים בכמות גדולה.
  • איך בונים RAG בקנה מידה ארגוני.
  • פיתוח הוכחת היתכנות מהירה.
  • הקצאת משאבים ותחזוקה עם תקורה נמוכה.
  • שימוש בצ'אט בוטים.
  • פיתוח אפליקציות RAG.
  • כדי להשיג את רמת הדיוק הגבוהה ביותר באחזור, התכונה ANN מחייבת לבנות מחדש את האינדקס אחרי שינויים משמעותיים בנתונים.
 cosine ‫KNN (ברירת מחדל) ו-ANN זמינות לכלל המשתמשים (GA)
‫Vector Search הוא שירות מסד נתונים וקטורי בפלטפורמת הסוכנים, שעבר אופטימיזציה למשימות של למידת מכונה.
  • משתלב עם שירותים אחרים של Google Cloud .
  • התשתית תומכת במדרגיות ובאמינות. Google Cloud
  • התמחור הוא במודל של תשלום לפי שימוש.
  • יצירת מסמכים בכמות גדולה.
  • איך בונים RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד נתונים וקטורי.
  • לקוחות קיימים של Google Cloud או כל מי שרוצה להשתמש בכמה שירותים של Google Cloud .
  • העדכונים לא משתקפים באופן מיידי.
  • תלות בספקים עם Google Cloud.
  • יכול להיות שהעלות תהיה גבוהה יותר בהתאם לתרחישי השימוש.
 cosine

dot-product		 ANN זמינות לכלל המשתמשים (GA)
‫Vertex AI Feature Store הוא שירות מנוהל לארגון, לאחסון ולהצגת תכונות של למידת מכונה.
  • משתלב עם Gemini Enterprise Agent Platform ושירותים אחרים של Google Cloud Google.
  • התשתית תומכת במדרגיות ובאמינות. Google Cloud
  • מנצל את התשתית הקיימת של BigQuery.
  • יצירת מסמכים בכמות גדולה.
  • איך בונים RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד נתונים וקטורי.
  • לקוחות קיימים Google Cloud או לקוחות שרוצים להשתמש בכמה Google Cloud שירותים.
  • השינויים יהיו זמינים בחנות הווירטואלית רק אחרי שתבצעו סנכרון ידני.
  • תלות בספקים עם Google Cloud.
 cosine

dot-product

L2 squared		 ANN תצוגה מקדימה
‫Weaviate הוא מסד נתונים וקטורי עם קוד פתוח, גמיש ומודולרי.
  • תמיכה בסוגי נתונים שונים ואפשרויות מובנות ליצירת תרשימים.
  • קוד פתוח וקהילה תוססת.
  • גמישים מאוד וניתנים להתאמה אישית.
  • תמיכה בסוגים שונים של נתונים ומודולים למודליות שונות, כמו טקסט ותמונות.
  • אפשר לבחור בין ספקי ענן, כמו Google Cloud,‏ AWS ו-Azure.
  • יצירת מסמכים בכמות גדולה.
  • איך בונים RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד נתונים וקטורי.
  • לקוחות קיימים של Weaviate.
  • העדכונים לא משתקפים באופן מיידי.
  • יכול להיות שההגדרה והניהול יהיו מורכבים יותר.
  • הביצועים עשויים להשתנות בהתאם להגדרות.
 cosine

dot-product

L2 squared

hamming

manhattan		 תמיכה בחיפוש היברידי + ANN תצוגה מקדימה
‫Pinecone הוא מסד נתונים וקטורי מנוהל מבוסס-ענן שנועד לחיפוש דמיון עם ביצועים גבוהים.
  • מתחילים לעבוד במהירות.
  • יכולת הרחבה וביצועים מצוינים.
  • התמקדות בחיפוש וקטורי עם תכונות מתקדמות כמו סינון וחיפוש מטא-נתונים.
  • אפשר לבחור בין ספקי ענן, כמו Google Cloud,‏ AWS ו-Azure.
  • יצירת מסמכים בכמות גדולה.
  • איך בונים RAG בקנה מידה ארגוני.
  • ניהול התשתית של מסד נתונים וקטורי.
  • לקוחות קיימים של Pinecone.
  • העדכונים לא משתקפים באופן מיידי.
  • יכול להיות יקר יותר מאפשרויות אחרות.
  • מכסות ומגבלות מגבילות את ההיקף ואת הביצועים.
  • שליטה מוגבלת בתשתית הבסיסית.
 cosine

euclidean

dot-product		 ANN זמינות לכלל המשתמשים (GA)

המאמרים הבאים