"חיפוש וקטורי" הוא מנוע חיפוש וקטורי מתקדם שמבוסס על טכנולוגיה פורצת דרך שפותחה על ידי צוות המחקר של Google. בעזרת אלגוריתם ScaNN, החיפוש הווקטורי מאפשר לכם ליצור מערכות חיפוש והמלצות מהדור הבא, וגם אפליקציות של AI גנרטיבי.
אתם יכולים ליהנות מאותם מחקרים וטכנולוגיות שמפעילים את מוצרי הליבה של Google, כולל חיפוש Google, YouTube ו-Google Play. כך אתם נהנים מהיכולת להתרחב, מהזמינות ומהביצועים שמאפשרים לטפל במערכי נתונים עצומים ולספק תוצאות במהירות הבזק בקנה מידה גלובלי. בעזרת חיפוש וקטורי, יש לכם פתרון ברמה שמתאימה לארגונים להטמעת יכולות מתקדמות של חיפוש סמנטי באפליקציות שלכם.
|
|
|
|
שנתחיל?
הדגמה אינטראקטיבית של חיפוש וקטורי: הדגמה חיה של דוגמה מציאותית למה שאפשר לעשות באמצעות טכנולוגיית חיפוש וקטורי, כדי שתוכלו להתחיל לעבוד עם חיפוש וקטורי.
מדריך למתחילים בנושא חיפוש וקטורי: תוכלו לנסות את החיפוש הווקטורי תוך 30 דקות, על ידי יצירה, פריסה וביצוע שאילתות של אינדקס חיפוש וקטורי באמצעות מערך נתונים לדוגמה. המדריך הזה כולל הגדרה, הכנת נתונים, יצירת אינדקס, פריסה, שליחת שאילתות וניקוי.
לפני שמתחילים: מכינים את ההטמעות על ידי בחירה ואימון של מודל, והכנת הנתונים. לאחר מכן, בוחרים נקודת קצה ציבורית או פרטית לפריסת אינדקס השאילתות.
מחשבון עלויות ותמחור של חיפוש וקטורי: התמחור של חיפוש וקטורי כולל את עלות המכונות הווירטואליות שמשמשות לאירוח של אינדקסים פרוסים, וגם את ההוצאות על יצירה ועדכון של אינדקסים. גם הגדרה מינימלית (פחות מ-100 $לחודש) יכולה להתאים לקצב העברת נתונים גבוה בתרחישים לדוגמה בגודל בינוני. כדי להעריך את העלויות החודשיות:
- פותחים את מחשבון העלויות שלGoogle Cloud.
- לוחצים על הוספה לאומדן.
- מחפשים את Gemini Enterprise Agent Platform.
- לוחצים על הכפתור Gemini Enterprise Agent Platform.
- בתפריט הנפתח Service type, בוחרים באפשרות Gemini Enterprise Agent Platform חיפוש וקטורי.
- אפשר להשאיר את הגדרות ברירת המחדל או לקבוע הגדרות משלכם. העלות המשוערת לחודש מופיעה בחלונית Cost details.
מסמכים
ניהול אינדקסים ונקודות קצה (endpoints)
נושאים מתקדמים
תרחישים לדוגמה ובלוגים
טכנולוגיית החיפוש הווקטורי הופכת למרכז מרכזי לעסקים שמשתמשים ב-AI. בדומה לאופן שבו מסדי נתונים רלציוניים פועלים במערכות IT, הוא מחבר בין רכיבים עסקיים שונים כמו מסמכים, תוכן, מוצרים, משתמשים, אירועים וישויות אחרות על סמך הרלוונטיות שלהם. בנוסף לחיפוש במדיה רגילה כמו מסמכים ותמונות, אפשר להשתמש ב-חיפוש וקטורי כדי ליצור המלצות חכמות, להתאים בין בעיות עסקיות לפתרונות ואפילו לקשר בין אותות IoT להתראות מעקב. זהו כלי רב-תכליתי שחיוני לניווט בסביבה ההולכת וגדלה של נתונים ארגוניים מבוססי-AI.
|
חיפוש / אחזור מידע
מערכות |
איך החיפוש הווקטורי ב-Gemini Enterprise Agent Platform עוזר לפתח אפליקציות AI גנרטיבי עם ביצועים גבוהים: החיפוש הווקטורי מפעיל מגוון אפליקציות, כולל מסחר אלקטרוני, מערכות RAG ומנועי המלצות, לצד צ'אט בוטים, חיפוש מולטימודלי ועוד. חיפוש היברידי משפר עוד יותר את התוצאות של מונחים נישתיים. לקוחות כמו Bloomreach, eBay ו-Mercado Libre משתמשים ב-Gemini Enterprise Agent Platform בגלל הביצועים, יכולת ההתאמה לעומס והעלות המשתלמת, ונהנים מיתרונות כמו חיפוש מהיר יותר והגדלת מספר ההמרות. eBay uses Vector Search for recommendations: הסבר על השימוש של eBay בחיפוש וקטורי במערכת ההמלצות שלה. הטכנולוגיה הזו מאפשרת ל-eBay למצוא מוצרים דומים בקטלוג הנרחב שלה, וכך לשפר את חוויית המשתמש. Mercari leverages Google's vector search technology to create a new marketplace: הסבר על האופן שבו Mercari משתמשת בחיפוש וקטורי כדי לשפר את פלטפורמת זירת המסחר החדשה שלה. ההמלצות בפלטפורמה מבוססות על חיפוש וקטורי, שעוזר למשתמשים למצוא מוצרים רלוונטיים בצורה יעילה יותר. Gemini Enterprise Agent Platform Embeddings for Text: Grounding LLMs made easy: מתמקד בעיגון של מודלים גדולים של שפה (LLM) באמצעות Gemini Enterprise Agent Platform Embeddings לנתוני טקסט. לחיפוש וקטורי יש תפקיד חשוב במציאת קטעי טקסט רלוונטיים, כדי לוודא שהתשובות של המודל מבוססות על מידע עובדתי. What is Multimodal Search: "LLMs with vision" change businesses: הסבר על חיפוש מולטי-מודאלי, שמשלב מודלי LLM עם הבנה חזותית. הוא מסביר איך Vector Search מעבד ומשווה בין נתוני טקסט ותמונות, ומאפשר חוויות חיפוש מקיפות יותר. חיפוש מולטי-מודאלי בקנה מידה נרחב: שילוב של טקסט ותמונות עם Gemini Enterprise Agent Platform: הסבר על פיתוח מנוע חיפוש מולטי-מודאלי באמצעות Gemini Enterprise Agent Platform, שמשלב חיפוש של טקסט ותמונות באמצעות שיטת אנסמבל של Rank-Biased Reciprocal Rank משוקלל. כך חוויית המשתמש משתפרת ומוצגות תוצאות רלוונטיות יותר. הרחבת האחזור העמוק באמצעות TensorFlow Recommenders וחיפוש וקטורי: הסבר איך ליצור מערכת המלצות לפלייליסטים באמצעות TensorFlow Recommenders וחיפוש וקטורי, כולל מודלים של אחזור עמוק, אימון, פריסה והרחבה. |
|
AI גנרטיבי: אחזור ל-RAG ולסוכנים |
Gemini Enterprise Agent Platform and Denodo unlock enterprise data with Gen AI: איך השילוב של Gemini Enterprise Agent Platform עם Denodo מאפשר לעסקים להשתמש ב-AI גנרטיבי כדי לקבל תובנות מהנתונים שלהם. חיפוש וקטורי הוא כלי חיוני לגישה יעילה לנתונים רלוונטיים ולניתוח שלהם בסביבה ארגונית. Infinite Nature and the nature of industries: This 'wild' demo shows the diverse possibilities of AI: הדגמה שממחישה את הפוטנציאל של AI בתעשיות שונות. הוא משתמש בחיפוש וקטורי כדי ליצור המלצות גנרטיביות וחיפוש סמנטי מולטי-מודאלי. Infinite Fleurs: יצירתיות בעזרת AI בשיא הפריחה: Infinite Fleurs של Google הוא ניסוי ב-AI שמשתמש בחיפוש וקטורי ובמודלים של Gemini כדי ליצור זרי פרחים ייחודיים על סמך הנחיות של המשתמשים. הטכנולוגיה הזו ממחישה את הפוטנציאל של AI לעורר יצירתיות בתעשיות שונות. LlamaIndex ל-RAG ב-Google Cloud: איך משתמשים ב-LlamaIndex כדי להקל על Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG) עם מודלים גדולים של שפה (LLM). LlamaIndex משתמש בחיפוש וקטורי כדי לאחזר מידע רלוונטי ממאגר ידע, וכך מספק תשובות מדויקות יותר שמתאימות להקשר. RAG ועיגון ב-Gemini Enterprise Agent Platform: בחינה של טכניקות RAG ועיגון ב-Gemini Enterprise Agent Platform. חיפוש וקטורי עוזר לזהות מידע רלוונטי לביסוס במהלך האחזור, וכך התוכן שנוצר מדויק ואמין יותר. חיפוש וקטורי ב-LangChain: מדריך לשימוש בחיפוש וקטורי עם LangChain כדי ליצור ולפרוס אינדקס של מסד נתונים וקטורי לנתוני טקסט, כולל שאלות ותשובות ועיבוד קובצי PDF. |
|
BI, ניתוח נתונים, מעקב ועוד |
הפעלת AI בזמן אמת באמצעות הטמעת עדכונים בזמן אמת ב-Agent Platform: הסבר על עדכונים בזמן אמת בחיפוש וקטורי ואיך הם מספקים יכולות AI בזמן אמת. הטכנולוגיה הזו מאפשרת עיבוד וניתוח בזמן אמת של מקורות נתונים נכנסים. |
מקורות מידע שקשורים לנושא
כדי להתחיל להשתמש בחיפוש וקטורי, אתם יכולים להיעזר במקורות המידע הבאים:
תיקיות ופתרונות
|
|
|
התחלה מהירה של חיפוש וקטורי ב-Agent Platform: סקירה כללית של חיפוש וקטורי. הוא מיועד למשתמשים חדשים בפלטפורמה שרוצים להתחיל לעבוד במהירות. |
תחילת העבודה עם הטמעות טקסט וחיפוש וקטורי: מבוא להטמעות טקסט ולחיפוש וקטורי. הוא מסביר איך הטכנולוגיות האלה פועלות ואיך אפשר להשתמש בהן כדי לשפר את תוצאות החיפוש. |
|
|
|
שילוב של חיפוש סמנטי וחיפוש לפי מילות מפתח: מדריך לחיפוש היברידי באמצעות חיפוש וקטורי ב-Gemini Enterprise Agent Platform: הוראות לשימוש בחיפוש וקטורי לחיפוש היברידי. הוא כולל את השלבים להגדרה של מערכת חיפוש היברידית. |
RAG Engine ב-Gemini Enterprise Agent Platform עם חיפוש וקטורי: איך משתמשים ב-RAG Engine עם חיפוש וקטורי. במאמר מוסבר על היתרונות של שימוש בשתי הטכנולוגיות האלה ביחד, ומוצגות דוגמאות לשימוש בהן באפליקציות בעולם האמיתי. |
|
|
|
תשתית לאפליקציית AI גנרטיבי עם יכולות RAG באמצעות Gemini Enterprise Agent Platform וחיפוש וקטורי: פירוט הארכיטקטורה לבניית אפליקציית AI גנרטיבי ו-RAG באמצעות חיפוש וקטורי, Cloud Run ו-Cloud Storage, כולל תרחישים לדוגמה, אפשרויות עיצוב ונקודות מרכזיות. |
הטמעה של אחזור Two-Tower ליצירת מועמדים בקנה מידה גדול: ארכיטקטורה לדוגמה שמראה איך להטמיע תהליך עבודה מקצה לקצה ליצירת מועמדים באמצעות Two-Tower ב-Gemini Enterprise Agent Platform. מסגרת המודל של שני מגדלים היא שיטת אחזור יעילה לתרחישי שימוש של התאמה אישית, כי היא לומדת את הדמיון הסמנטי בין שתי ישויות שונות, כמו שאילתות באינטרנט ופריטים מועמדים. |
הדרכה
תחילת העבודה עם Vector Search והטמעות משתמשים ב-Vector Search כדי למצוא פריטים דומים או קשורים. אפשר להשתמש בו להמלצות, לחיפוש, לצ'אט בוטים ולסיווג טקסט. התהליך כולל יצירת הטמעות, העלאה שלהן ל- Google Cloudוהוספה שלהן לאינדקס לצורך שליחת שאילתות. בשיעור ה-Lab הזה נתמקד בהטמעות טקסט באמצעות Gemini Enterprise Agent Platform, אבל אפשר ליצור הטמעות גם לסוגי נתונים אחרים.
Vector Search and Embeddings בקורס הזה נציג את החיפוש הווקטורי ונסביר איך אפשר להשתמש בו כדי ליצור אפליקציית חיפוש עם ממשקי API של הטמעות במודל שפה גדול (LLM). הקורס כולל שיעורים תיאורטיים על חיפוש וקטורי והטמעות טקסט, הדגמות מעשיות של פיתוח חיפוש וקטורי ב-Gemini Enterprise Agent Platform ושיעור Lab מעשי.
הבנה ויישום של הטמעות טקסט
Embeddings API ב-Gemini Enterprise Agent Platform יוצר הטמעות טקסט, שהן
ייצוגים מספריים של טקסט שמשמשים למשימות כמו זיהוי פריטים דומים.
בקורס הזה תשתמשו בהטמעות טקסט למשימות כמו סיווג וחיפוש סמנטי, ותשלבו חיפוש סמנטי עם מודלים גדולים של שפה (LLM) כדי ליצור מערכות למענה על שאלות באמצעות Gemini Enterprise Agent Platform.
קורס מקוצר על למידת מכונה: הטמעות בקורס הזה מוצגות הטמעות מילים, בהשוואה לייצוגים דלילים. הוא בוחן שיטות ליצירת הטמעות ומבדיל בין הטמעות סטטיות להטמעות לפי הקשר.
מוצרים קשורים
Gemini Enterprise Agent Platform Embeddings סקירה כללית של Embeddings API. תרחישים לדוגמה של הטמעת טקסט והטמעה מולטי-מודאלית, וגם קישורים למקורות מידע נוספים ולשירותים קשורים של Google Cloud .
Agent Search ranking API ה-API לדירוג מדרג מחדש מסמכים על סמך הרלוונטיות שלהם לשאילתה, באמצעות מודל שפה שעבר אימון מראש, ומספק ציונים מדויקים. הוא אידיאלי לשיפור תוצאות החיפוש ממקורות שונים, כולל חיפוש וקטורי.
Gemini Enterprise Agent Platform Feature Store מאפשר לנהל ולהציג נתוני מאפיינים באמצעות BigQuery כמקור הנתונים. הוא מקצה משאבים למילוי בקשות באופן מיידי, ופועל כשכבת מטא-נתונים כדי להציג את ערכי המאפיינים העדכניים ביותר ישירות מ-BigQuery. Feature Store של Agent Platform מאפשר לאחזר באופן מיידי את ערכי המאפיינים של הפריטים ש-Vector Store החזיר לשאילתות.
תהליכים ב-Agent Platform תהליכים ב-Agent Platform מאפשרים להפוך את מערכות ה-ML לאוטומטיות, לעקוב אחריהן ולנהל אותן בלי שרת (serverless) על ידי תזמור של תהליכי עבודה של ML עם תהליכי ML. אתם יכולים להריץ באצוות פייפליינים של ML שמוגדרים באמצעות Kubeflow Pipelines או TensorFlow Extended (TFX). באמצעות Pipelines אפשר ליצור צינורות עיבוד נתונים אוטומטיים כדי ליצור הטמעות, ליצור ולעדכן אינדקסים של חיפוש וקטורי וליצור הגדרת MLOps למערכות חיפוש והמלצות בסביבת הייצור.
מקורות מידע מעמיקים
Enhancing your gen AI use case with Gemini Enterprise Agent Platform embeddings and task types מתמקד בשיפור אפליקציות של AI גנרטיבי באמצעות הטמעות וסוגי משימות של Gemini Enterprise Agent Platform. אפשר להשתמש בחיפוש וקטורי עם הטמעות של סוגי משימות כדי לשפר את ההקשר והדיוק של התוכן שנוצר על ידי מציאת מידע רלוונטי יותר.
TensorFlow Recommenders ספריית קוד פתוח לבניית מערכות המלצות. הוא מפשט את התהליך מהכנת הנתונים ועד לפריסה, ותומך בבניית מודלים גמישים. ב-TFRS יש מדריכים ומקורות מידע, ואפשר ליצור בעזרתה מודלים מתוחכמים של המלצות.
TensorFlow Ranking TensorFlow Ranking היא ספריית קוד פתוח לבניית מודלים של learning-to-rank (LTR) עצביים שניתנים להתאמה לעומס. הוא תומך בפונקציות שונות של אובדן ובמדדי דירוג, עם יישומים בחיפוש, בהמלצות ובתחומים אחרים. הספרייה מפותחת באופן פעיל על ידי Google AI.
הכרזה על ScaNN: חיפוש יעיל של דמיון וקטורי ScaNN של Google, אלגוריתם לחיפוש יעיל של דמיון וקטורי, משתמש בטכניקה חדשנית כדי לשפר את הדיוק והמהירות במציאת השכנים הקרובים ביותר. הוא עולה בביצועים על שיטות קיימות ויש לו מגוון רחב של יישומים במשימות של למידת מכונה שדורשות חיפוש סמנטי. מאמצי המחקר של Google מתפרסים על פני תחומים שונים, כולל למידת מכונה בסיסית וההשפעות החברתיות של AI.
SOAR: אלגוריתמים חדשים לחיפוש וקטורי מהיר יותר באמצעות ScaNN האלגוריתם SOAR של Google משפר את היעילות של החיפוש הווקטורי על ידי הוספת יתירות מבוקרת, שמאפשרת חיפושים מהירים יותר עם אינדקסים קטנים יותר. SOAR מקצה וקטורים לכמה אשכולות, ויוצרת נתיבי חיפוש "לגיבוי" כדי לשפר את הביצועים.
סרטונים קשורים
איך מתחילים להשתמש בחיפוש וקטורי באמצעות Agent Platform
חיפוש וקטורי הוא כלי יעיל לפיתוח אפליקציות מבוססות-AI. בסרטון הזה מוצגת הטכנולוגיה ומוסבר איך להתחיל להשתמש בה.
איך מבצעים חיפוש משולב באמצעות חיפוש וקטורי
אפשר להשתמש בחיפוש וקטורי לחיפוש היברידי, שמשלב את היכולות של החיפוש הווקטורי עם הגמישות והמהירות של מנוע חיפוש רגיל. בסרטון הזה נציג את החיפוש ההיברידי ונסביר איך להשתמש ב-חיפוש וקטורי לחיפוש היברידי.
אתם כבר משתמשים בחיפוש וקטורי! כך תהפכו למומחים
ידעתם שאתם כנראה משתמשים בחיפוש וקטורי כל יום בלי לשים לב? החיפוש הווקטורי הוא הקסם של ה-AI שמאחורי החוויות היומיומיות האלה – החל ממציאת מוצר חמקמק ברשתות החברתיות ועד לאיתור שיר שנתקע בראש.
הטמעה חדשה של "סוג משימה" מהצוות של DeepMind משפרת את איכות החיפוש של RAG
לשפר את הדיוק והרלוונטיות של מערכות ה-RAG באמצעות הטמעות חדשות של סוגי משימות שפותחו על ידי הצוות של Google DeepMind. בסרטון נסביר על האתגרים הנפוצים באיכות החיפוש של RAG, ואיך הטמעות של סוגי משימות יכולות לגשר ביעילות על הפער הסמנטי בין שאלות לתשובות, וכך לשפר את השליפה ואת הביצועים של RAG.
המונחים של חיפוש וקטורי
הרשימה הבאה מכילה כמה מונחים חשובים שצריך להבין כדי להשתמש בחיפוש וקטורי:
וקטור: וקטור הוא רשימה של ערכי float שיש להם גודל וכיוון. אפשר להשתמש בו כדי לייצג כל סוג של נתונים, כמו מספרים, נקודות במרחב וכיוונים.
הטמעה: הטמעה היא סוג של וקטור שמשמש לייצוג נתונים באופן שמתעד את המשמעות הסמנטית שלהם. בדרך כלל יוצרים הטמעות באמצעות טכניקות של למידת מכונה, ולעיתים קרובות משתמשים בהן בעיבוד שפה טבעית (NLP) ובאפליקציות אחרות של למידת מכונה.
הטמעות צפופות: הטמעות צפופות מייצגות את המשמעות הסמנטית של הטקסט, באמצעות מערכים שמכילים בעיקר ערכים שאינם אפס. בעזרת הטמעות צפופות, אפשר להחזיר תוצאות חיפוש דומות על סמך דמיון סמנטי.
הטמעות דלילות: הטמעות דלילות מייצגות תחביר של טקסט, באמצעות מערכים עם הרבה ממדים שמכילים מעט מאוד ערכים שאינם אפס בהשוואה להטמעות צפופות. הטמעות דלילות משמשות לעיתים קרובות לחיפושים של מילות מפתח.
חיפוש היברידי: חיפוש היברידי משתמש גם בהטמעות צפופות וגם בהטמעות דלילות, וכך מאפשר לחפש על סמך שילוב של חיפוש מילות מפתח וחיפוש סמנטי. החיפוש הווקטורי תומך בחיפוש על סמך הטמעות צפופות, הטמעות דלילות וחיפוש היברידי.
אינדקס: אוסף של וקטורים שנפרסים יחד לצורך חיפוש דמיון. אפשר להוסיף וקטורים לאינדקס או להסיר אותם ממנו. שאילתות חיפוש דמיון נשלחות לאינדקס ספציפי ומחפשות את הווקטורים באינדקס הזה.
אמת קרקע (ground truth): מונח שמתייחס לאימות של למידת מכונה כדי לוודא שהיא מדויקת בהשוואה לעולם האמיתי, כמו קבוצת נתונים של אמת קרקע.
אחזור: אחוז השכנים הקרובים שהאינדקס מחזיר, שהם באמת השכנים הקרובים ביותר. לדוגמה, אם שאילתה ל-20 השכנים הקרובים ביותר החזירה 19 מהשכנים הקרובים ביותר של אמת הקרקע, ה-recall הוא 19/20x100 = 95%.
הגבלה: תכונה שמגבילה את החיפושים לקבוצת משנה של האינדקס באמצעות כללים בוליאניים. הגבלה נקראת גם "סינון". בחיפוש וקטורי אפשר להשתמש בסינון מספרי ובסינון לפי מאפייני טקסט.