Vector Search הוא מנוע חיפוש וקטורי עוצמתי שמבוסס על טכנולוגיה פורצת דרך שפותחה על ידי צוות המחקר של Google. בעזרת אלגוריתם ScaNN, Vector Search מאפשר לכם ליצור מערכות חיפוש והמלצות מהדור הבא, וגם אפליקציות AI גנרטיבי.
אתם יכולים ליהנות מאותם מחקרים וטכנולוגיות שמפעילים את מוצרי הליבה של Google, כולל חיפוש Google, YouTube ו-Google Play. המשמעות היא שאתם מקבלים את יכולת ההתאמה, הזמינות והביצועים שנדרשים כדי לטפל במערכי נתונים עצומים ולספק תוצאות מהירות מאוד בקנה מידה גלובלי. עם Vector Search, יש לכם פתרון ברמת הארגון להטמעה של יכולות חיפוש סמנטיות מתקדמות באפליקציות שלכם.
|
|
Infinite Fleurs: Discover AI-assisted creativity in full bloom |
|
שנתחיל?
הדגמה אינטראקטיבית של חיפוש וקטורי: כדאי לעיין בהדגמה כדי לראות דוגמה מציאותית למה שאפשר לעשות עם טכנולוגיית חיפוש וקטורי, ולהתחיל להשתמש בחיפוש וקטורי.
מדריך למתחילים בנושא חיפוש וקטורי: תוכלו לנסות חיפוש וקטורי תוך 30 דקות על ידי יצירה, פריסה ושאילתה של אינדקס חיפוש וקטורי באמצעות מערך נתונים לדוגמה. במדריך הזה מוסבר איך להגדיר, להכין נתונים, ליצור אינדקס, לפרוס, להריץ שאילתות ולנקות.
לפני שמתחילים: צריך להכין את ההטמעות על ידי בחירה ואימון של מודל והכנת הנתונים. לאחר מכן בוחרים נקודת קצה ציבורית או פרטית לפריסת אינדקס השאילתות.
תמחור של Vector Search ומחשבון תמחור: התמחור של Vector Search כולל את העלות של מכונות וירטואליות שמשמשות לאירוח של אינדקסים שנפרסו, וגם הוצאות על בנייה ועדכון של אינדקסים. גם הגדרה מינימלית (בפחות מ-100 $לחודש) יכולה להתאים לתרחישי שימוש בגודל בינוני עם תפוקה גבוהה. כדי לאמוד את העלויות החודשיות:
- נכנסים אל מחשבון התמחור של Google Cloud.
- לוחצים על הוספה לאומדן.
- מחפשים את Gemini Enterprise Agent Platform.
- לוחצים על הלחצן Gemini Enterprise Agent Platform.
- בתפריט הנפתח Service type (סוג השירות), בוחרים באפשרות Gemini Enterprise Agent Platform Vector Search (חיפוש וקטורי ב-Gemini Enterprise Agent Platform).
- משאירים את הגדרות ברירת המחדל או מגדירים הגדרות משלכם. העלות החודשית המשוערת מוצגת בחלונית Cost details.
מאמרי עזרה
ניהול אינדקסים ונקודות קצה
נושאים מתקדמים
תרחישי שימוש ובלוגים
טכנולוגיית חיפוש וקטורי הופכת למרכזית עבור עסקים שמשתמשים ב-AI. בדומה לאופן שבו מסדי נתונים רלציוניים פועלים במערכות IT, היא מקשרת בין רכיבים עסקיים שונים כמו מסמכים, תוכן, מוצרים, משתמשים, אירועים וישויות אחרות על סמך הרלוונטיות שלהם. מעבר לחיפוש במדיה רגילה כמו מסמכים ותמונות, חיפוש וקטורי יכול גם להפעיל המלצות חכמות, להתאים בעיות עסקיות לפתרונות ואפילו לקשר בין אותות IoT להתראות ניטור. זהו כלי רב-תכליתי שחיוני להתמצאות בנוף המתפתח של נתונים ארגוניים שמבוססים על AI.
|
חיפוש / אחזור מידע
מערכות |
איך חיפוש וקטורים ב-Gemini Enterprise Agent Platform עוזר לפתח אפליקציות AI גנרטיבי עם ביצועים גבוהים: חיפוש וקטורים מפעיל מגוון אפליקציות, כולל מסחר אלקטרוני, מערכות RAG ומנועי המלצות, בנוסף לצ'אטבוטים, חיפוש מולטימודאלי ועוד. חיפוש היברידי משפר עוד יותר את התוצאות למונחים נישתיים. לקוחות כמו Bloomreach, eBay ו-Mercado Libre משתמשים ב-Gemini Enterprise Agent Platform בגלל הביצועים, יכולת ההתאמה והחסכוניות שלה. הם נהנים מיתרונות כמו חיפוש מהיר יותר והגדלת ההמרות. eBay משתמשת בחיפוש וקטורי להמלצות: המאמר מתאר איך eBay משתמשת בחיפוש וקטורי במערכת ההמלצות שלה. הטכנולוגיה הזו מאפשרת ל-eBay למצוא מוצרים דומים בקטלוג הנרחב שלה, וכך לשפר את חוויית המשתמש. חברת Mercari משתמשת בטכנולוגיית חיפוש וקטורי של Google כדי ליצור שוק חדש: המאמר מסביר איך Mercari משתמשת בחיפוש וקטורי כדי לשפר את פלטפורמת השוק החדשה שלה. החיפוש הווקטורי מפעיל את ההמלצות בפלטפורמה, ועוזר למשתמשים למצוא מוצרים רלוונטיים בצורה יעילה יותר. Gemini Enterprise Agent Platform Embeddings for Text: Grounding LLMs made easy: המאמר מתמקד בהארקה של מודלים מסוג LLM באמצעות Gemini Enterprise Agent Platform Embeddings לנתוני טקסט. חיפוש וקטורי ממלא תפקיד חשוב באיתור קטעי טקסט רלוונטיים שמבטיחים שהתשובות של המודל מבוססות על מידע עובדתי. מהו חיפוש מרובה מצבים: "מודלי LLM עם ראייה" משנים את העסקים: מאמר על חיפוש מרובה מצבים, שמשלב מודלי LLM עם הבנה חזותית. הוא מסביר איך Vector Search מעבד ומשווה נתוני טקסט ותמונות, וכך מאפשר חוויות חיפוש מקיפות יותר. שימוש בחיפוש מולטי-מודאלי בהיקף נרחב: שילוב של טקסט ותמונות באמצעות Gemini Enterprise Agent Platform: מאמר שמתאר איך ליצור מנוע חיפוש מולטי-מודאלי באמצעות Gemini Enterprise Agent Platform, שמשלב חיפוש של טקסט ותמונות באמצעות שיטת הרכבה משוקללת של Rank-Biased Reciprocal Rank. כך משפרים את חוויית המשתמש ומספקים תוצאות רלוונטיות יותר. הגדלת היקף האחזור העמוק באמצעות TensorFlow Recommenders ו-Vector Search: הסבר על יצירת מערכת המלצות לפלייליסטים באמצעות TensorFlow Recommenders ו-Vector Search, כולל מודלים של אחזור עמוק, אימון, פריסה והרחבה. |
|
AI גנרטיבי: אחזור ל-RAG ולסוכנים |
Gemini Enterprise Agent Platform ו-Denodo מאפשרים גישה לנתונים ארגוניים באמצעות AI גנרטיבי: המאמר הזה מציג איך השילוב של Gemini Enterprise Agent Platform עם Denodo מאפשר לעסקים להשתמש ב-AI גנרטיבי כדי לקבל תובנות מהנתונים שלהם. חיפוש וקטורי הוא מרכיב מרכזי בגישה יעילה לנתונים רלוונטיים בסביבה ארגונית ובניתוח שלהם. Infinite Nature and the nature of industries: This 'wild' demo shows the diverse possibilities of AI: הדגמה שממחישה את הפוטנציאל של AI בתעשיות שונות. הוא משתמש בחיפוש וקטורי כדי לספק המלצות גנרטיביות וחיפוש סמנטי רב-אופני. Infinite Fleurs: גלו יצירתיות בעזרת AI בשיא פריחתה: Infinite Fleurs של Google, ניסוי AI שמתבסס על חיפוש וקטורי, מודלים של Gemini, יוצר זרי פרחים ייחודיים על סמך הנחיות של משתמשים. הטכנולוגיה הזו מדגימה את הפוטנציאל של AI לעורר השראה ליצירתיות במגוון תעשיות. LlamaIndex ל-RAG ב-Google Cloud: מאמר שמסביר איך להשתמש ב-LlamaIndex כדי להקל על יצירת מידע בעזרת אחזור (RAG) באמצעות מודלים גדולים של שפה. LlamaIndex משתמש בחיפוש וקטורי כדי לאחזר מידע רלוונטי ממאגר ידע, וכך ליצור תשובות מדויקות יותר ומתאימות יותר להקשר. RAG and grounding on Gemini Enterprise Agent Platform: במאמר הזה מוסבר על טכניקות RAG ו-grounding ב-Gemini Enterprise Agent Platform. חיפוש וקטורי עוזר לזהות מידע רלוונטי במהלך השליפה, מה שהופך את התוכן שנוצר למדויק ומהימן יותר. Vector Search on LangChain: מדריך לשימוש ב-Vector Search עם LangChain לבנייה ולפריסה של אינדקס של מסד נתונים וקטורי לנתוני טקסט, כולל מענה על שאלות ועיבוד קובצי PDF. |
|
BI, ניתוח נתונים, מעקב ועוד |
הפעלת AI בזמן אמת באמצעות הטמעה של נתוני סטרימינג בפלטפורמת Agent: המאמר מסביר על עדכון נתוני סטרימינג בחיפוש וקטורי ואיך הוא מספק יכולות AI בזמן אמת. הטכנולוגיה הזו מאפשרת עיבוד וניתוח בזמן אמת של נתוני סטרימינג נכנסים. |
מקורות מידע שקשורים לנושא
כדי להתחיל להשתמש ב-Vector Search, אפשר להיעזר במקורות המידע הבאים:
מחברות ופתרונות
|
|
|
Agent Platform Vector Search Quickstart: סקירה כללית של Vector Search. הוא מיועד למשתמשים חדשים בפלטפורמה שרוצים להתחיל להשתמש בה במהירות. |
תחילת העבודה עם הטמעות של טקסט וחיפוש וקטורי: הסבר על הטמעות של טקסט וחיפוש וקטורי. במאמר מוסבר איך הטכנולוגיות האלה פועלות ואיך אפשר להשתמש בהן כדי לשפר את תוצאות החיפוש. |
|
|
|
שילוב של חיפוש סמנטי וחיפוש מילות מפתח: הדרכה בנושא חיפוש היברידי באמצעות Gemini Enterprise Agent Platform חיפוש וקטורי: הוראות לשימוש בחיפוש וקטורי לחיפוש היברידי. המאמר כולל את השלבים להגדרה של מערכת חיפוש היברידית. |
מנוע RAG בפלטפורמת הסוכנים של Gemini Enterprise עם חיפוש וקטורי: המאמר הזה מסביר על השימוש במנוע RAG עם חיפוש וקטורי. הוא מתאר את היתרונות של שימוש משולב בשתי הטכנולוגיות האלה ומספק דוגמאות לאופן השימוש בהן באפליקציות מהעולם האמיתי. |
|
|
|
תשתית לאפליקציית AI גנרטיבי עם יכולות RAG באמצעות Gemini Enterprise Agent Platform ו-Vector Search: פירוט הארכיטקטורה ליצירת אפליקציית AI גנרטיבי ו-RAG באמצעות Vector Search, Cloud Run ו-Cloud Storage, כולל תרחישי שימוש, בחירות עיצוביות ושיקולים חשובים. |
הטמעה של שליפת מידע באמצעות מודל דו-ראשי ליצירת מועמדים בקנה מידה גדול: מאמר שמציג ארכיטקטורת הפניה שמסבירה איך להטמיע תהליך עבודה מקצה לקצה ליצירת מועמדים באמצעות מודל דו-ראשי עם Gemini Enterprise Agent Platform. מסגרת המודלים הדו-ראשיים היא טכניקה יעילה לשליפת מידע לתרחישי שימוש בהתאמה אישית, כי היא לומדת את הדמיון הסמנטי בין שתי ישויות שונות, כמו שאילתות באינטרנט ופריטים מועמדים. |
הדרכה
תחילת העבודה עם חיפוש וקטורי והטמעות חיפוש וקטורי משמש למציאת פריטים דומים או קשורים. אפשר להשתמש בו להמלצות, לחיפוש, לצ'אטבוטים ולסיווג טקסט. התהליך כולל יצירת הטמעות, העלאה שלהן ל- Google Cloudואינדוקס שלהן לצורך שאילתות. בשיעור ה-Lab הזה נתמקד בהטמעות של טקסט באמצעות Gemini Enterprise Agent Platform, אבל אפשר ליצור הטמעות גם לסוגי נתונים אחרים.
Vector Search and Embeddings בקורס הזה נציג את Vector Search ונסביר איך אפשר להשתמש בו כדי ליצור אפליקציית חיפוש עם ממשקי API של מודלים גדולים של שפה (LLM) להטמעות. הקורס כולל שיעורים תיאורטיים בנושא Vector Search ו-text embeddings, הדגמות מעשיות של בניית Vector Search ב-Gemini Enterprise Agent Platform ושיעור Lab מעשי.
הסבר על הטמעות טקסט ושימוש בהן
ממשק Gemini Enterprise Agent Platform Embeddings API יוצר הטמעות טקסט, שהן
ייצוגים מספריים של טקסט שמשמשים למשימות כמו זיהוי פריטים דומים.
בקורס הזה תשתמשו בהטמעות של טקסט למשימות כמו סיווג וחיפוש סמנטי, ותשלבו חיפוש סמנטי עם LLM כדי לבנות מערכות למענה על שאלות באמצעות Gemini Enterprise Agent Platform.
קורס מקוצר על למידת מכונה: הטמעות בקורס הזה מוצגות הטמעות מילים, ומוסבר ההבדל בינן לבין ייצוגים מפוזרים. במאמר מוסבר על שיטות ליצירת הטמעות, ומוצג ההבדל בין הטמעות סטטיות להטמעות לפי הקשר.
מוצרים קשורים
Gemini Enterprise Agent Platform Embeddings סקירה כללית של Embeddings API. תרחישים לדוגמה לשימוש בהטמעה של טקסט ושל נתונים ממספר מקורות, וגם קישורים למקורות מידע נוספים ולשירותים קשורים. Google Cloud
Agent Search ranking API ה-API לדירוג מסדר מחדש מסמכים על סמך הרלוונטיות שלהם לשאילתה באמצעות מודל שפה שאומן מראש, ומספק ציונים מדויקים. הוא אידיאלי לשיפור תוצאות החיפוש ממקורות שונים, כולל Vector Search.
מאגר התכונות של פלטפורמת הסוכנים של Gemini Enterprise מאפשר לכם לנהל ולהציג נתוני תכונות באמצעות BigQuery כמקור הנתונים. הוא מקצה משאבים להצגה אונליין, ופועל כשכבת מטא-נתונים להצגת ערכי התכונות העדכניים ישירות מ-BigQuery. מאגר התכונות מאפשר שליפה מיידית של ערכי התכונות של הפריטים שמאגר הווקטורים החזיר לשאילתות.
Agent Platform Pipelines Agent Platform Pipelines מאפשרת להפוך את מערכות למידת המכונה לאוטומטיות, לנהל אותן ולפקח עליהן באופן שאינו דורש שרתים, באמצעות תזמור של תהליכי עבודה של למידת מכונה עם צינורות עיבוד נתונים של למידת מכונה. אתם יכולים להריץ צינורות עיבוד נתונים של למידת מכונה שהוגדרו באמצעות Kubeflow Pipelines או TensorFlow Extended (TFX) framework באצוות. Pipelines מאפשרת ליצור צינורות עיבוד נתונים אוטומטיים כדי ליצור הטמעות, ליצור ולעדכן אינדקסים של חיפוש וקטורי, וליצור הגדרת MLOps למערכות חיפוש והמלצות לייצור.
מידע מעמיק
שיפור תרחיש השימוש ב-AI גנרטיבי באמצעות הטמעות וסוגי משימות של Gemini Enterprise Agent Platform המאמר מתמקד בשיפור אפליקציות של AI גנרטיבי באמצעות הטמעות וסוגי משימות של Gemini Enterprise Agent Platform. אפשר להשתמש בחיפוש וקטורי עם הטמעות של סוגי משימות כדי לשפר את ההקשר והדיוק של התוכן שנוצר על ידי מציאת מידע רלוונטי יותר.
TensorFlow Recommenders ספרייה של קוד פתוח לבניית מערכות המלצה. הוא מפשט את התהליך מהכנת הנתונים ועד לפריסה, ותומך ביצירת מודלים גמישים. הכלי TFRS מציע מדריכים ומשאבים, ומאפשר ליצור מודלים מתוחכמים של המלצות.
TensorFlow Ranking TensorFlow Ranking היא ספריית קוד פתוח ליצירת מודלים של learning-to-rank (LTR) עצביים שניתנים להרחבה. הספרייה תומכת בפונקציות שונות של הפסדים ובמדדי דירוג, ויש לה יישומים בחיפוש, בהמלצות ובתחומים אחרים. הספרייה נמצאת בפיתוח פעיל על ידי AI מבית Google.
השקה של ScaNN: חיפוש יעיל של דמיון וקטורי ScaNN של Google הוא אלגוריתם לחיפוש יעיל של דמיון וקטורי. הוא משתמש בטכניקה חדשנית כדי לשפר את הדיוק והמהירות במציאת השכנים הקרובים ביותר. השיטה הזו עדיפה על שיטות קיימות, ויש לה יישומים רבים במשימות של למידת מכונה שדורשות חיפוש סמנטי. המחקרים של Google מתפרסים על פני תחומים שונים, כולל למידת מכונה בסיסית וההשפעות החברתיות של AI.
SOAR: אלגוריתמים חדשים לחיפוש וקטורי מהיר עוד יותר באמצעות ScaNN אלגוריתם SOAR של Google משפר את היעילות של חיפוש וקטורי באמצעות הוספת יתירות מבוקרת, ומאפשר חיפושים מהירים יותר עם אינדקסים קטנים יותר. אלגוריתם SOAR מקצה וקטורים לכמה אשכולות, ויוצר נתיבי חיפוש של גיבוי לשיפור הביצועים.
סרטונים קשורים
תחילת העבודה עם Vector Search באמצעות Agent Platform
חיפוש וקטורי הוא כלי רב עוצמה לבניית אפליקציות מבוססות-AI. בסרטון הזה מוצגת הטכנולוגיה ומוסבר איך להתחיל להשתמש בה.
מידע על חיפוש היברידי באמצעות Vector Search
אפשר להשתמש בחיפוש וקטורי לחיפוש היברידי, וכך לשלב בין העוצמה של חיפוש וקטורי לבין הגמישות והמהירות של מנוע חיפוש רגיל. בסרטון הזה מוצג חיפוש היברידי ומוסבר איך להשתמש ב-Vector Search לחיפוש היברידי.
כבר משתמשים ב-Vector Search? כך תוכלו להפוך למומחים
ידעתם שאתם כנראה משתמשים בחיפוש וקטורי כל יום בלי לשים לב? מחיפוש מוצר חמקמק ברשתות החברתיות ועד לאיתור שיר שנתקע לכם בראש – חיפוש וקטורי הוא הקסם של ה-AI שמאחורי הפעולות היומיומיות האלה.
הטמעה חדשה של 'סוג משימה' מצוות DeepMind משפרת את איכות החיפוש של RAG
משפרים את הדיוק והרלוונטיות של מערכות RAG באמצעות הטמעות חדשות של סוגי משימות שפותחו על ידי צוות Google DeepMind. בסרטון הזה נסביר על האתגרים הנפוצים באיכות החיפוש של RAG ואיך הטמעות של סוגי משימות יכולות לגשר ביעילות על הפער הסמנטי בין שאלות לתשובות, וכך לשפר את האחזור ואת הביצועים של RAG.
מינוח של Vector Search
הרשימה הזו כוללת כמה מונחים חשובים שצריך להבין כדי להשתמש בחיפוש וקטורי:
וקטור: וקטור הוא רשימה של ערכים מסוג float שיש להם גודל וכיוון. אפשר להשתמש בו כדי לייצג כל סוג של נתונים, כמו מספרים, נקודות במרחב וכיוונים.
הטמעה: הטמעה היא סוג של וקטור שמשמש לייצוג נתונים באופן שמשקף את המשמעות הסמנטית שלהם. בדרך כלל, הטמעות נוצרות באמצעות טכניקות של למידת מכונה, והן משמשות לעיתים קרובות בעיבוד שפה טבעית (NLP) ובאפליקציות אחרות של למידת מכונה.
הטמעות צפופות: הטמעות צפופות מייצגות את המשמעות הסמנטית של טקסט, באמצעות מערכים שמכילים בעיקר ערכים שאינם אפס. באמצעות הטמעות צפופות, אפשר להחזיר תוצאות חיפוש דומות על סמך דמיון סמנטי.
הטמעות דלילות: הטמעות דלילות מייצגות תחביר של טקסט באמצעות מערכים רב-ממדיים שמכילים מעט מאוד ערכים שונים מאפס, בהשוואה להטמעות צפופות. הטמעות דלילות משמשות בדרך כלל לחיפושים של מילות מפתח.
חיפוש היברידי: חיפוש היברידי משתמש בהטמעות צפופות ודלילות, כך שאפשר לחפש על סמך שילוב של חיפוש מילות מפתח וחיפוש סמנטי. התכונה Vector Search תומכת בחיפוש שמבוסס על הטמעות צפופות, הטמעות דלילות וחיפוש היברידי.
אינדקס: אוסף של וקטורים שנפרסו יחד לחיפוש דמיון. אפשר להוסיף וקטורים לאינדקס או להסיר אותם ממנו. שאילתות של חיפוש דמיון מופנות לאינדקס ספציפי ומחפשות את הווקטורים באינדקס הזה.
נתוני אמת: מונח שמתייחס לאימות של למידת מכונה לצורך דיוק בהשוואה לעולם האמיתי, כמו קבוצת נתוני אמת.
Recall: אחוז השכנים הקרובים ביותר שמוחזרים על ידי האינדקס, שהם למעשה השכנים הקרובים ביותר. לדוגמה, אם שאילתת השכנים הקרובים ביותר ל-20 שכנים קרובים ביותר החזירה 19 מהשכנים הקרובים ביותר של נתוני האמת, ערך ה-recall הוא 19/20x100 = 95%.
הגבלה: תכונה שמגבילה את החיפושים לקבוצת משנה של האינדקס באמצעות כללים בוליאניים. הגבלה נקראת גם 'סינון'. באמצעות חיפוש וקטורי, אפשר להשתמש בסינון מספרי ובסינון מאפייני טקסט.