חיפוש וקטורי הוא מנוע חיפוש וקטורי מתקדם שמבוסס על טכנולוגיה פורצת דרך שפותחה על ידי צוות המחקר של Google. בעזרת האלגוריתם ScaNN, חיפוש וקטורי מאפשר לכם לבנות מערכות חיפוש והמלצות מהדור הבא, וגם אפליקציות AI גנרטיבי.
אתם יכולים ליהנות מאותם מחקרים וטכנולוגיות שמפעילים את מוצרי הליבה של Google, כולל חיפוש Google, YouTube ו-Google Play. המשמעות היא שאתם מקבלים את הגמישות, הזמינות והביצועים שנדרשים כדי לטפל במערכי נתונים עצומים ולספק תוצאות מהירות מאוד בקנה מידה גלובלי. בעזרת Vector Search, אתם יכולים להטמיע יכולות מתקדמות של חיפוש סמנטי באפליקציות שלכם. זהו פתרון ברמה ארגונית.
|
|
Infinite Fleurs: Discover AI-assisted creativity in full bloom |
|
שנתחיל?
הדגמה אינטראקטיבית של חיפוש וקטורי: כדאי לעיין בהדגמה כדי לראות דוגמה מציאותית למה שאפשר לעשות עם טכנולוגיית חיפוש וקטורי, ולהתחיל להשתמש בחיפוש וקטורי.
מדריך למתחילים בנושא חיפוש וקטורי: תוכלו לנסות חיפוש וקטורי תוך 30 דקות על ידי בנייה, פריסה ושאילתה של אינדקס חיפוש וקטורי באמצעות מערך נתונים לדוגמה. במדריך הזה מוסבר איך לבצע הגדרה, הכנת נתונים, יצירת אינדקס, פריסה, שליחת שאילתות וניקוי.
לפני שמתחילים: צריך להכין את ההטמעות על ידי בחירה ואימון של מודל והכנת הנתונים. לאחר מכן בוחרים נקודת קצה ציבורית או פרטית לפריסת אינדקס השאילתות.
תמחור של חיפוש וקטורי ומחשבון תמחור: התמחור של חיפוש וקטורי כולל את העלות של מכונות וירטואליות שמשמשות לאירוח של אינדקסים שנפרסו, וגם את ההוצאות על בנייה ועדכון של אינדקסים. גם הגדרה מינימלית (בפחות מ-100 $לחודש) יכולה להתאים לתרחישי שימוש בגודל בינוני עם תפוקה גבוהה. כדי לאמוד את העלויות החודשיות:
- נכנסים אל מחשבון התמחור של Google Cloud.
- לוחצים על הוספה לאומדן.
- מחפשים את Gemini Enterprise Agent Platform.
- לוחצים על הלחצן Gemini Enterprise Agent Platform.
- בתפריט הנפתח Service type (סוג השירות), בוחרים באפשרות Gemini Enterprise Agent Platform Vector Search (חיפוש וקטורי ב-Gemini Enterprise Agent Platform).
- משאירים את הגדרות ברירת המחדל או מגדירים הגדרות משלכם. העלות החודשית המשוערת מוצגת בחלונית Cost details.
מאמרי עזרה
ניהול אינדקסים ונקודות קצה
נושאים מתקדמים
תרחישי שימוש ובלוגים
טכנולוגיית חיפוש וקטורי הופכת למרכז חשוב לעסקים שמשתמשים ב-AI. בדומה לאופן הפעולה של מסדי נתונים רלציוניים במערכות IT, הוא מקשר בין רכיבים עסקיים שונים כמו מסמכים, תוכן, מוצרים, משתמשים, אירועים וישויות אחרות על סמך הרלוונטיות שלהם. בנוסף לחיפוש מדיה רגילה כמו מסמכים ותמונות, חיפוש וקטורי יכול גם להפעיל המלצות חכמות, להתאים בעיות עסקיות לפתרונות ואפילו לקשר בין אותות של IoT להתראות ניטור. זהו כלי רב-תכליתי שחיוני להתמצאות בסביבה המתפתחת של נתונים ארגוניים מבוססי-AI.
|
חיפוש / אחזור מידע
מערכות |
איך חיפוש וקטורי ב-Gemini Enterprise Agent Platform עוזר לפתח אפליקציות AI גנרטיבי עם ביצועים גבוהים: חיפוש וקטורי מפעיל מגוון אפליקציות, כולל מסחר אלקטרוני, מערכות RAG ומנועי המלצות, בנוסף לצ'אטבוטים, חיפוש מולטימודאלי ועוד. חיפוש היברידי משפר עוד יותר את התוצאות למונחים נישתיים. לקוחות כמו Bloomreach, eBay ו-Mercado Libre משתמשים ב-Gemini Enterprise Agent Platform בגלל הביצועים, יכולת ההתאמה והיעילות שלה מבחינת עלות. הם נהנים מיתרונות כמו חיפוש מהיר יותר והמרות רבות יותר. eBay משתמשת בחיפוש וקטורי להמלצות: מאמר שמסביר איך eBay משתמשת בחיפוש וקטורי במערכת ההמלצות שלה. הטכנולוגיה הזו מאפשרת ל-eBay למצוא מוצרים דומים בקטלוג הנרחב שלה, וכך לשפר את חוויית המשתמש. חברת Mercari משתמשת בטכנולוגיית החיפוש הווקטורי של Google כדי ליצור שוק חדש: במאמר מוסבר איך Mercari משתמשת בחיפוש וקטורי כדי לשפר את פלטפורמת השוק החדשה שלה. החיפוש הווקטורי מפעיל את ההמלצות בפלטפורמה, ועוזר למשתמשים למצוא מוצרים רלוונטיים בצורה יעילה יותר. Gemini Enterprise Agent Platform Embeddings for Text: Grounding LLMs made easy: המאמר מתמקד בהארקה של מודלים גדולים של שפה (LLM) באמצעות Gemini Enterprise Agent Platform Embeddings לנתוני טקסט. חיפוש וקטורי ממלא תפקיד חשוב באיתור קטעי טקסט רלוונטיים, כדי להבטיח שהתשובות של המודל יתבססו על מידע עובדתי. מהו חיפוש מולטי-מודאלי: 'מודלי LLM עם ראייה' משנים את העסקים: מאמר על חיפוש מולטי-מודאלי, שמשלב מודלי LLM עם הבנה חזותית. הוא מסביר איך Vector Search מעבד ומשווה נתוני טקסט ותמונות, וכך מאפשר חוויות חיפוש מקיפות יותר. שימוש בחיפוש מולטי-מודאלי בהיקף נרחב: שילוב של טקסט ותמונות באמצעות Gemini Enterprise Agent Platform: מאמר שמתאר איך ליצור מנוע חיפוש מולטי-מודאלי באמצעות Gemini Enterprise Agent Platform, שמשלב חיפוש של טקסט ותמונות באמצעות שיטת הרכבה משוקללת של Rank-Biased Reciprocal Rank. כך משפרים את חוויית המשתמש ומספקים תוצאות רלוונטיות יותר. הגדלת היקף האחזור העמוק באמצעות TensorFlow Recommenders ו-חיפוש וקטורי: הסבר על בניית מערכת להמלצות על פלייליסטים באמצעות TensorFlow Recommenders ו-חיפוש וקטורי, כולל מודלים של אחזור עמוק, אימון, פריסה והרחבה. |
|
AI גנרטיבי: אחזור ל-RAG ולסוכנים |
Gemini Enterprise Agent Platform ו-Denodo מאפשרים גישה לנתונים ארגוניים באמצעות AI גנרטיבי: במאמר הזה מוסבר איך השילוב של Gemini Enterprise Agent Platform עם Denodo מאפשר לעסקים להשתמש ב-AI גנרטיבי כדי להפיק תובנות מהנתונים שלהם. חיפוש וקטורי הוא כלי חשוב לגישה יעילה לנתונים רלוונטיים ולניתוח שלהם בסביבה ארגונית. Infinite Nature and the nature of industries: This 'wild' demo shows the diverse possibilities of AI: הדגמה שממחישה את הפוטנציאל של AI בתעשיות שונות. הוא משתמש בחיפוש וקטורי כדי להציג המלצות גנרטיביות וחיפוש סמנטי מולטי-מודאלי. Infinite Fleurs: גלו יצירתיות בעזרת AI בשיא פריחתה: Infinite Fleurs של Google, ניסוי AI שמתבסס על חיפוש וקטורי, על מודלים של Gemini, ומייצר זרי פרחים ייחודיים על סמך הנחיות של משתמשים. הטכנולוגיה הזו מדגימה את הפוטנציאל של AI לעורר השראה ליצירתיות במגוון תעשיות. LlamaIndex for RAG on Google Cloud: מאמר שמסביר איך להשתמש ב-LlamaIndex כדי להקל על יצירה משולבת-אחזור (RAG) באמצעות מודלים גדולים של שפה (LLM). LlamaIndex משתמש בחיפוש וקטורי כדי לאחזר מידע רלוונטי ממאגר ידע, וכך ליצור תשובות מדויקות יותר ומתאימות יותר להקשר. RAG and grounding on Gemini Enterprise Agent Platform: סקירה של טכניקות RAG ו-grounding ב-Gemini Enterprise Agent Platform. חיפוש וקטורי עוזר לזהות מידע רלוונטי במהלך השליפה, וכך התוכן שנוצר מדויק ומהימן יותר. Vector Search on LangChain: מדריך לשימוש ב-Vector Search עם LangChain ליצירה ולפריסה של אינדקס של מסד נתונים וקטורי לנתוני טקסט, כולל מענה על שאלות ועיבוד קובצי PDF. |
|
BI, ניתוח נתונים, מעקב ועוד |
הפעלת AI בזמן אמת באמצעות הטמעת עדכונים בזמן אמת ב-Agent Platform: המאמר מסביר על Streaming Update בחיפוש וקטורי ואיך הוא מספק יכולות AI בזמן אמת. הטכנולוגיה הזו מאפשרת עיבוד וניתוח בזמן אמת של סטרים של נתונים נכנסים. |
מקורות מידע שקשורים לנושא
כדי להתחיל להשתמש בחיפוש וקטורי, אפשר להיעזר במקורות המידע הבאים:
מחברות ופתרונות
|
|
|
Agent Platform מדריך למתחילים לחיפוש וקטורי: סקירה כללית של חיפוש וקטורי. הוא מיועד למשתמשים חדשים בפלטפורמה שרוצים להתחיל להשתמש בה במהירות. |
תחילת העבודה עם הטמעות טקסט וחיפוש וקטורי: הסבר על הטמעות טקסט וחיפוש וקטורי. במאמר הזה מוסבר איך הטכנולוגיות האלה פועלות ואיך אפשר להשתמש בהן כדי לשפר את תוצאות החיפוש. |
|
|
|
שילוב של חיפוש סמנטי וחיפוש מילות מפתח: הדרכה בנושא חיפוש היברידי באמצעות Gemini Enterprise Agent Platform חיפוש וקטורי: הוראות לשימוש בחיפוש וקטורי לחיפוש היברידי. המאמר כולל את השלבים להגדרה של מערכת חיפוש היברידית. |
RAG Engine ב-Gemini Enterprise Agent Platform עם חיפוש וקטורי: הסבר על השימוש ב-RAG Engine עם חיפוש וקטורי. במאמר מוסבר על היתרונות של שימוש משולב בשתי הטכנולוגיות האלה, ומוצגות דוגמאות לשימוש בהן ביישומים בעולם האמיתי. |
|
|
|
תשתית לאפליקציית AI גנרטיבי עם יכולות RAG באמצעות Gemini Enterprise Agent Platform ו-Vector Search: פירוט הארכיטקטורה ליצירת אפליקציית AI גנרטיבי ו-RAG באמצעות Vector Search, Cloud Run ו-Cloud Storage, כולל תרחישי שימוש, אפשרויות עיצוב ושיקולים חשובים. |
הטמעה של שליפה דו-שלבית ליצירת מועמדים בקנה מידה גדול: מספקת ארכיטקטורת הפניה שמראה איך להטמיע תהליך עבודה של יצירת מועמדים דו-שלבי מקצה לקצה באמצעות Gemini Enterprise Agent Platform. מסגרת המודלים של שני מגדלים היא טכניקת אחזור יעילה לתרחישי שימוש בהתאמה אישית, כי היא לומדת את הדמיון הסמנטי בין שתי ישויות שונות, כמו שאילתות באינטרנט ופריטים פוטנציאליים. |
הדרכה
תחילת העבודה עם חיפוש וקטורי והטמעות חיפוש וקטורי משמש למציאת פריטים דומים או קשורים. אפשר להשתמש בו להמלצות, לחיפוש, לצ'אטבוטים ולסיווג טקסט. התהליך כולל יצירת הטמעות, העלאה שלהן ל- Google Cloudואינדוקס שלהן לצורך שאילתות. המעבדה הזו מתמקדת בהטמעות של טקסט באמצעות Gemini Enterprise Agent Platform, אבל אפשר ליצור הטמעות גם לסוגי נתונים אחרים.
Vector Search and Embeddings בקורס הזה נציג את Vector Search ונסביר איך אפשר להשתמש בו כדי לפתח אפליקציית חיפוש עם ממשקי API של מודלים גדולים של שפה (LLM) להטמעה. הקורס כולל שיעורים תיאורטיים על חיפוש וקטורי והטמעות טקסט, הדגמות מעשיות על בניית חיפוש וקטורי ב-Gemini Enterprise Agent Platform ושיעור Lab מעשי.
הסבר על הטמעות טקסט ושימוש בהן
ממשק Gemini Enterprise Agent Platform Embeddings API יוצר הטמעות טקסט, שהן
ייצוגים מספריים של טקסט שמשמשים למשימות כמו זיהוי פריטים דומים.
בקורס הזה תשתמשו בהטמעות של טקסט למשימות כמו סיווג וחיפוש סמנטי, ותשלבו חיפוש סמנטי עם LLM כדי לבנות מערכות למענה על שאלות באמצעות Gemini Enterprise Agent Platform.
קורס מקוצר על למידת מכונה: הטמעות בקורס הזה מוצגות הטמעות מילים, ומוסבר ההבדל בינן לבין ייצוגים מפוזרים. במאמר מוסבר על שיטות ליצירת הטמעות, ומוצג ההבדל בין הטמעות סטטיות להטמעות לפי הקשר.
מוצרים קשורים
Gemini Enterprise Agent Platform Embeddings סקירה כללית של Embeddings API. תרחישים לדוגמה לשימוש בהטמעה של טקסט ושל נתונים ממספר מקורות, וגם קישורים למקורות מידע נוספים ולשירותים Google Cloud קשורים.
Agent Search ranking API ה-API לדירוג חיפוש מבוסס סוכנים מדרג מחדש מסמכים על סמך הרלוונטיות שלהם לשאילתה באמצעות מודל שפה שאומן מראש, ומספק ציונים מדויקים. הוא אידיאלי לשיפור תוצאות החיפוש ממקורות שונים, כולל חיפוש וקטורי.
מאגר התכונות של פלטפורמת הסוכנים של Gemini Enterprise מאפשר לכם לנהל נתוני תכונות ולהציג אותם באמצעות BigQuery כמקור הנתונים. הוא מקצה משאבים להצגה אונליין, ופועל כשכבת מטא-נתונים להצגת ערכי התכונות העדכניים ישירות מ-BigQuery. Feature Store מאפשר אחזור מיידי של ערכי התכונות של הפריטים שמאגר הווקטורים החזיר לשאילתות.
Agent Platform Pipelines Agent Platform Pipelines מאפשר לבצע אוטומציה, מעקב וניהול של מערכות למידת מכונה באופן serverless באמצעות תזמור של תהליכי עבודה של למידת מכונה עם צינורות עיבוד נתונים של למידת מכונה. אפשר להריץ קבוצות של צינורות ML שהוגדרו באמצעות Kubeflow Pipelines או TensorFlow Extended (TFX). צינורות עיבוד נתונים מאפשרים ליצור צינורות עיבוד נתונים אוטומטיים כדי ליצור הטבעות, ליצור ולעדכן אינדקסים של חיפוש וקטורי, וליצור הגדרת MLOps למערכות חיפוש והמלצות לייצור.
מידע מעמיק
שיפור תרחיש השימוש ב-AI גנרטיבי באמצעות הטמעות וסוגי משימות של Gemini Enterprise Agent Platform המאמר מתמקד בשיפור אפליקציות של AI גנרטיבי באמצעות הטמעות וסוגי משימות של Gemini Enterprise Agent Platform. אפשר להשתמש בחיפוש וקטורי עם הטמעות של סוגי משימות כדי לשפר את ההקשר והדיוק של התוכן שנוצר על ידי מציאת מידע רלוונטי יותר.
TensorFlow Recommenders ספרייה בקוד פתוח לבניית מערכות המלצה. הוא מפשט את התהליך מהכנת הנתונים ועד לפריסה, ותומך ביצירת מודלים גמישים. הכלי TFRS מציע הדרכות ומשאבים, ומאפשר ליצור מודלים מתוחכמים של המלצות.
TensorFlow Ranking TensorFlow Ranking היא ספרייה בקוד פתוח ליצירת מודלים של learning-to-rank (LTR) עצביים שניתנים להרחבה. היא תומכת בפונקציות שונות של הפסד ובמדדי דירוג, ויש לה שימושים בחיפוש, בהמלצות ובתחומים אחרים. הספרייה נמצאת בפיתוח פעיל על ידי AI מבית Google.
השקה של ScaNN: חיפוש יעיל של דמיון וקטורי ScaNN של Google הוא אלגוריתם לחיפוש יעיל של דמיון וקטורי. הוא משתמש בטכניקה חדשנית כדי לשפר את הדיוק והמהירות במציאת השכנים הקרובים ביותר. השיטה הזו מניבה תוצאות טובות יותר משיטות קיימות, ויש לה יישומים רבים במשימות של למידת מכונה שדורשות חיפוש סמנטי. המחקרים של Google מתפרסים על פני תחומים שונים, כולל למידת מכונה בסיסית וההשפעות החברתיות של AI.
SOAR: אלגוריתמים חדשים לחיפוש וקטורי מהיר עוד יותר באמצעות ScaNN אלגוריתם SOAR של Google משפר את היעילות של חיפוש וקטורי באמצעות הוספה של יתירות מבוקרת, שמאפשרת חיפושים מהירים יותר עם אינדקסים קטנים יותר. השיטה SOAR מקצה וקטורים לכמה אשכולות, וכך יוצרת נתיבי חיפוש 'גיבוי' לשיפור הביצועים.
סרטונים קשורים
איך מתחילים להשתמש בחיפוש וקטורי באמצעות Agent Platform
חיפוש וקטורי הוא כלי רב עוצמה לבניית אפליקציות מבוססות-AI. בסרטון הזה מוצגת הטכנולוגיה ומוסבר איך להתחיל להשתמש בה.
מידע על חיפוש היברידי באמצעות Vector Search
אפשר להשתמש בחיפוש וקטורי לחיפוש היברידי, וכך לשלב בין העוצמה של חיפוש וקטורי לבין הגמישות והמהירות של מנוע חיפוש רגיל. בסרטון הזה מוצג חיפוש היברידי ומוסבר איך להשתמש ב-Vector Search לחיפוש היברידי.
אתם כבר משתמשים בחיפוש וקטורי! כך הופכים למומחים
ידעתם שאתם כנראה משתמשים בחיפוש וקטורי כל יום בלי לשים לב? מחיפוש מוצר חמקמק ברשתות החברתיות ועד לאיתור שיר שנתקע לכם בראש – חיפוש וקטורי הוא הקסם של ה-AI שמאחורי הפעולות היומיומיות האלה.
הטמעה חדשה של 'סוג משימה' מצוות DeepMind משפרת את איכות החיפוש של RAG
כדי לשפר את הדיוק והרלוונטיות של מערכות RAG, אפשר להשתמש בהטמעות של סוגי משימות חדשות שפותחו על ידי צוות Google DeepMind. בסרטון הזה נסביר על האתגרים הנפוצים באיכות החיפוש של RAG ואיך הטמעות של סוגי משימות יכולות לגשר ביעילות על הפער הסמנטי בין שאלות לתשובות, וכך לשפר את האחזור ואת הביצועים של RAG.
מינוח של חיפוש וקטורי
הרשימה הזו כוללת כמה מונחים חשובים שצריך להכיר כדי להשתמש בחיפוש וקטורי:
וקטור: וקטור הוא רשימה של ערכים מסוג float שיש להם גודל וכיוון. אפשר להשתמש בו כדי לייצג כל סוג של נתונים, כמו מספרים, נקודות במרחב והוראות.
הטמעה: הטמעה היא סוג של וקטור שמשמש לייצוג נתונים באופן שמשקף את המשמעות הסמנטית שלהם. בדרך כלל, הטמעות נוצרות באמצעות טכניקות של למידת מכונה, והן משמשות לעיתים קרובות בעיבוד שפה טבעית (NLP) ובאפליקציות אחרות של למידת מכונה.
הטבעות צפופות: הטבעות צפופות מייצגות את המשמעות הסמנטית של טקסט, באמצעות מערכים שמכילים בעיקר ערכים שונים מאפס. עם הטמעות צפופות, אפשר להחזיר תוצאות חיפוש דומות על סמך דמיון סמנטי.
הטמעות דלילות: הטמעות דלילות מייצגות תחביר של טקסט באמצעות מערכים רב-ממדיים שמכילים מעט מאוד ערכים שונים מאפס, בהשוואה להטמעות צפופות. הטמעות דלילות משמשות בדרך כלל לחיפושים של מילות מפתח.
חיפוש היברידי: חיפוש היברידי משתמש בהטמעות צפופות ובהטמעות דלילות, כך שאפשר לחפש על סמך שילוב של חיפוש מילות מפתח וחיפוש סמנטי. התכונה Vector Search תומכת בחיפוש שמבוסס על הטמעות צפופות, הטמעות דלילות וחיפוש היברידי.
אינדקס: אוסף של וקטורים שנפרסו יחד לחיפוש דמיון. אפשר להוסיף וקטורים לאינדקס או להסיר אותם ממנו. שאילתות של חיפוש דמיון מופנות לאינדקס ספציפי ומחפשות את הווקטורים באינדקס הזה.
נתוני אמת: מונח שמתייחס לאימות של למידת מכונה לצורך דיוק בהשוואה לעולם האמיתי, כמו קבוצת נתוני אמת.
Recall: אחוז השכנים הקרובים ביותר שמוחזרים על ידי האינדקס, שהם באמת השכנים הקרובים ביותר. לדוגמה, אם שאילתת השכנים הקרובים ביותר ל-20 השכנים הקרובים ביותר של נתוני האמת החזירה 19 מהשכנים הקרובים ביותר של נתוני האמת, ערך ה-recall הוא 19/20x100 = 95%.
הגבלה: תכונה שמגבילה את החיפושים לחלק ממדד החיפוש באמצעות כללים בוליאניים. הגבלה נקראת גם 'סינון'. בעזרת חיפוש וקטורי, אפשר להשתמש בסינון מספרי ובסינון מאפייני טקסט.