חיפוש וקטורי הוא מנוע חיפוש וקטורי מתקדם שמבוסס על טכנולוגיה פורצת דרך שפותחה על ידי צוות המחקר של Google. בעזרת אלגוריתם ScaNN, חיפוש וקטורי מאפשר לכם לבנות מערכות חיפוש והמלצות מהדור הבא, וגם אפליקציות מבוססות-AI גנרטיבי.
אתם יכולים ליהנות מאותם מחקרים וטכנולוגיות שמפעילים את מוצרי הליבה של Google, כולל חיפוש Google, YouTube ו-Google Play. המשמעות היא שאתם מקבלים את יכולת ההתאמה, הזמינות והביצועים שנדרשים כדי לטפל במערכי נתונים עצומים ולספק תוצאות מהירות מאוד בקנה מידה גלובלי. בעזרת Vector Search, אתם יכולים להטמיע יכולות מתקדמות של חיפוש סמנטי באפליקציות שלכם באמצעות פתרון ברמה ארגונית.
|
|
Infinite Fleurs: Discover AI-assisted creativity in full bloom |
|
שנתחיל?
הדגמה אינטראקטיבית של חיפוש וקטורי: כדאי לעיין בהדגמה כדי לראות דוגמה מציאותית למה שאפשר לעשות עם טכנולוגיית חיפוש וקטורי, ולהתחיל להשתמש בחיפוש וקטורי.
מדריך למתחילים בנושא חיפוש וקטורי: תוכלו לנסות חיפוש וקטורי תוך 30 דקות על ידי בנייה, פריסה ושאילתה של אינדקס חיפוש וקטורי באמצעות מערך נתונים לדוגמה. במדריך הזה מוסבר איך לבצע הגדרה, הכנת נתונים, יצירת אינדקס, פריסה, שליחת שאילתות וניקוי.
לפני שמתחילים: צריך לבחור מודל, לאמן אותו ולהכין את הנתונים כדי ליצור הטבעות. לאחר מכן בוחרים נקודת קצה ציבורית או פרטית לפריסת אינדקס השאילתות.
תמחור של Vector Search ומחשבון תמחור: התמחור של Vector Search כולל את העלות של מכונות וירטואליות שמשמשות לאירוח של אינדקסים שנפרסו, וגם הוצאות על בנייה ועדכון של אינדקסים. גם הגדרה מינימלית (בפחות מ-100 $לחודש) יכולה להתאים לתרחישי שימוש בגודל בינוני עם תפוקה גבוהה. כדי לאמוד את העלויות החודשיות:
- נכנסים אל מחשבון התמחור של Google Cloud.
- לוחצים על הוספה לאומדן.
- מחפשים את Vertex AI.
- לוחצים על הלחצן Vertex AI.
- בתפריט הנפתח סוג השירות, בוחרים באפשרות Vertex AI Vector Search.
- משאירים את הגדרות ברירת המחדל או מגדירים הגדרות משלכם. העלות החודשית המשוערת מוצגת בחלונית Cost details.
מסמכים
תרחישי שימוש ובלוגים
טכנולוגיית החיפוש הווקטורי הופכת למרכז חשוב לעסקים שמשתמשים ב-AI. בדומה לאופן הפעולה של מסדי נתונים רלציוניים במערכות IT, הוא מקשר בין רכיבים עסקיים שונים כמו מסמכים, תוכן, מוצרים, משתמשים, אירועים וישויות אחרות על סמך הרלוונטיות שלהם. בנוסף לחיפוש מדיה רגילה כמו מסמכים ותמונות, חיפוש וקטורי יכול גם להפעיל המלצות חכמות, להתאים בעיות עסקיות לפתרונות ואפילו לקשר בין אותות IoT להתראות ניטור. זהו כלי רב-תכליתי וחיוני להתמצאות בסביבה המתפתחת של נתונים ארגוניים מבוססי-AI.
|
חיפוש / אחזור מידע
מערכות |
איך Vertex AI Vector Search עוזר לפתח אפליקציות מבוססות-AI גנרטיבי עם ביצועים גבוהים: התכונה Vector Search מפעילה מגוון אפליקציות, כולל מסחר אלקטרוני, מערכות RAG ומנועי המלצות, לצד צ'אטבוטים, חיפוש מולטימודאלי ועוד. חיפוש היברידי משפר עוד יותר את התוצאות למונחים נישתיים. לקוחות כמו Bloomreach, eBay ו-Mercado Libre משתמשים ב-Vertex AI בגלל הביצועים, יכולת ההתאמה והיעילות שלו מבחינת עלויות. הם נהנים מיתרונות כמו חיפוש מהיר יותר והגדלת מספר ההמרות. eBay משתמשת בחיפוש וקטורי להמלצות: מאמר שמסביר איך eBay משתמשת בחיפוש וקטורי במערכת ההמלצות שלה. הטכנולוגיה הזו מאפשרת ל-eBay למצוא מוצרים דומים בקטלוג הנרחב שלה, וכך לשפר את חוויית המשתמש. חברת Mercari משתמשת בטכנולוגיית חיפוש וקטורי של Google כדי ליצור זירת מסחר חדשה: המאמר מסביר איך Mercari משתמשת בחיפוש וקטורי כדי לשפר את פלטפורמת זירת המסחר החדשה שלה. החיפוש הווקטורי מפעיל את ההמלצות בפלטפורמה, ועוזר למשתמשים למצוא מוצרים רלוונטיים בצורה יעילה יותר. Vertex AI Embeddings for Text: Grounding LLMs made easy: המאמר מתמקד בהארקה של מודלים מסוג LLM באמצעות Vertex AI Embeddings לנתוני טקסט. חיפוש וקטורי ממלא תפקיד חשוב באיתור קטעי טקסט רלוונטיים, כדי להבטיח שהתשובות של המודל יתבססו על מידע עובדתי. מהו חיפוש מרובה מצבים: "מודלי שפה גדולים עם ראייה" משנים את העסקים: מאמר על חיפוש מרובה מצבים, שמשלב מודלי שפה גדולים עם הבנה חזותית. הוא מסביר איך Vector Search מעבד ומשווה נתוני טקסט וגם נתוני תמונות, וכך מאפשר חוויות חיפוש מקיפות יותר. שימוש בחיפוש מולטי-מודאלי בהיקף נרחב: שילוב של טקסט וחיפוש תמונות באמצעות Vertex AI: מאמר שמתאר איך לבנות מנוע חיפוש מולטי-מודאלי באמצעות Vertex AI, שמשלב חיפוש של טקסט וחיפוש תמונות באמצעות שיטת הרכבה של דירוג הדדי מוטה לפי משקל. כך משפרים את חוויית המשתמש ומספקים תוצאות רלוונטיות יותר. Scaling deep retrieval with TensorFlow Recommenders and Vector Search: מאמר שמסביר איך לבנות מערכת המלצות לפלייליסטים באמצעות TensorFlow Recommenders ו-Vector Search. המאמר כולל הסברים על מודלים של אחזור עמוק, אימון, פריסה ומדרגיות. |
|
AI גנרטיבי: אחזור ל-RAG ולסוכנים |
Vertex AI ו-Denodo מאפשרים גישה לנתונים ארגוניים באמצעות AI גנרטיבי: המאמר מציג איך השילוב של Vertex AI עם Denodo מאפשר לעסקים להשתמש ב-AI גנרטיבי כדי להפיק תובנות מהנתונים שלהם. חיפוש וקטורי הוא כלי חשוב לגישה יעילה לנתונים רלוונטיים ולניתוח שלהם בסביבה ארגונית. Infinite Nature and the nature of industries: This 'wild' demo shows the diverse possibilities of AI: הדגמה שממחישה את הפוטנציאל של AI בתעשיות שונות. הוא משתמש בחיפוש וקטורי כדי להציג המלצות גנרטיביות וחיפוש סמנטי מולטי-מודאלי. Infinite Fleurs: יצירתיות בעזרת AI בשיאה: Infinite Fleurs של Google הוא ניסוי ב-AI שמשתמש בחיפוש וקטורי, במודלים של Gemini ו-Imagen, ומייצר זרי פרחים ייחודיים על סמך הנחיות של משתמשים. הטכנולוגיה הזו מדגימה את הפוטנציאל של AI לעורר השראה ליצירתיות במגוון תעשיות. LlamaIndex for RAG on Google Cloud: מאמר שמסביר איך להשתמש ב-LlamaIndex כדי להקל על יצירה משולבת-אחזור (RAG) עם מודלים גדולים של שפה. LlamaIndex משתמש בחיפוש וקטורי כדי לאחזר מידע רלוונטי ממאגר ידע, וכך ליצור תשובות מדויקות יותר ומתאימות יותר להקשר. RAG and grounding on Vertex AI: Examines RAG and grounding techniques on Vertex AI. חיפוש וקטורי עוזר לזהות מידע רלוונטי במהלך השליפה, מה שהופך את התוכן שנוצר למדויק ומהימן יותר. Vector Search on LangChain: מדריך לשימוש ב-Vector Search עם LangChain כדי לבנות ולפרוס אינדקס של מסד נתונים וקטורי לנתוני טקסט, כולל מענה על שאלות ועיבוד קובצי PDF. |
|
BI, ניתוח נתונים, מעקב ועוד |
הפעלת AI בזמן אמת באמצעות Streaming Ingestion ב-Vertex AI: המאמר מתמקד ב-Streaming Update ב-Vector Search ומסביר איך הוא מספק יכולות AI בזמן אמת. הטכנולוגיה הזו מאפשרת עיבוד וניתוח בזמן אמת של זרמי נתונים נכנסים. |
מקורות מידע שקשורים לנושא
כדי להתחיל להשתמש בחיפוש וקטורי, אפשר להיעזר במקורות המידע הבאים:
מחברות ופתרונות
|
|
|
מדריך למתחילים לחיפוש וקטורי ב-Vertex AI: סקירה כללית של חיפוש וקטורי. הוא מיועד למשתמשים חדשים בפלטפורמה שרוצים להתחיל להשתמש בה במהירות. |
Getting Started with Text Embeddings and Vector Search: הסבר על הטמעות טקסט וחיפוש וקטורי. במאמר הזה מוסבר איך הטכנולוגיות האלה פועלות ואיך אפשר להשתמש בהן כדי לשפר את תוצאות החיפוש. |
|
|
|
שילוב של חיפוש סמנטי וחיפוש מילות מפתח: מדריך בנושא חיפוש היברידי באמצעות Vertex AI חיפוש וקטורי: הוראות לשימוש בחיפוש וקטורי לחיפוש היברידי. המאמר כולל את השלבים להגדרה ולקביעת ההגדרות של מערכת חיפוש היברידית. |
Vertex AI RAG Engine with Vector Search: הקורס הזה בוחן את השימוש ב-Vertex AI RAG Engine עם Vector Search. במאמר מוסבר על היתרונות של שימוש משולב בשתי הטכנולוגיות האלה, ומוצגות דוגמאות לשימוש בהן ביישומים בעולם האמיתי. |
|
|
|
תשתית לאפליקציית AI גנרטיבי עם יכולות RAG באמצעות Vertex AI ו-Vector Search: פירוט הארכיטקטורה לבניית אפליקציית AI גנרטיבי ו-RAG באמצעות Vector Search, Cloud Run ו-Cloud Storage, כולל תרחישים לדוגמה, אפשרויות עיצוב ושיקולים חשובים. |
הטמעה של שליפת מידע באמצעות מודל דו-ראשי ליצירת מועמדים בקנה מידה גדול: מאמר שמציג ארכיטקטורת הפניה שמראה איך להטמיע תהליך עבודה מקצה לקצה של יצירת מועמדים באמצעות מודל דו-ראשי ב-Vertex AI. מסגרת המודלים של שני מגדלים היא טכניקה יעילה לאחזור נתונים לתרחישי שימוש בהתאמה אישית, כי היא לומדת את הדמיון הסמנטי בין שתי ישויות שונות, כמו שאילתות באינטרנט ופריטים פוטנציאליים. |
הדרכה
איך מתחילים להשתמש בחיפוש וקטורי ובהטמעות חיפוש וקטורי משמש למציאת פריטים דומים או קשורים. אפשר להשתמש בו להמלצות, לחיפוש, לצ'אטבוטים ולסיווג טקסט. התהליך כולל יצירת הטבעות, העלאה שלהן ל- Google Cloudואינדוקס שלהן לצורך שאילתות. ה-Lab הזה מתמקד בהטמעות של טקסט באמצעות Vertex AI, אבל אפשר ליצור הטמעות גם לסוגי נתונים אחרים.
Vector Search and Embeddings בקורס הזה נציג את Vector Search ונסביר איך אפשר להשתמש בו כדי ליצור אפליקציית חיפוש עם ממשקי API של מודלים גדולים של שפה (LLM) להטמעות. הקורס כולל שיעורים תיאורטיים על חיפוש וקטורי והטמעות טקסט, הדגמות מעשיות על בניית חיפוש וקטורי ב-Vertex AI ושיעור Lab לתרגול.
הסבר על הטמעות טקסט ושימוש בהן
Vertex AI Embeddings API יוצר הטמעות טקסט, שהן
ייצוגים מספריים של טקסט שמשמשים למשימות כמו זיהוי פריטים דומים.
בקורס הזה תשתמשו בהטמעות טקסט למשימות כמו סיווג וחיפוש סמנטי, ותשלבו חיפוש סמנטי עם מודלים גדולים של שפה (LLM) כדי ליצור מערכות למענה על שאלות באמצעות Vertex AI.
קורס מקוצר על למידת מכונה: הטמעות בקורס הזה מוצגות הטמעות מילים, ומוסבר ההבדל בינן לבין ייצוגים מפוזרים. במאמר מוסבר על שיטות ליצירת הטמעות, ומוצג ההבדל בין הטמעות סטטיות להטמעות לפי הקשר.
מוצרים קשורים
Vertex AI Embeddings סקירה כללית של Embeddings API. תרחישים לדוגמה לשימוש בהטמעה של טקסט ושל נתונים ממספר מקורות, וגם קישורים למקורות מידע נוספים ולשירותים קשורים של Google Cloud Google.
Vertex AI Search ranking API ה-API לדירוג של חיפוש מבוסס-Vertex AI מסדר מחדש מסמכים על סמך הרלוונטיות שלהם לשאילתה באמצעות מודל שפה שאומן מראש, ומספק ציונים מדויקים. הוא אידיאלי לשיפור תוצאות החיפוש ממקורות שונים, כולל חיפוש וקטורי.
Vertex AI Feature Store מאפשר לכם לנהל נתוני תכונות ולהציג אותם באמצעות BigQuery כמקור הנתונים. הוא מקצה משאבים למילוי בקשה באופן מיידי, ופועל כשכבת מטא-נתונים להצגת הערכים העדכניים של התכונות ישירות מ-BigQuery. Feature Store מאפשר אחזור מיידי של ערכי התכונות של הפריטים שמאגר הווקטורים החזיר לשאילתות.
Vertex AI Pipelines Vertex AI Pipelines מאפשרת אוטומציה, מעקב וניהול של מערכות למידת מכונה באופן serverless, באמצעות תזמור של תהליכי עבודה של למידת מכונה עם צינורות עיבוד נתונים של למידת מכונה. אפשר להריץ בחבילות צינורות ML שהוגדרו באמצעות Kubeflow Pipelines או TensorFlow Extended (TFX). צינורות עיבוד נתונים מאפשרים ליצור צינורות עיבוד נתונים אוטומטיים כדי ליצור הטבעות, ליצור ולעדכן אינדקסים של חיפוש וקטורי, וליצור הגדרת MLOps למערכות חיפוש והמלצות לייצור.
מקורות מידע מעמיק
שיפור תרחיש השימוש ב-AI גנרטיבי באמצעות הטמעות וסוגי משימות ב-Vertex AI הקורס מתמקד בשיפור אפליקציות של AI גנרטיבי באמצעות הטמעות וסוגי משימות ב-Vertex AI. אפשר להשתמש בחיפוש וקטורי עם הטמעות של סוגי משימות כדי לשפר את ההקשר והדיוק של התוכן שנוצר על ידי מציאת מידע רלוונטי יותר.
TensorFlow Recommenders ספרייה בקוד פתוח לבניית מערכות המלצה. הוא מפשט את התהליך מהכנת הנתונים ועד לפריסה, ותומך ביצירת מודלים גמישים. הכלי TFRS מציע מדריכים ומקורות מידע, ומאפשר ליצור מודלים מתוחכמים של המלצות.
TensorFlow Ranking TensorFlow Ranking היא ספריית קוד פתוח ליצירת מודלים של למידה עצבית לדירוג (LTR) שניתנים להרחבה. הספרייה תומכת בפונקציות הפסד שונות ובמדדי דירוג, ויש לה שימושים בחיפוש, בהמלצות ובתחומים אחרים. הספרייה מפותחת באופן פעיל על ידי Google AI.
השקה של ScaNN: חיפוש יעיל של דמיון וקטורי אלגוריתם ScaNN של Google, לחיפוש יעיל של דמיון וקטורי, משתמש בטכניקה חדשנית כדי לשפר את הדיוק והמהירות במציאת השכנים הקרובים ביותר. השיטה הזו יעילה יותר משיטות קיימות, ויש לה יישומים רבים במשימות של למידת מכונה שדורשות חיפוש סמנטי. המחקרים של Google מתפרסים על פני תחומים שונים, כולל למידת מכונה בסיסית וההשפעות החברתיות של AI.
SOAR: אלגוריתמים חדשים לחיפוש וקטורי מהיר עוד יותר באמצעות ScaNN אלגוריתם SOAR של Google משפר את היעילות של חיפוש וקטורי באמצעות הוספה של יתירות מבוקרת, שמאפשרת לבצע חיפושים מהירים יותר עם אינדקסים קטנים יותר. התכונה SOAR מקצה וקטורים לכמה אשכולות, ויוצרת נתיבי חיפוש 'גיבוי' לשיפור הביצועים.
סרטונים קשורים
תחילת העבודה עם חיפוש וקטורי באמצעות Vertex AI
Vector Search הוא כלי רב עוצמה ליצירת אפליקציות מבוססות-AI. בסרטון הזה מוצגת הטכנולוגיה ומוסבר איך מתחילים להשתמש בה.
מידע על חיפוש היברידי באמצעות Vector Search
אפשר להשתמש בחיפוש וקטורי לחיפוש היברידי, וכך לשלב בין העוצמה של חיפוש וקטורי לבין הגמישות והמהירות של מנוע חיפוש רגיל. בסרטון הזה מוצג חיפוש היברידי ומוסבר איך להשתמש ב-Vector Search לחיפוש היברידי.
אתם כבר משתמשים בחיפוש וקטורי! כך הופכים למומחים
ידעתם שאתם כנראה משתמשים בחיפוש וקטורי כל יום בלי לשים לב? מחיפוש מוצר חמקמק ברשתות החברתיות ועד לאיתור שיר שנתקע לכם בראש – חיפוש וקטורי הוא הקסם של ה-AI שמאחורי הפעולות היומיומיות האלה.
הטמעת 'סוג משימה' חדש מצוות DeepMind משפרת את איכות החיפוש של RAG
כדי לשפר את הדיוק והרלוונטיות של מערכות RAG, אפשר להשתמש בהטמעות של סוגי משימות חדשות שפותחו על ידי צוות Google DeepMind. בסרטון הזה נסביר על האתגרים הנפוצים באיכות החיפוש של RAG, ואיך הטמעות של סוגי משימות יכולות לגשר ביעילות על הפער הסמנטי בין שאלות לתשובות, וכך לשפר את השליפה ואת הביצועים של RAG.
טרמינולוגיה של חיפוש וקטור
הרשימה הזו כוללת כמה מונחים חשובים שצריך להכיר כדי להשתמש בחיפוש וקטורי:
וקטור: וקטור הוא רשימה של ערכים מסוג float שיש להם גודל וכיוון. אפשר להשתמש בו כדי לייצג כל סוג של נתונים, כמו מספרים, נקודות במרחב וכיוונים.
הטמעה: הטמעה היא סוג של וקטור שמשמש לייצוג נתונים באופן שמשקף את המשמעות הסמנטית שלהם. בדרך כלל, וקטורי הטמעה נוצרים באמצעות טכניקות של למידת מכונה, והם משמשים לעיתים קרובות בעיבוד שפה טבעית (NLP) ובאפליקציות אחרות של למידת מכונה.
הטמעות צפופות: הטמעות צפופות מייצגות את המשמעות הסמנטית של טקסט, באמצעות מערכים שמכילים בעיקר ערכים שונים מאפס. בעזרת הטמעות צפופות, אפשר להחזיר תוצאות חיפוש דומות על סמך דמיון סמנטי.
הטמעות דלילות: הטמעות דלילות מייצגות תחביר של טקסט באמצעות מערכים רב-ממדיים שמכילים מעט מאוד ערכים שונים מאפס, בהשוואה להטמעות צפופות. הטמעות דלילות משמשות בדרך כלל לחיפושים של מילות מפתח.
חיפוש היברידי: חיפוש היברידי משתמש בהטמעות צפופות ודלילות, כך שאפשר לחפש על סמך שילוב של חיפוש מילות מפתח וחיפוש סמנטי. התכונה Vector Search תומכת בחיפוש שמבוסס על הטמעות צפופות, הטמעות דלילות וחיפוש היברידי.
אינדקס: אוסף של וקטורים שנפרסו יחד לחיפוש דמיון. אפשר להוסיף וקטורים לאינדקס או להסיר אותם ממנו. שאילתות של חיפוש דמיון מונפקות לאינדקס ספציפי ומחפשות את הווקטורים באינדקס הזה.
נתוני אמת: מונח שמתייחס לאימות של למידת מכונה לצורך דיוק בהשוואה לעולם האמיתי, כמו מערך נתוני אמת.
Recall: אחוז השכנים הקרובים ביותר שמוחזרים על ידי האינדקס, שהם למעשה השכנים הקרובים ביותר. לדוגמה, אם שאילתת השכנים הקרובים ביותר ל-20 שכנים קרובים ביותר החזירה 19 מהשכנים הקרובים ביותר של נתוני האמת, ערך ה-recall הוא 19/20x100 = 95%.
הגבלה: תכונה שמגבילה את החיפושים לקבוצת משנה של האינדקס באמצעות כללים בוליאניים. הגבלה נקראת גם "סינון". בעזרת חיפוש וקטורי, אפשר להשתמש בסינון מספרי ובסינון מאפייני טקסט.