הטמעות הן ייצוגים מספריים של טקסט, תמונות או סרטונים, שמתעדים את הקשרים בין נתוני הקלט. מודלים של למידת מכונה, במיוחד מודלים של AI גנרטיבי, מתאימים ליצירת הטמעות על ידי זיהוי דפוסים בתוך מערכי נתונים גדולים. אפליקציות יכולות להשתמש בהטמעות כדי לעבד ולייצר שפה, לזהות משמעויות מורכבות וקשרים סמנטיים שספציפיים לתוכן שלכם. אתם יוצרים אינטראקציה עם הטמעות בכל פעם שאתם מבצעים חיפוש ב-Google או רואים המלצות לסטרימינג של מוזיקה.
הטמעות פועלות על ידי המרת טקסט, תמונות וסרטונים למערכים של מספרים ממשיים, שנקראים וקטורים. הווקטורים האלה נועדו לתעד את המשמעות של הטקסט, התמונות והסרטונים. האורך של מערך ההטמעה נקרא המימד של הווקטור. לדוגמה, קטע טקסט אחד יכול להיות מיוצג על ידי וקטור שמכיל מאות מימדים. לאחר מכן, על ידי חישוב המרחק המספרי בין ייצוגי הווקטורים של שני קטעי טקסט, אפליקציה יכולה לקבוע את הדמיון בין האובייקטים.
Gemini Enterprise Agent Platform תומכת במודלים של הטמעה מולטי-מודאלית ושל הטמעה של טקסט.
תרחישי שימוש בהטמעות טקסט
אלה כמה תרחישי שימוש נפוצים להטמעות טקסט:
- חיפוש סמנטי: דירוג של טקסט החיפוש לפי דמיון סמנטי.
- Classification: מחזירה את הסיווג של פריטים שהמאפיינים שלהם דומים לטקסט שצוין.
- קיבוץ: קיבוץ פריטים שמאפייני הטקסט שלהם דומים לטקסט שצוין.
- זיהוי חריגים: החזרת פריטים שבהם מאפייני הטקסט הכי פחות קשורים לטקסט שצוין.
- ממשק שיחה: מקבץ קבוצות של משפטים שיכולים להוביל לתשובות דומות, כמו במרחב הטמעה ברמת השיחה.
תרחיש שימוש לדוגמה: פיתוח צ'אט בוט להמלצות על ספרים
אם רוצים לפתח צ'אטבוט להמלצות על ספרים, הדבר הראשון שצריך לעשות הוא להשתמש ברשת עצבית עמוקה (DNN) כדי להמיר כל ספר לווקטור הטמעה, כאשר וקטור הטמעה אחד מייצג ספר אחד. אפשר להזין לרשת העצבית העמוקה (DNN) רק את שם הספר או רק את תוכן הטקסט. אפשר גם להשתמש בשני המאפיינים האלה יחד, בנוסף למטא-נתונים אחרים שמתארים את הספר, כמו הז'אנר.
ההטמעות בדוגמה הזו יכולות לכלול אלפי שמות של ספרים עם תקצירים וז'אנרים, והן יכולות לכלול ייצוגים של ספרים כמו Wuthering Heights (אנקת גבהים) של אמילי ברונטה ו-Persuasion (הטיית לב) של ג'יין אוסטן, שדומים זה לזה (מרחק קטן בין הייצוגים המספריים). לעומת זאת, הייצוג המספרי של הספר The Great Gatsby מאת F. סקוט פיצג'רלד יהיה רחוק יותר, כי התקופה, הז'אנר והסיכום פחות דומים.
הנתונים שמוזנים הם הגורם העיקרי שמשפיע על האוריינטציה של מרחב ההטמעה. לדוגמה, אם היינו מזינים רק את שמות הספרים, שני ספרים עם שמות דומים אבל תקצירים שונים מאוד היו יכולים להיות קרובים זה לזה. אבל אם נכלול את השם והסיכום, הספרים האלה יהיו פחות דומים (יותר רחוקים) במרחב ההטמעה.
צ'אטבוט להמלצות על ספרים שפועל באמצעות AI גנרטיבי יכול לסכם ספרים, להציע ספרים ולהראות לכם ספרים שאולי תאהבו (או לא תאהבו), על סמך השאילתה שלכם.
תרחישי שימוש בהטמעות מרובות מצבים
דוגמאות לתרחישי שימוש נפוצים בהטמעות מולטימודאליות:
תרחישי שימוש בתמונות ובטקסט:
- סיווג תמונות: מקבל תמונה כקלט ומנבא מחלקה אחת או יותר (תוויות).
- חיפוש תמונות: חיפוש תמונות רלוונטיות או דומות.
- המלצות: יצירת המלצות על מוצרים או על מודעות על סמך תמונות.
תרחישים לדוגמה לשימוש בתמונות, טקסט וסרטונים:
- המלצות: יצירת המלצות למוצרים או למודעות על סמך סרטונים (חיפוש דמיון).
- חיפוש תוכן וידאו
- שימוש בחיפוש סמנטי: מקבלים טקסט כקלט ומחזירים קבוצה של פריימים מדורגים שתואמים לשאילתה.
- שימוש בחיפוש תמונות דומות:
- קבלת סרטון כקלט והחזרת קבוצה של סרטונים שתואמים לשאילתה.
- לקבל תמונה כקלט ולהחזיר קבוצה של סרטונים שתואמים לשאילתה.
- סיווג סרטונים: מקבל סרטון כקלט ומבצע חיזוי של מחלקה אחת או יותר.
תרחיש שימוש לדוגמה: חוויית קנייה קמעונאית אונליין
קמעונאים אונליין משתמשים יותר ויותר בהטמעות מולטימודאליות כדי לשפר את חוויית הלקוח. בכל פעם שאתם רואים המלצות מותאמות אישית למוצרים בזמן קניות, ומקבלים תוצאות ויזואליות מחיפוש טקסטואלי, אתם מבצעים אינטראקציה עם הטמעה.
כדי ליצור הטמעה מולטימודלית לתרחיש שימוש בקמעונאות אונליין, צריך להתחיל בעיבוד של כל תמונת מוצר כדי ליצור הטמעה ייחודית של התמונה. ההטמעה היא ייצוג מתמטי של הסגנון החזותי, לוח הצבעים, הפרטים העיקריים ועוד. במקביל, המערכת ממירה תיאורי מוצרים, ביקורות של לקוחות ונתונים רלוונטיים אחרים בפורמט טקסט להטמעות טקסט שמייצגות את המשמעות הסמנטית וההקשר שלהם. על ידי מיזוג ההטבעות האלה של תמונות וטקסט למנוע חיפוש והמלצות מאוחד, החנות יכולה להציע המלצות מותאמות אישית לפריטים דומים מבחינה ויזואלית על סמך היסטוריית הגלישה וההעדפות של הלקוח. בנוסף, הוא מאפשר ללקוחות לחפש מוצרים באמצעות תיאורים בשפה טבעית, ומנוע החיפוש מאחזר ומציג את הפריטים הכי דומים מבחינה ויזואלית שתואמים לשאילתת החיפוש שלהם. לדוגמה, אם לקוח מחפש "שמלת קיץ שחורה", מנוע החיפוש יכול להציג שמלות שחורות, וגם שמלות בגזרת שמלת קיץ, שמיוצרות מחומר קל יותר, ויכול להיות שהן ללא שרוולים. השילוב העוצמתי הזה של הבנה ויזואלית וטקסטואלית יוצר חוויית קנייה יעילה שמשפרת את מעורבות הלקוח, את שביעות הרצון שלו ובסופו של דבר יכולה להגדיל את נפח המכירות.
המאמרים הבאים
- מידע נוסף על הטמעות זמין במאמר הכירו את כלי העבודה הרב-תכליתי של ה-AI: הטמעות וקטוריות.
- כדי לעבור קורס בסיסי בנושא הטמעות ב-ML, אפשר לעיין במאמר בנושא הטמעות.
- מידע נוסף על אחסון הטמעות וקטוריות במסד נתונים זמין במאמר סקירה כללית על חיפוש וקטורי.
- כדי לקרוא על שיטות מומלצות לאתיקה של בינה מלאכותית ועל מסנני הבטיחות של Gemini Enterprise Agent Platform, אפשר לעיין במאמר בנושא אתיקה של בינה מלאכותית.
- כדי ללמוד איך מקבלים הטמעות, אפשר לעיין במסמכים הבאים: