הטמעות הן ייצוגים מספריים של טקסט, תמונות או סרטונים, שמתעדים את הקשרים בין נתוני הקלט. מודלים של למידת מכונה, במיוחד מודלים של AI גנרטיבי, מתאימים ליצירת הטמעות על ידי זיהוי דפוסים בתוך מערכי נתונים גדולים. אפליקציות יכולות להשתמש בהטמעות כדי לעבד ולייצר שפה, לזהות משמעויות מורכבות וקשרים סמנטיים שספציפיים לתוכן שלכם. אתם יוצרים אינטראקציה עם הטמעות בכל פעם שאתם מבצעים חיפוש ב-Google או רואים המלצות לסטרימינג של מוזיקה.
הטכנולוגיה של הטמעות פועלת על ידי המרת טקסט, תמונה ווידאו למערכים של מספרים ממשיים, שנקראים וקטורים. הווקטורים האלה נועדו לתעד את המשמעות של הטקסט, התמונות והסרטונים. האורך של מערך ההטמעה נקרא המימד של הווקטור. לדוגמה, קטע טקסט יכול להיות מיוצג על ידי וקטור שמכיל מאות ממדים. לאחר מכן, על ידי חישוב המרחק המספרי בין ייצוגי הווקטור של שני קטעי טקסט, אפליקציה יכולה לקבוע את הדמיון בין האובייקטים.
Vertex AI תומך בשני סוגים של מודלים להטמעות: טקסט ומולטימודל.
תרחישי שימוש בהטמעות טקסט
אלה כמה תרחישי שימוש נפוצים להטמעות טקסט:
- חיפוש סמנטי: חיפוש טקסט שדורג לפי דמיון סמנטי.
- Classification: הפונקציה מחזירה את הסיווג של פריטים שהמאפיינים שלהם דומים לטקסט שצוין.
- אשכולות: קיבוץ פריטים שמאפייני הטקסט שלהם דומים לטקסט שצוין.
- זיהוי חריגים: החזרת פריטים שבהם מאפייני הטקסט הכי פחות קשורים לטקסט שצוין.
- ממשק שיחה: מקבץ קבוצות של משפטים שיכולים להוביל לתשובות דומות, כמו במרחב הטמעה ברמת השיחה.
תרחיש שימוש לדוגמה: פיתוח צ'אט בוט להמלצות על ספרים
אם רוצים לפתח צ'אטבוט להמלצות על ספרים, הדבר הראשון שצריך לעשות הוא להשתמש ברשת עצבית עמוקה (DNN) כדי להמיר כל ספר לווקטור הטמעה, כאשר וקטור הטמעה אחד מייצג ספר אחד. אפשר להזין לרשת העצבית העמוקה (DNN) רק את שם הספר או רק את תוכן הטקסט. אפשר גם להשתמש בשני המאפיינים האלה יחד, בנוסף לכל מטא-נתון אחר שמתאר את הספר, כמו הז'אנר.
ההטמעות בדוגמה הזו יכולות לכלול אלפי שמות של ספרים עם תקצירים וז'אנרים, ועשויות לכלול ייצוגים של ספרים כמו אנקת גבהים מאת אמילי ברונטה וההסכמה מאת ג'יין אוסטן שדומים זה לזה (מרחק קטן בין הייצוגים המספריים). לעומת זאת, הייצוג המספרי של הספר גטסבי הגדול מאת פ. סקוט פיצג'רלד יהיה רחוק יותר, כי התקופה, הז'אנר והסיכום פחות דומים.
הנתונים שמוזנים הם הגורם העיקרי שמשפיע על האוריינטציה של מרחב ההטמעה. לדוגמה, אם היינו מזינים רק את שמות הספרים, שני ספרים עם שמות דומים אבל תקצירים שונים מאוד היו יכולים להיות קרובים זה לזה. אבל אם נכלול את השם והסיכום, הספרים האלה יהיו פחות דומים (יותר רחוקים) במרחב ההטמעה.
צ'אטבוט להמלצות על ספרים שפועל באמצעות AI גנרטיבי יכול לסכם ספרים, להציע ספרים ולהראות לכם ספרים שאולי תאהבו (או לא תאהבו), על סמך השאילתה שלכם.
תרחישי שימוש בהטמעות מולטי-מודאליות
דוגמאות לתרחישי שימוש נפוצים בהטמעות מולטימודאליות:
תרחישים לדוגמה לשימוש בתמונות ובטקסט:
- סיווג תמונות: מקבל תמונה כקלט ומבצע חיזוי של מחלקה אחת או יותר (תוויות).
- חיפוש תמונות: חיפוש תמונות רלוונטיות או דומות.
- המלצות: יצירת המלצות על מוצרים או על מודעות על סמך תמונות.
תרחישים לדוגמה לשימוש בתמונות, בטקסט ובסרטונים:
- המלצות: יצירת המלצות על מוצרים או מודעות על סמך סרטונים (חיפוש דמיון).
- חיפוש תוכן וידאו
- שימוש בחיפוש סמנטי: מקבלים טקסט כקלט ומחזירים קבוצה של פריימים מדורגים שתואמים לשאילתה.
- איך משתמשים בחיפוש תמונות דומות:
- לקבל סרטון כקלט ולהחזיר קבוצה של סרטונים שתואמים לשאילתה.
- לקבל תמונה כקלט ולהחזיר קבוצה של סרטונים שתואמים לשאילתה.
- סיווג סרטונים: מקבל סרטון כקלט ומבצע חיזוי של מחלקה אחת או יותר.
תרחיש שימוש לדוגמה: חוויית קנייה קמעונאית אונליין
קמעונאים באינטרנט משתמשים יותר ויותר בהטמעות מולטימודאליות כדי לשפר את חוויית הלקוח. בכל פעם שאתם רואים המלצות מותאמות אישית למוצרים בזמן קניות ומקבלים תוצאות ויזואליות מחיפוש טקסט, אתם מבצעים אינטראקציה עם הטמעה.
אם רוצים ליצור הטמעה מולטימודלית לתרחיש שימוש של קמעונאות אונליין, צריך להתחיל בעיבוד של כל תמונת מוצר כדי ליצור הטמעה ייחודית של התמונה. ההטמעה היא ייצוג מתמטי של הסגנון החזותי, לוח הצבעים, הפרטים העיקריים ועוד. במקביל, המערכת ממירה תיאורי מוצרים, ביקורות של לקוחות ונתוני טקסט רלוונטיים אחרים להטמעות טקסט שמציגות את המשמעות הסמנטית וההקשר שלהם. על ידי מיזוג ההטבעות האלה של תמונות וטקסט למנוע חיפוש והמלצות מאוחד, החנות יכולה להציע המלצות מותאמות אישית לפריטים דומים מבחינה ויזואלית על סמך היסטוריית הגלישה וההעדפות של הלקוח. בנוסף, הוא מאפשר ללקוחות לחפש מוצרים באמצעות תיאורים בשפה טבעית, ומנוע החיפוש מאחזר ומציג את הפריטים הכי דומים מבחינה ויזואלית שמתאימים לשאילתת החיפוש שלהם. לדוגמה, אם לקוח מחפש 'שמלת קיץ שחורה', מנוע החיפוש יכול להציג שמלות שחורות, וגם שמלות בגזרות של שמלות קיץ, שמיוצרות מחומר קל יותר, ויכול להיות שהן ללא שרוולים. השילוב העוצמתי הזה של הבנה חזותית וטקסטואלית יוצר חוויית קנייה יעילה שמשפרת את מעורבות הלקוח, את שביעות הרצון שלו ובסופו של דבר יכולה להגדיל את נפח המכירות.
המאמרים הבאים
- מידע נוסף על הטמעות זמין במאמר הכירו את כלי העבודה הרב-תכליתי של ה-AI: הטמעות וקטוריות.
- כדי לעבור קורס בסיסי ומהיר בנושא הטמעות של ML, אפשר לעיין במאמר בנושא הטמעות.
- מידע נוסף על אחסון הטמעות וקטוריות במסד נתונים זמין במאמר סקירה כללית על חיפוש וקטורי.
- מידע על שיטות מומלצות לאתיקה של בינה מלאכותית ועל מסנני הבטיחות של Vertex AI זמין במאמר בנושא אתיקה של בינה מלאכותית.
- כדי ללמוד איך מקבלים הטמעות, אפשר לעיין במסמכים הבאים: