בדף הזה מוסבר איך אפשר להשתמש בניסויי A/B כדי להבין איך AI Commerce Search משפיע על העסק.
סקירה כללית
ניסוי A/B הוא ניסוי אקראי עם שתי קבוצות: קבוצת ניסוי וקבוצת בקרה. קבוצת הניסוי מקבלת טיפול שונה (במקרה הזה, תחזיות או תוצאות חיפוש מ-AI Commerce Search), וקבוצת הבקרה לא מקבלת טיפול כזה.
כשמריצים ניסוי A/B, צריך לכלול את המידע על הקבוצה שהמשתמש נכלל בה כשמתעדים אירועים של משתמשים. המידע הזה משמש לשיפור המודל ולספק מדדים.
שתי הגרסאות של האפליקציה צריכות להיות זהות, למעט העובדה שהמשתמשים בקבוצת הניסוי רואים תוצאות שנוצרו על ידי AI Commerce Search, והמשתמשים בקבוצת הבקרה לא רואים אותן. אתם מתעדים ביומן אירועים של משתמשים בשתי הקבוצות.
מידע נוסף על חלוקת תנועה זמין במאמר חלוקת תנועה במסמכי App Engine.
פלטפורמות ניסויים
מגדירים את הניסוי באמצעות פלטפורמת ניסויים של צד שלישי, כמו VWO או AB Tasty. קבוצת הבקרה וקבוצת הניסוי מקבלות כל אחת מזהה ניסוי ייחודי מהפלטפורמה. כשמתעדים אירוע של משתמש, צריך לציין לאיזו קבוצה המשתמש שייך על ידי הכללת מזהה הניסוי בשדה experimentIds. הזנת מזהה הניסוי מאפשרת להשוות בין המדדים של הגרסאות של האפליקציה שמוצגות לקבוצת הבקרה ולקבוצת הניסוי.
שיטות מומלצות לניסויי A/B
המטרה של ניסוי A/B היא לקבוע בצורה מדויקת את ההשפעה של עדכון האתר (במקרה הזה, שימוש ב-AI Commerce Search). כדי למדוד את ההשפעה בצורה מדויקת, צריך לתכנן וליישם את הניסוי בצורה נכונה, כך שלא יהיו הבדלים אחרים שישפיעו על תוצאות הניסוי.
מיפוי מומלץ של מזהי ניסויים
מזהי ניסויים משמשים לבדיקות A/B, שבהן אפשר להשוות בין AI Commerce Search לבין פתרון חיפוש קיים. אפשר גם להשתמש בהם כדי להריץ ניסויים באתר עם AI Commerce Search שהוטמע באופן מלא, שבו צריך לבדוק הגדרה חדשה, קבוצת בקרה או מפרט לשיפור, בין היתר, מול קבוצת בקרה.
השדה של מזהה הניסוי באירועי המשתמשים הוא מערך, שמאפשר מדידה מפורטת יותר.
ריכזנו כאן כמה תרחישים לדוגמה:
- צריך להשוות את הביצועים של AI Commerce Search לקבוצת בקרה.
- צריך למדוד את הביצועים הכוללים.
- צריך למדוד את הביצועים בנייד בלבד.
- צריך למדוד את הביצועים במחשבים בלבד.
- צריך גם למדוד בנפרד את הביצועים של החיפוש וההמלצות.
כדי להשיג מדידות מפורטות כאלה, יכול להיות שתצטרכו 10 מזהי ניסויים, מתוכם 4 שצריך לשלוח במערך מזהי הניסויים של האירועים לכל אירוע.
| מזהי ניסויים לקבוצת בקרה של אירועים | מזהי ניסויים לקבוצת אירועים של בדיקה (חיפוש מסחר) | היקף האירועים ברמת המשתמש |
|---|---|---|
| בקרה | AI Commerce Search | כל האירועים |
Control_mobile |
Google_mobile |
כל האירועים בנייד |
Control_desktop |
Google_desktop |
כל האירועים במחשב |
Control_search |
Google_search |
כל החיפושים והאירועים שקשורים אליהם |
Control_recommendations |
Google_recommendations |
כל ההמלצות והאירועים שקשורים אליהן |
כדי למדוד את הביצועים הכוללים, משווים בין המדדים שנגזרים מאירועים עם מזהי הניסוי Control ו-AI Commerce Search. כדי למדוד את הביצועים בחיפוש בנייד, משווים בין המדדים שנגזרים מאירועים עם מזהי הניסוי Control_mobile + Control_search לבין המדדים שנגזרים מאירועים עם מזהי הניסוי Google_mobile + Google_search.
היררכיית קטגוריות
מוודאים שמוצרים זהים נמצאים באותה היררכיית קטגוריות בקמפיין הבקרה ובקמפיין הניסוי. לדוגמה, באתר הבקרה, מוצר של חולצת טישרט נמצא בהיררכיית הקטגוריות clothing > mens > tops > tee-shirts, ואותו מוצר נמצא בהיררכיית קטגוריות שונה בצד הבדיקה, כך ש-mens > popular > tops. ההגדרה הזו מובילה לתוצאות חיפוש שונות ולפילטרים שונים של קטגוריות בין אתר הבקרה לבין אתר הבדיקה. הבעיה הזו משפיעה על חוויית השימוש בדפדפן, כי page_category הוא הקלט לשיחת העיון, יחד עם מסננים.
שוויון בחוויית המשתמש לפני בדיקת A/B
כשמכינים את האתר לבדיקת A/B, לפני שמפנים תנועה של חיפושים או המלצות של משתמשים אמיתיים ל-AI Commerce Search עם מיפוי נכון של מזהה הניסוי, חשוב לשים לב לשוויון בין ממשק המשתמש וחוויית המשתמש באתר המסחר, עם קצה העורף של החיפוש מדור קודם שמשמש כקבוצת הבקרה, לבין האתר עם קצה העורף של AI Commerce Search.
בהינתן שאילתת חיפוש, בין דפי תוצאות החיפוש של קצה העורפי של חיפוש הבקרה לבין קצה העורפי של AI Commerce Search, יש כמה דברים שכדאי לבדוק, כולל:
האם מוצגות אותן פנים? אם לא, כדאי לעיין במפרטים של ההיבטים ובהגדרות המאפיינים ב-AI Commerce Search . ההיבטים האלה חשובים כי הם עוזרים למשתמשים לסנן את תוצאות החיפוש הראשוניות ולמצוא את המוצר המועדף. היבטים טובים ומשמעותיים יותר מאפשרים למשתמשים למצוא את המוצר המועדף עליהם בפחות זמן. אחרת, המשתמשים יצטרכו ללחוץ ולגלול יותר, מה שעלול לפגוע בחוויית החיפוש ובסופו של דבר להשפיע על שיעורי ההמרה והקליקים. יכול להיות שגם כתוצאה מכך המשתמשים ינטשו את החיפוש. לכן, אם יש היבטים דומים בין אתר הבקרה לאתר הבדיקה, למשתמשים אין יתרון לא הוגן בחיפוש מוצרים באתר אחד לעומת השני.
מיקומי מוצרים של נותני חסות בתוצאות החיפוש הם תכונה נפוצה באתרים רבים של מסחר אלקטרוני, ובדרך כלל המוצרים של נותני החסות לא נכללים בתוצאות החיפוש האורגני. חשוב לוודא שהמיקום והמוצרים שמוצגים בדף תוצאות החיפוש באתר הבקרה ובאתר הבדיקה כמעט זהים, אם לא זהים לגמרי. אם לא, רעשי רקע יתווספו למדידת מדדי הביצועים של ההכנסות, ותלוי בייחודיות של המוצרים הממומנים בין אתרי הבקרה והבדיקה, רעשי הרקע יכולים להיות גבוהים יותר.
היבטים נוספים של ממשק המשתמש שכדאי לקחת בחשבון:
- האם פרטי המחיר וההנחה זהים באתר הבקרה ובאתר הבדיקה?
- האם ההשלמה האוטומטית מציעה את אותן השלמות לשאילתת החיפוש?
- האם ערכי ההיבטים מופיעים באותו סדר?
- האם המוצרים מוצגים באותו סגנון, למשל ברשימה או בטבלה?
טיפים ושיקולים אחרונים
כדי לתכנן ניסוי A/B משמעותי, כדאי לפעול לפי הטיפים הבאים:
לפני שמגדירים ניסוי A/B, כדאי להשתמש בתצוגה מקדימה של חיפוש או בתחזית כדי לוודא שהמודל מתנהג כמו שציפיתם.
חשוב לוודא שההתנהגות של האתר זהה עבור קבוצת הניסוי וקבוצת הבקרה.
התנהגות באתר כוללת חביון, פורמט תצוגה, פורמט טקסט, פריסת דף, איכות תמונה וגודל תמונה. לא אמורים להיות הבדלים ניכרים באף אחד מהמאפיינים האלה בין חוויית השימוש של קבוצת הבקרה לבין חוויית השימוש של קבוצת הניסוי.
לקבל ולהציג את התוצאות כפי שהן מוחזרות מ-AI Commerce Search, ולהציג אותן באותו סדר שבו הן מוחזרות.
אפשר לסנן פריטים שחסרים במלאי. עם זאת, מומלץ להימנע מסינון או ממיון של תוצאות על סמך הכללים העסקיים שלכם.
אם אתם משתמשים באירועים של משתמשים בחיפוש וכוללים בהם את אסימון השיוך הנדרש, חשוב לוודא שהם מוגדרים בצורה נכונה. מידע נוסף זמין במאמר בנושא אסימוני שיוך.
חשוב לוודא שהגדרת ההצגה שאתם מספקים כשאתם מבקשים המלצות או תוצאות חיפוש תואמת למה שרציתם להשיג עם ההמלצה או תוצאת החיפוש, ולמיקום שבו אתם מציגים את התוצאות.
כשמשתמשים בהמלצות, הגדרת התצורה של הצגת המודל משפיעה על אופן האימון של המודלים, ולכן על המוצרים שמומלצים. מידע נוסף
אם אתם משווים פתרון קיים ל-AI Commerce Search, חשוב להקפיד על הפרדה מוחלטת בין חוויית המשתמש של קבוצת הבקרה לבין חוויית המשתמש של קבוצת הניסוי.
אם פתרון הבקרה לא מספק המלצה או תוצאת חיפוש, אל תספקו המלצה או תוצאת חיפוש מדפי הבקרה של AI Commerce Search. הפעולה הזו תגרום להטיה בתוצאות הבדיקה.
חשוב לוודא שהמשתמשים לא עוברים בין קבוצת הבקרה לבין קבוצת הניסוי. זה חשוב במיוחד בתוך אותו ביקור, אבל מומלץ גם בין ביקורים שונים. כך משפרים את ביצועי הניסוי ומקבלים תוצאות של בדיקת A/B עם מובהקות סטטיסטית מוקדם יותר.