מעקב אחר ניסויי A/B וניתוח שלהם

בדף הזה מוסבר איך אפשר לעקוב אחרי התנועה בניסויי A/B ולהשוות בין מדדים עסקיים מרכזיים של חיפוש במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience.

סקירה כללית

אתם יכולים לבצע ניסוי A/B כדי להשוות בין מדדים עסקיים מרכזיים של הטמעת החיפוש הקיימת לבין AI Commerce Search.

אחרי שמגדירים את הניסוי ואת חלוקת התנועה שלו, אפשר לעקוב אחרי התנועה בניסוי ולצפות במדדים עסקיים באמצעות הדף ניסוי במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience.

כדי להגדיר מעקב אחר ניסוי A/B במסוף, צריך להזין מידע על בדיקת ה-A/B, כמו שם, טווח תאריכים ופרטים על קבוצת הניסוי. כל קבוצת משתנים בניסוי ממופה לקבוצת ניסוי שיצרתם עבור ניסוי ה-A/B, כאשר הקבוצה הראשונה שהגדרתם במסוף נחשבת לקבוצת הבקרה הבסיסית.

בכל ניסוי יש כרטיסייה מעקב שבה מוצגים מדדים של פיצול התנועה. המדדים האלה יכולים לעזור לכם לקבוע אם בדיקת ה-A/B מוגדרת בצורה נכונה. הנתון הזה חשוב כדי לוודא שלא הוחדר הטיה לבדיקת ה-A/B. לדוגמה, בעיה אופיינית שכדאי לשים לב אליה היא אם שאילתות או קטגוריות מסוימות מוצגות על ידי זרוע ניסוי אחת אבל לא על ידי אחרות.

לכל ניסוי יש גם כרטיסייה Analytics שבה אפשר לראות השוואות של מדדים עסקיים מרכזיים. הדוח כולל שתי קטגוריות של מדדים עסקיים:

  • מדדים לכל חיפוש או לכל גלישה, כמו קליקים לכל חיפוש.
  • מדדים שקשורים לכל חיפוש או לכל ביקור בדף מוצר, כמו הכנסה לכל ביקור בדף מוצר.

רשימת המדדים

כל מדד עסקי מספק ערכים גולמיים, התחזקות יחסית בהשוואה לקבוצת הבקרה של קו הבסיס ורווח בר-סמך של 95%. אפשר לראות גם מדדים מצטברים וגם מדדים לפי תאריך.

בכרטיסייה 'מעקב אחרי תנועה' מוצגות חלוקות תנועה לא מכוונות ואת התאריכים שבהם הן התרחשו. כדי לקבוע אם חלוקת התנועה לא הייתה מכוונת, משווים בין אחוז חלוקת התנועה בפועל לבין אחוז חלוקת התנועה המיועד שהזנתם כשקבעתם את הגדרות המעקב. חלוקת התנועה נחשבת נכונה אם ההפרש היחסי שווה ל-10% או פחות. לדוגמה, אם התנועה אמורה להתפצל באופן שווה בין שתי קבוצות, פיצול בפועל של 45% ל-55% הוא בטווח המיועד.

אתם יכולים להשתמש במסוף כדי לעקוב אחרי כמה ניסויים בו-זמנית.

תאריך הניסוי והמדדים שמוצגים לפי תאריך מבוססים על אזור הזמן America/Los_Angeles, והשעה 12:00 לפנות בוקר לפי שעון America/Los_Angeles לתאריכי התחלה וסיום.

אפשר לעדכן את פרטי הניסוי במסוף בכל שלב, גם אם הניסוי מתנהל, הסתיים או נמצא בהמתנה. הפרטים שאפשר לעדכן הם תאריכי ההתחלה והסיום, מספר קבוצות הווריאנטים, מזהי הניסוי ואחוז פיצול התנועה המיועד. הנתונים מתעדכנים רטרואקטיבית.

כדי לעקוב אחרי ניסויי A/B ולנתח אותם, צריך לעמוד בדרישות הבאות או לפעול בהתאם למגבלות הבאות:

  • הטווח המקסימלי של נתוני הניסוי שאפשר לעקוב אחריהם הוא 180 יום. אם ניסוי התחיל לפני יותר מ-180 ימים, המדדים שגילם יותר מ-180 ימים לא נרשמים.

  • מעקב אחר תנועה לפי שאילתה או לפי קטגוריה מחזיר רק את 100 השאילתות או הקטגוריות המובילות שמקבלות הכי הרבה תנועה מכל קבוצות הניסוי.

לפני שמתחילים

לפני שמגדירים מעקב במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience לניסוי A/B:

  • הגדרה של הטמעת אירועי משתמשים לאירועים שמוצגים על ידי הטמעת החיפוש הקיימת שלכם ועל ידי AI Commerce Search.

  • כדאי לעיין בשיטות המומלצות לניסויי A/B.

  • מגדירים את הניסוי באמצעות פלטפורמת ניסויים של צד שלישי, כמו Google Optimize או Optimizely.

  • מגדירים את אירוע המשתמש experimentIds לכל קבוצת ניסוי ורושמים אותו. כשמגדירים מעקב אחרי ניסוי, צריך לציין את מזהי הניסוי לכל קבוצת וריאנטים.

הוספת ניסוי במסוף

כדי להוסיף ניסוי חדש למעקב במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience, פועלים לפי השלבים הבאים:

בתהליך הזה, יוצרים זרועות של וריאציות במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience שתואמות לקבוצות הניסוי הקיימות שיצרתם בפלטפורמת הניסויים של צד שלישי. דוגמאות לאופן שבו אפשר למפות זרועות וריאנט לקבוצות ניסוי קיימות מופיעות במאמר דוגמאות להגדרות של ניסויים.

הוספת פרטי הניסוי

מוסיפים ניסוי במסוף ומזינים את הפרטים שלו.

  1. נכנסים לדף Experiments במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience.

    מעבר לדף 'ניסויים'

  2. לוחצים על הוספת ניסוי.

    ייפתח הדף ניסוי חדש.

  3. מזינים שם לניסוי.

  4. בוחרים את תאריכי ההתחלה והסיום של הניסוי.

    אם התנועה בניסוי מוגדרת לעלייה הדרגתית, צריך להגדיר את תאריך ההתחלה לתאריך שבו העלייה ההדרגתית מסתיימת וחלוקת התנועה מתייצבת.

  5. בוחרים את סוג הפעילות שהניסוי הזה עוקב אחריה:

    • Browse (עיון): ניווט באתר לפי קטגוריית דף. פעילות הגלישה מסומנת על ידי שאילתה ריקה בתשובת החיפוש.

    • חיפוש: חיפושים של שאילתות טקסט באתר.

לאחר מכן, יוצרים קבוצות וריאנטים לניסוי.

הוספת וריאנטים

אחרי שמוסיפים את פרטי הניסוי במסוף, יוצרים קבוצות וריאציות שתואמות לכל קבוצת ניסוי.

הגרסה הראשונה שאתם מגדירים היא גרסת הבסיס. בדרך כלל, קו הבסיס מייצג את הפתרון הקיים שלכם.

לפני שמתחילים, מוודאים שיש לכם את אירוע המשתמש experimentIds לכל קבוצת ניסוי.

  1. לוחצים על הוספת קבוצת משנה של וריאציות.

    החלונית Create Variant Arm נפתחת.

  2. מזינים את אירוע המשתמש experimentId שמשויך להגדרת הניסוי שקבוצת הניסוי הזו תעקוב אחריו:

    • אם מגדירים קבוצת וריאנטים ראשונה: מזינים את אירוע המשתמש experimentId שמשויך לקבוצת הבסיס שתשמש כבסיס.

    • אם כבר הגדרתם את קבוצת הבסיס של הווריאנט: מזינים את אירוע המשתמש experimentId שמשויך לקבוצת הניסוי הבאה.

  3. מזינים שם שקריא לאנשים לקבוצת הווריאנט הזו.

    השם הזה מוצג בלוחות בקרה של המעקב במסוף.

  4. (אופציונלי) מוסיפים תיאור לגרסת המוצר הזו.

  5. בוחרים יעד להצגת תנועה:

    • ‫Google AI Commerce Search API: אם זרוע הווריאנט הזו עוקבת אחרי תנועה של תוצאות חיפוש מסחריות מבוססות-AI.

    • חיצוני: אם קבוצת הווריאציות הזו עוקבת אחרי תנועה כדי לקבל תוצאות משירות חיצוני. לדוגמה, קבוצת הניסוי של וריאציית הבסיס (או הבקרה) מייצגת כנראה יעד חיצוני אם הניסוי משווה בין התנועה של שירות קיים לבין התנועה שמגיעה מרשת החיפוש של AI Commerce Search.

  6. לוחצים על יצירה כדי לסיים את יצירת זרוע הווריאנט הזה.

    קבוצת הניסוי עם הגרסה הניסיונית מוצגת בדף ניסוי חדש.

  7. חוזרים על השלבים הקודמים כדי ליצור קבוצות של וריאציות שמשויכות לכל קבוצת ניסוי שמתכננים לעקוב אחריה.

    צריך להגדיר לפחות קבוצה אחת של מקורות חיצוניים וקבוצה אחת של חיפוש מבוסס-Vertex AI ל-Retail API.

  8. (אופציונלי) כברירת מחדל, אחוז התנועה המיועד מחולק באופן שווה בין כל קבוצות הווריאנטים. כדי לשנות את אחוזי התנועה המיועדים:

    1. בקטע הוספת וריאציות, לוחצים על ערך של אחוז התנועה בעמודה תנועה %.

      תיפתח החלונית אחוז התנועה.

    2. בשדה חלוקת משקל, בוחרים באפשרות אחוזים בהתאמה אישית.

    3. בעמודה אחוז התנועה של כל קבוצת וריאציות, מזינים את אחוז התנועה המיועד שלה.

      סכום האחוזים של נפח התנועה בכל קבוצות הווריאציות חייב להיות 100%.

    4. לוחצים על סיום.

      החלונית אחוז התנועה נסגרת.

  9. לוחצים על יצירה בדף ניסוי חדש כדי לסיים את יצירת הניסוי.

    הניסוי מוצג בדף ניסויים להצטרפות.

דוגמאות להגדרות ניסוי

בקטע הזה מוצגות שתי דוגמאות להגדרות של ניסויים.

בדוגמה 1 מוצגת קבוצת בקרה בסיסית וקבוצת ניסוי אחת של AI Commerce Search.

בדוגמה 2 מוצגת השוואה בין קבוצת בקרה בסיסית לבין שתי קבוצות ניסוי של AI Commerce Search.

דוגמה 1: שתי זרועות של וריאציות

בדוגמה הזו, נניח שאתם מתכננים להגדיר ניסוי A/B עם:

  • ‫20% מבקשות החיפוש שנשלחות למנועי חיפוש פנימיים כקבוצת בקרה בסיסית
  • ‫20% מבקשות החיפוש שנשלחות אל Google AI Commerce Search API כקבוצת הניסוי
  • ‫60% כקבוצת בקרה שלא נכללת בבדיקת ה-A/B

הבקשה והגדרת אירוע המשתמש יהיו:

סוג תעבורה מנוע גילוי event.experimentIds event.attributionToken אחוז התנועה
שליטה בתנועה בתוך החברה CONTROL לא רלוונטי 20%
התנועה בניסוי Google AI Commerce Search API EXPERIMENT טוקן שיוך מתגובת החיפוש 20%
תנועת הגולשים בקבוצת הבקרה אחת מהאפשרויות או שתיהן לא רלוונטי תלוי במנוע הגילוי 60%

יכול להיות שהתנועה לקבוצת ההשוואה תגיע ממנוע חיפוש פנימי, מחיפוש מסחרי מבוסס-AI או משניהם. מכיוון שהם לא חלק מבדיקת ה-A/B, אין להם מזהה ניסוי. כדי לציין אילו אירועים של משתמשים הם חלק מבדיקת ה-A/B, חשוב לספק את המידע experimentIds וattributionToken. מחרוזות experimentId שלכם עשויות להיות שונות מאלה שמופיעות בדוגמה הזו. חשוב לוודא שהמזהים שבהם אתם משתמשים עקביים בין הניסויים שלכם לבין אירועי המשתמשים.

כשיוצרים את הניסוי המתאים במסוף, יוצרים רק שתי קבוצות וריאציות, כי קבוצת ההחזקה לא נכללת בניסוי. אחוז התנועה המיועד לחלוקה בין שתי קבוצות הניסוי הוא 50% / 50%.

כדי להגדיר מעקב אחרי הניסוי לדוגמה הזה, צריך ליצור במסוף קבוצות ניסוי תואמות לכל קבוצת ניסוי. בטבלה הבאה מוצג המידע שצריך להזין במסוף במהלך הגדרת קבוצת משנה של וריאנטים בדוגמה הזו.

שם זרוע הווריאנט יעד התנועה מזהה הניסוי של אירוע משתמש אחוז התנועה המיועד
דוגמה לקבוצת בקרה חיצוני CONTROL 50%
דוגמה לקבוצת ניסוי Google AI Commerce Search API ניסוי 50%

דוגמה 2: שלוש קבוצות של וריאציות

בדוגמה הזו, נניח שאתם מתכננים לבצע ניסוי A/B על שאילתות פופולריות (שאילתות בתדירות גבוהה) ולכלול בו גם הפעלה וגם השבתה של היבטים דינמיים. ההגדרות של הבקשות ואירועי המשתמש יהיו:

שם זרוע הווריאנט יעד התנועה event.experimentIds event.attributionToken אחוז התנועה
שליטה בשאילתות ראשיות בתוך החברה CONTROL לא רלוונטי ‫50% מהשאילתות הראשונות
ניסוי להפעלת היבטים דינמיים בשאילתות ראשיות Google AI Commerce Search API EXP_DF_ON טוקן שיוך מתגובת החיפוש ‫25% מהשאילתות הראשיות
ניסוי השבתה של היבטים דינמיים בשאילתות ראשיות Google AI Commerce Search API EXP_DF_OFF טוקן שיוך מתגובת החיפוש ‫25% מהשאילתות הראשיות
שאילתות שלא קשורות למותג ושאילתות אחרות שלא נכללות Google AI Commerce Search API לא רלוונטי תלוי במנוע שבו משתמשים לא רלוונטי

כדי להגדיר מעקב אחרי הניסוי לדוגמה הזה, צריך ליצור במסוף קבוצות ניסוי תואמות לכל קבוצת ניסוי. בטבלה הבאה מוצג המידע שצריך להזין במסוף במהלך הגדרת קבוצת משנה של וריאנטים בדוגמה הזו.

שם זרוע הווריאנט יעד התנועה מזהה הניסוי של אירוע משתמש אחוז התנועה המיועד
דוגמה לקבוצת בקרה חיצוני CONTROL 50%
דוגמה לקבוצת ניסוי 1 Google AI Commerce Search API EXP_DF_ON 25%
דוגמה לקבוצת ניסוי 2 Google AI Commerce Search API EXP_DF_OFF 25%

מדדי תנועה

בדף מעקב של ניסוי מוצגת חלוקת התנועה הלא מכוונת של המדדים הבאים:

  • חיפוש או עיון במספר האירועים לפי תאריך
  • מספר המבקרים שחיפשו או גלשו בכל תאריך
  • מספר אירועים של חיפוש או עיון לפי קטגוריה

אם מתרחשים פיצולים לא מכוונים של תנועה באחד מהמדדים האלה, בכרטיס שלו בחלק העליון של הדף Monitoring (מעקב) מוצגים התאריכים שבהם התרחש פיצול התנועה הלא מכוון. לוחצים על חלוקת תנועה לא מכוונת כדי לראות טבלה שניתנת לסינון עם פירוט של חלוקת תנועה לא מכוונת עבור המדד הזה.

בטבלאות הבאות בדף מעקב של ניסוי מוצגת השוואה בין מדדי התנועה בזרועות הווריאנטים לפי השימוש. לוחצים על View more (הצגת פרטים נוספים) לצד שם הטבלה כדי לראות טבלה שניתנת לסינון ומציגה את כל נתוני פיצול התנועה של המדד הזה:

  • מספר אירועי חיפוש או עיון לפי תאריך: המספר הכולל של חיפושים או עיון שהתרחשו בקבוצת משתמשים של וריאציה בתאריך מסוים.

  • מספר המבקרים שחיפשו או גלשו בגרסת וריאציה מסוימת בכל תאריך.

  • מספר אירועי חיפוש/עיון לכל קטגוריה: המספר הכולל של הפעמים שבהן בוצע חיפוש של שאילתה או קטגוריה מסוימת בזרוע וריאנט מתאריך ההתחלה של הניסוי ועד תאריך הסיום שלו (או עד התאריך הנוכחי, אם הניסוי עדיין מתנהל). בטבלה הזו מוצגות רק 100 השאילתות או הקטגוריות המובילות מבחינת סך התנועה של כל קבוצות הווריאציות בניסוי.

מעקב אחרי ניסוי

בדף ניסויים להצטרפות מוצגת טבלה עם הניסויים האחרונים שלכם.

כדי לעקוב אחרי ניסוי:

  1. נכנסים לדף Experiments במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience.

    מעבר לדף 'ניסויים'

  2. לוחצים על שם הניסוי.

    ייפתח הדף מעקב של הניסוי.

  3. בודקים אם יש בדף חלוקות תנועה לא מכוונות.

    בכל מדד מוצגים התאריכים שבהם התרחשו חלוקות תנועה לא מכוונות.

  4. אם אתם רואים פיצולים לא רצויים, לוחצים על פיצולים לא רצויים של תנועה כדי לראות טבלה עם אפשרות סינון שמציגה פיצולים לא רצויים של תנועה עבור המדד הזה.

איך לטפל בחלוקת תנועה לא מכוונת

מעקב אחרי ניסויים ממסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience יכול לעזור לכם לזהות בעיות פוטנציאליות בניסוי.

אם אתם נתקלים בפיצולים לא מכוונים של תנועה, ודאו שהאירועים מתויגים במזהה הניסוי הנכון. לדוגמה, אם אירוע ששייך לקבוצת בקרה מתויג במזהה ניסוי שגוי, יכול להיות שהאירוע ישויך לקבוצת וריאנט שגויה.

אם תיוג האירועים פועל בצורה תקינה, פיצולי תנועה לא מכוונים שמדווחים על ידי AI Commerce Search ב-Gemini Enterprise for Customer Experience במסוף חוויית הלקוח יכולים להצביע על בעיות בפיצול התנועה בפלטפורמת הניסויים. במקרה כזה, צריך להשהות את בדיקת ה-A/B לפני שפותרים את הבעיה, כדי שהניסוי לא יניב תוצאות שגויות.

מדדים עסקיים לניתוח נתונים

יש שני סוגים של מדדים עסקיים:

  • מדדים לכל חיפוש או לכל גלישה
  • ביקור לכל חיפוש או ביקור לכל גלישה

מדדים של כל ביקור מחיפוש

הגדרות המדדים של כל ביקור מחיפוש מפורטות כאן. ההגדרות של מדדים לכל ביקור בדפדוף דומות לאלה של מדדים לכל ביקור בחיפוש, רק שבכל המקרים שבהם מופיעה המילה 'חיפוש' מופיעה המילה 'דפדוף'.

בשיעור הזמנות הרכש, הזמנת רכש אחת יכולה לכלול כמה מק"טים. כל מק"ט יכול להיות בכמות של אחד או יותר.

-->
שם המדד הגדרה
מספר הביקורים מחיפוש מספר הביקורים שכוללים לפחות חיפוש אחד.
שיעור העזיבה מספר הביקורים בחיפוש שכוללים רק אירוע משתמש אחד חלקי מספר הביקורים בחיפוש
שיעור הצפייה בדף מספר הקליקים (הצפיות בדפים) חלקי מספר הביקורים מחיפוש
שיעור ההוספה לעגלת הקניות (ATC) מספר היחידות שנוספו לעגלת הקניות בביקורים מחיפוש / מספר הביקורים מחיפוש
שיעור הזמנות הרכש מספר הזמנות הרכש בביקורים בחיפוש / מספר הביקורים בחיפוש
שיעור ההכנסה סכום ההכנסות מביקורים שהגיעו מחיפוש / מספר הביקורים שהגיעו מחיפוש
ערך הזמנה ממוצע (AOV) סכום ההכנסות מביקורים בחיפוש חלקי מספר הזמנות הרכישה מביקורים בחיפוש

מדדים לכל חיפוש

הגדרות המדדים לכל חיפוש מפורטות כאן. ההגדרות של מדדים לפי גלישה דומות להגדרות של מדדים לפי חיפוש, רק שבכל המופעים של המילה 'חיפוש' מופיעה המילה 'גלישה'.

שם המדד הגדרה
מספר החיפושים מספר אירועי החיפוש
שיעור ללא תוצאה ספירת אירועי חיפוש ללא תוצאות / ספירת חיפושים
שיעור קליקים (CTR) מספר הקליקים (הצפיות בדפים) שמגיעים מחיפוש / מספר החיפושים
שיעור ההוספה לעגלת הקניות (ATC) מספר היחידות שנוספו לעגלת הקניות בעקבות חיפוש / מספר החיפושים
שיעור הרכישות מספר היחידות שנרכשו בעקבות חיפוש / מספר החיפושים
שיעור ההכנסה סכום ההכנסות שמגיעות מחיפושים חלקי מספר החיפושים
ערך ממוצע ליחידה (AUV) סכום ההכנסות מחיפושים חלקי מספר היחידות שנרכשו בעקבות חיפושים

ניתוח הביצועים העסקיים של הניסוי

בכרטיסייה Analytics של כל ניסוי מוצגים מרכזי בקרה עם מדדים עסקיים. במרכזי הבקרה מוצגות השוואות בין הביצועים של קבוצות הווריאנטים.

יש שני לוחות בקרה עם מדדים:

  • מדדים של ביקור שמגיע מחיפוש וביקור שמגיע מגלישה
  • מדדים לכל חיפוש ולכל גלישה

המדדים שמוצגים הם מדדי חיפוש או מדדי גלישה, בהתאם ProductType למאפיין של הניסוי.

בכל לוח בקרה מוצגת טבלת סיכום של מדדים, שבה מוצגות תוצאות של מדדים שמצטברות על פני התאריכים שמוצגים במסנן טווח התאריכים. ערכי התאריכים שמוגדרים כברירת מחדל הם תאריך ההתחלה ותאריך הסיום של הניסוי.

כל מדד מוצג כטבלת תוצאות מצטברות וגם כתרשים של ערכים יומיים שמספק מידע מפורט יותר.

טווח התאריכים בטבלה המצטברת מוגדר כברירת מחדל לפי תאריכי ההתחלה והסיום של הניסוי. אם הניסוי מתנהל, תאריך הסיום מוגדר לתאריך הנוכחי. אפשר לשנות את מסנן טווח התאריכים. אם userAgent מסופק עם אירועי משתמשים שהמערכת קולטת, אפשר גם לפלח את המדדים לפי סוג המכשיר. לוחצים על סמל הרענון כדי להחיל את המסננים ששונו על המדדים.

אם התחזקות יחסית במדדים חיובית מספיק כדי לחרוג מרוחב הפס של הרווח בר-הסמך, צבע הרקע של הווריאציה יהיה ירוק. באופן דומה, אם ההתחזקות היחסית שלילית מספיק, צבע הרקע של הווריאציה יהיה אדום. אם החוזק היחסי קטן מרוחב הרווח בר-הסמך, צבע הרקע יהיה אפור כדי לציין שהתוצאה לא מובהקת סטטיסטית.

לדוגמה, כשמשווים בין קבוצת וריאציה לבין קבוצת בקרה של ערך בסיסי:

  • אם המדד שיעור הקליקים לכל חיפוש הוא ‎+3.0% ומרווח הטעות של הרווח בר-הסמך, שמוצג בתור מרווח הטעות של העלייה, הוא [‎2.1%, ‎4.0%], זרוע הווריאנט תודגש בירוק כדי לציין שהביצועים שלה טובים יותר ביחס למדד הזה בהשוואה לקבוצת הבקרה.
  • אם המדד שיעור ההכנסה לכל ביקור בדף הוא ‎-1.5% והרווח בר-הסמך הוא [‎-2.6%, ‎-0.4%], זרוע הווריאנט תודגש באדום כדי לציין שהביצועים שלה במדד הזה גרועים יותר בהשוואה לקבוצת הבקרה של קו הבסיס.
  • אם המדד ערך יחידה ממוצע לכל חיפוש הוא ‎+1.0% והרווח בר-הסמך הוא [‎-1.1%, 3.0%], זרוע הווריאנט מודגשת באפור כדי לציין שההבדל בביצועים עדיין לא מובהק סטטיסטית.

בדרך כלל, ככל שיש יותר נקודות נתונים, השונות קטנה יותר. למדדים מצטברים שנאספו במשך כמה שבועות יהיה רוחב פס קטן יותר של רווח בר-סמך מאשר למדדים יומיים, ויש סיכוי גבוה יותר שהם יציגו מובהקות סטטיסטית.

שינוי פרטי הניסוי

אפשר לעדכן את פרטי הניסוי ב-Play Console בכל שלב, בלי קשר לשאלה אם הניסוי מתנהל, הסתיים או נמצא בהמתנה. בין הפרטים שאפשר לעדכן: תאריכי ההתחלה והסיום, מספר קבוצות הניסוי, מזהי הניסוי ואחוז פיצול התנועה המיועד. הנתונים מתעדכנים רטרואקטיבית.

כדי לערוך את פרטי הניסוי:

  1. נכנסים לדף Experiments במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience.

    מעבר לדף 'ניסויים'

  2. בטבלה שבה מוצגים הניסויים האחרונים, מחפשים את הניסוי שרוצים לשנות.

  3. לוחצים על סמל התפריט (3 נקודות) פעולות משמאל לשורה בטבלה ולוחצים על עריכה.

    ייפתח הדף עריכת הניסוי.

  4. משנים את שדות הניסוי שרוצים לעדכן.

  5. לוחצים על עדכון כדי לשמור את השינויים.

מחיקת ניסוי מהמסוף

כדי למחוק ניסוי מ-AI Commerce Search במסוף Gemini Enterprise for Customer Experience:

  1. נכנסים לדף Experiments במסוף AI Commerce Search ב-Gemini Enterprise for Customer Experience.

    מעבר לדף 'ניסויים'

  2. בטבלה שבה מוצגים הניסויים האחרונים, מאתרים את הניסוי שרוצים למחוק.

  3. לוחצים על סמל האפשרויות הנוספות (3 נקודות) פעולות משמאל לשורה של הטבלה ולוחצים על מחיקה.

    נפתח חלון האישור למחוק את הניסוי?.

  4. מקלידים את שם הניסוי ולוחצים על אישור כדי לאשר את המחיקה.

    כשהמחיקה תושלם, במסוף תוצג הודעה שהניסוי נמחק בהצלחה.