מדריך למתחילים בנושא הטמעה של אירועים שקשורים למשתמשים

בדף הזה מפורטות הנחיות ושיטות מומלצות כלליות להטמעה של אירועי משתמשים. כדי להתחיל, כדאי לעיין במדריכים.

לפני שמתחילים

מדריכים

במדריכים האלה מוסבר איך לייבא אירועים שקשורים למשתמשים ממקורות שונים.

ייבוא אירועים מ-Cloud Storage

במדריך הזה מוסבר איך לייבא אירועי משתמשים מ-Cloud Storage.

בלחיצה על תראו לי איך תקבלו הסבר מפורט על המשימה ישירות ב-Cloud Shell Editor:

תראו לי איך

ייבוא אירועים מ-BigQuery

במדריך הזה מוסבר איך לייבא אירועים שקשורים למשתמשים מ-BigQuery.

בלחיצה על תראו לי איך תקבלו הסבר מפורט על המשימה ישירות ב-Cloud Shell Editor:

תראו לי איך

ייבוא אירועים ישירות

במדריך הזה מוסבר איך לייבא נתוני אירועים של משתמשים בשורה.

בלחיצה על תראו לי איך תקבלו הסבר מפורט על המשימה ישירות ב-Cloud Shell Editor:

תראו לי איך

צינור העברת הנתונים של חיפוש מסחרי מבוסס-AI כולל נתונים של קטלוג מוצרים ונתוני אירועים של משתמשים. זרם הנתונים הזה מספק את הבסיס לאימון המודל ולהערכה מתמשכת באמצעות מנגנוני משוב. קליטה מדויקת ומלאה של נתונים היא תהליך מתמשך שמאפשר לשמור על יכולת ההסתגלות של המודלים הבסיסיים, ומשפיעה באופן ישיר על האיכות והרלוונטיות של תוצאות החיפוש.

שיטות מומלצות כלליות להעברת נתוני אירועים של משתמשים

כדי למקסם את היעילות והאפקטיביות של פתרון החיפוש, כדאי לפעול לפי השיטות המומלצות האלה להטמעת נתונים כשמתכננים את הארכיטקטורה של הפתרון.

הוספת אירועי משתמשים ל-AI Commerce Search

בדומה לתהליך הטמעת הקטלוג, AI Commerce Search מציע שני מנגנונים לנתוני אירועים של משתמשים. ייבוא בכמות גדולה וסטרימינג בזמן אמת מספקים גמישות לארכיטקטורות שונות של קצה עורפי של לקוחות. לעומת זאת, כשמדובר באירועים שקשורים למשתמשים, עדיף להשתמש באסטרטגיית הטמעה ייעודית, ולא בגישה היברידית כמו בקטלוג. מבין שתי האפשרויות, סטרימינג בזמן אמת הוא הסטנדרט בהטמעות מעשיות.

שני המודלים מניבים תוצאות דומות באימון המודל, במדידת מדדי ה-KPI ובאופטימיזציה של ההכנסות, אבל יש ביניהם הבדלים קטנים. לדוגמה, ייבוא בכמות גדולה עשוי להיות יעיל יותר לעיבוד נפחים של נתונים היסטוריים, בעוד שסטרימינג מגיב יותר למשתמשים.

הבחירה תלויה בדרישות של סביבת הקמעונאות שלכם, למשל:

  • יעד ההשהיה לשילוב אירועים של משתמשים באימון המודל.
  • נפח האירועים שנוצרים.

הגדלת נפח הטמעת אירועי משתמשים ב-AI Commerce Search

כדי להתכונן לעליות פתאומיות בתנועה ולשמור על שלמות הנתונים, מומלץ לתכנן מראש תרחישי שינוי גודל. אירועים מיוחדים עם נפח תנועה גבוה, כמו מבצעים בסופי שבוע, יכולים לגרום לעלייה של פי 10 עד פי 20 בפעילות המשתמשים. חשוב לוודא שיש לכם מכסות מספיקות ושהמערכת שלכם יכולה להתרחב כדי להתמודד עם עליות כאלה.

האירועים האלה מתבטאים לרוב בפרצי תנועה פתאומיים, ולא בעלייה הדרגתית. אירועים חסרים בתקופות השיא האלה עלולים לפגוע באימון המודל, להוריד את רמת הביצועים בחיפוש ולשבש את מדידות ה-KPI. ניפוי באגים יכול להיות מאתגר, כי אירועים הם הבסיס למעקב אחר מדדי KPI ולפתרון בעיות כללי. הטמעה של מערכת התראות חזקה יכולה להודיע לכם על ירידה באיכות הנתונים, שלרוב נובעת מנתוני אירועים חסרים או שגויים.

אם תצפו את התרחישים האלה ותפעלו בהתאם, תוכלו לשמור על המהימנות והדיוק של נתוני אירועי המשתמשים, גם בתנאי עומס קיצוניים. נתונים מדויקים הם הבסיס למערכת AI Commerce Search, שמאפשרת לכם ליהנות מביצועים אופטימליים, מניתוח נתונים מדויק ומחוויה שמתמקדת במשתמשים בזמן שיא תעבורת הנתונים.

דוגמה לארכיטקטורה להעברה של אירועים באצווה

דוגמה לארכיטקטורה להעברה של אירועים באצווה

הטמעה של נתונים בקבוצות דורשת ארכיטקטורה ניתנת להרחבה שנועדה להטמעה יעילה של אירועי משתמשים ב-AI Commerce Search. הארכיטקטורה מורכבת משירותים, כולל Pub/Sub,‏ Dataflow,‏ BigQuery,‏ Workflows ו-Cloud Storage, שמיועדים לניהול תהליך ההטמעה בצורה מדורגת ומבוקרת. Google Cloud

סקירה כללית של הארכיטקטורה

ארכיטקטורת הטמעה של אירועים בקבוצות משתמשת בגישה רב-שלבית כדי להבטיח העברה מהימנה ומדויקת של נתוני אירועים של משתמשים אל AI Commerce Search.

בין הרכיבים העיקריים:

  • ‫Pub/Sub: משמש כנקודת הכניסה הראשונית לאירועים של משתמשים, ומספק מערכת העברת הודעות עמידה וניתנת להרחבה.
  • ‫Dataflow (סטרימינג של אירועים): קורא באופן רציף אירועים גולמיים של משתמשים מ-Pub/Sub וכותב אותם בטבלאות של אירועים גולמיים ב-BigQuery, וגם מתעד אירועים שנכשלו לצורך ניפוי באגים.
  • ‫BigQuery: משמש כפתרון העיקרי לאחסון נתונים, ומאחסן אירועים גולמיים, אירועים שעברו טרנספורמציה ומטא-נתונים שונים שקשורים לתהליך ההטמעה.
  • ‫Workflows: מארגן את עיבוד ברצף (batch processing) השעתי של אירועים גולמיים, כדי להבטיח את תקינות נתונים ולסייע בטיפול בשגיאות.
  • ‫Cloud Storage: מספק אחסון זמני ל-Dataflow במהלך העיבוד ולארכוב של יומני אירועים שנכשלו.
  • AI Commerce Search: היעד הסופי של נתוני אירועי המשתמשים, שמאפשר יכולות מתקדמות של חיפוש והמלצות.

זרימת נתונים מפורטת

זהו תרשים זרימת הנתונים של הטמעת אירועים בכמות גדולה.

  1. סטרימינג של אירועים ושמירה של נתונים גולמיים:

    • אירועים של משתמשים מתפרסמים בנושאים של Pub/Sub ממערכת המקור של הלקוח.
    • צינור עיבוד נתונים בסטרימינג של Dataflow (אירועים בסטרימינג) קורא אירועים מ-Pub/Sub באופן רציף.
    • אירועים גולמיים שבוצעו בהצלחה נכתבים בטבלאות של אירועים גולמיים ב-BigQuery.
    • כל הכשלים במהלך ההטמעה הראשונית הזו נרשמים ומאוחסנים בטבלאות נפרדות של נתונים גולמיים שנכשלו ב-BigQuery לצורך ניתוח ופתרון בעיות.

  2. עיבוד ברצף (batch processing) וטרנספורמציה כל שעה:

    • ‫Workflows מפעיל צינור Dataflow מתוזמן כל שעה (Incr Batch Events).
    • צינור הנתונים הזה קורא אירועים גולמיים מטבלאות ב-BigQuery.
    • האירועים מומרים לפורמט הנדרש של AI Commerce Search.
    • אירועים שעברו טרנספורמציה נכתבים בטבלאות של אירועים שעברו אוצרות ב-BigQuery.
    • כל הכשלים בהמרת הנתונים מתועדים בטבלאות של אירועים שנכשלו ב-BigQuery.

  3. אימות והכנת נתונים:

    • תהליכי העבודה מריצים פרוצדורה מאוחסנת ב-BigQuery כדי ליצור או לעדכן תצוגה (Incr Update Event View) שמשקפת את נתוני האירועים שעברו את השינוי האחרון מהשעה האחרונה.
    • לאחר מכן, תהליך העבודה מבצע בדיקת אימות בתצוגה הזו, כדי לוודא שמספר האירועים שהשתנו נמצא בתוך סף מוגדר מראש.

  4. ייבוא של AI Commerce Search:

    • אם האימות מצליח, Workflows מפעיל את ממשק ה-API של אירוע הייבוא של AI Commerce Search, ומפנה אותו לתצוגה ב-BigQuery שמכילה את האירועים שעברו טרנספורמציה.
    • לאחר מכן, AI Commerce Search מייבאת את האירועים האלה לעיבוד נוסף ולהוספה לאינדקס.

שיקולים נוספים לגבי הטמעה של אירועים בקבוצות

היבטים נוספים שכדאי לקחת בחשבון כשמייבאים אירועים בקבוצות:

  • אבטחה: צריך להטמיע אמצעי אבטחה מתאימים, כמו אמצעי בקרה על הגישה והצפנה, כדי להגן על נתוני אירועים רגישים של משתמשים.
  • מעקב ורישום ביומן: צריך להגדיר מעקב ורישום מקיפים ביומן כדי לעקוב אחרי הביצועים של המערכת ולזהות בעיות פוטנציאליות באופן יזום.
  • אופטימיזציה של העלויות: צריך לעקוב אחרי ניצול המשאבים כדי לבצע אופטימיזציה של העלויות ולהבטיח שימוש יעיל בשירותי Google Cloud .

הארכיטקטורה הזו מספקת בסיס להטמעת אירועי משתמשים ב-AI Commerce Search. באמצעות שימוש בשירותים שונים של Google Cloud ושילוב של שיטות מומלצות לעיבוד נתונים ולטיפול בשגיאות, ארגונים יכולים לבנות פתרונות ניתנים להרחבה וקלים לתחזוקה לחיפוש מתקדם ולהמלצות.

המאמרים הבאים