בדיקה ואישור של הצעות להעשרה

המדריך הזה מיועד למנהלי מדיניות מידע ארגונית ולאדמינים של קטלוגים. במאמר מוסבר איך להעריך ולאשר את הצעות המטא-נתונים שנוצרו על ידי הרצות העשרה.

בכל פעם שאתם מפעילים משימת העשרה, נוצרת הרצת העשרה. ההרצה מעבדת את קבוצת ההקשרים בהתאם לאותות הידע, יוצרת מדדי הערכה ומציעה מאפייני מטא-נתונים חדשים.

אתם יכולים לראות את הפרטים של הרצות קודמות, להעריך את הביצועים שלהן ולהחליט אם לאשר או לדחות את השינויים המוצעים במטא-נתונים.

לפני שמתחילים

כדי לקבל את ההרשאות שדרושות להערכה ולאישור של הרצות העשרה, בקשו מהאדמין להקצות לכם את אחד מתפקידי ה-IAM הבאים בפרויקט:

  • עריכה ב-Dataplex Catalog ‏ (roles/dataplex.catalogEditor)
  • אדמין ב-Dataplex Catalog ‏ (roles/dataplex.catalogAdmin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

בנוסף, צריך להפעיל בפרויקט משימת העשרה פעילה. מידע נוסף מופיע במאמר יצירת משימות העשרה.

תהליך עבודה של הערכה

אפשר לבדוק את הרצת ההעשרה בשלושה שלבים:

  1. הערכת הכדאיות הכוללת: בודקים את הציונים המצטברים בכרטיסיות Overview ו-Evaluation. כך תוכלו לדעת אם ההרצה הצליחה באופן כללי או שהיא הזיה מוחלטת, לפני שתתעמקו בפרטים.

  2. בדיקה של הצעות ספציפיות: מסננים את הכרטיסייה סקירה כללית לפי הצעות ברמת סמך של Low. אם ההחלטה של ההצעה לא ברורה, אפשר להשתמש בכרטיסייה Artifacts כדי לבדוק את עקבות השיחה הגולמיים ולהבין למה הנציג הציע את ההצעה.

  3. מאשרים או דוחים את ההפעלה: מבצעים בדיקה סופית. אם רוב ההצעות נכונות ומבוססות, מאשרים את ההפעלה כדי למזג את המטא-נתונים בקטלוג. אם יש בה הרבה פגמים, דוחים את ההפעלה, משפרים את קבוצות ההקשר ומנסים שוב.

פתיחת הרצה של העשרה

כדי לראות את הפרטים של הפעלת העשרה:

  1. נכנסים לדף Knowledge Studio במסוף Google Cloud .

    מעבר אל Knowledge Studio

  2. בחלונית הניווט שמימין, לוחצים על העשרות.

    הדף Enrichment נפתח ומוצגת בו רשימה של משימות פעילות, משימות שנכשלו ומשימות שהצליחו. רשימת המשימות כוללת את שם המשימה, הסטטוס, סיכום ההרצה, הטריגר והתאריך שבו בוצע השינוי האחרון.

  3. ברשימת המשימות, לוחצים על השם של משימת ההעשרה שרוצים לבדוק.

  4. לוחצים על הכרטיסייה Jobs.

  5. ברשימת המשימות, לוחצים על הקישור Name (מזהה) של ההרצה שרוצים לראות. אפשר גם ללחוץ על Actions ליד הרצה מסוימת ולבחור באפשרות View result.

הדף Enrichment run details נפתח.

בדף הפרטים, התוצאות מאורגנות בכרטיסיות הבאות:

Tab בכרטיסייה הזו אפשר…
סקירה כללית בודקים את התקינות והאמינות ברמה גבוהה, ובוחנים ומאשרים את ההצעות למטא-נתונים שנוצרו. עונה על השאלות: האם ההפעלה הזו טובה ברובה? ומה בדיוק יפורסם בקטלוג?
הערכה בודקים את הניקוד הכמותי ואת מדדי העמידה/אי-עמידה בדרישות. עונה על השאלה: האם לוגיקת ההעשרה באמת שיפרה את השימושיות של הנתונים?
פריטים לבדוק את האבחון, הלמידה הסמויה וציוני העיגון. עונה על השאלה: למה הנציג קיבל את ההחלטה הזו והאם ההיגיון מהימן?
יומנים לפתור בעיות בעקבות הרצה של המערכת. עונה על השאלה: האם המשימה נכשלה מבחינה טכנית?

הערכת הכדאיות הכוללת של ההרצה

הכרטיסייה סקירה כללית היא נקודת ההתחלה. בכרטיסייה הזו אפשר להעריך את ההצלחה הכוללת של ההפעלה, לעיין במדדים ברמה גבוהה ולבדוק או לאשר את השינויים הספציפיים במטא-נתונים שה-AI הציע.

כדי לבדוק את סיכום ההרצה:

  1. בדף Enrichment run details, לוחצים על הכרטיסייה Overview.

  2. מעיינים בדוח ההעשרה. בקטע הזה מוצגת התקינות הכוללת של ההרצה, כולל הניקוד המצטבר, הסטטוס (לדוגמה, "נדרשת בדיקה"), משך הזמן, מספר הטוקנים הכולל שנעשה בהם שימוש וסיכום שמתאר את רמת הסמך הכוללת של ההצעות.

    מה לחפש: בודקים את הניקוד המצטבר ואת הסיכום כדי להעריך במהירות אם ההרצה הצליחה ברמה המקרוסקופית, לפני שמתעמקים בהצעות ספציפיות. לדוגמה, ציון של 80% ומעלה בדרך כלל מצביע על רמת סמך גבוהה, ואילו ציונים נמוכים יותר עשויים לחייב אתכם לבדוק את ההצעות בצורה קפדנית יותר.

  3. מעיינים בקטע הערכה מקצה לקצה. כאן מוצגים שיעורי המעבר הבסיסיים והצפויים של מקרי ההערכה. הרצה קבילה בדרך כלל מניבה דלתא חיובית (לדוגמה, ‎+5%‎), שמציינת שהמטא-נתונים המוצעים משפרים את השימושיות הכוללת של הנתונים בהשוואה לקו הבסיס.

  4. מעיינים בקטע הצעות. בקטע הזה מוצג סיכום כללי של השינויים המוצעים (כמו המספר הכולל של יצירות, עדכונים או מחיקות), ואחריו רשימה של הצעות שמקובצות לפי סוג המשאב (לדוגמה, מסמכים של מאגר ידע). אתם יכולים לסנן את ההצעות לפי רמת הסבירות (High, ‏ Medium, ‏ Low, ‏ N/A) ולהרחיב את סוגי המשאבים כדי לראות רשומות ספציפיות.

    מה לחפש: חפשו הצעות עם רמת סמך של Low, כי בדרך כלל הן מצביעות על הקשר חסר או על הזיות שצריך לדחות.

בדיקה קפדנית של הצעות ספציפיות

אם לא הפעלתם פרסום אוטומטי במשימה, הפעלות של העשרה לא משנות את המטא-נתונים באופן אוטומטי. ההרצה יוצרת הצעות לשינויים שצריך לאשר.

כשבודקים את ההצעות, מומלץ לסנן אותן לפי ציון המהימנות ולבדוק קודם את ההצעות עם ציון המהימנות Low, כי הן דורשות את הבדיקה הכי קפדנית ויש סיכוי גבוה יותר שיהיה צורך לבצע בהן שינויים ידניים או לדחות אותן. במצב Preview, ודאו שהתיאורים, התגים או ה-Markdown שנוצרו מייצגים בצורה מדויקת את הלוגיקה העסקית שלכם. בתצוגה Changes, חפשו שינויים לא מכוונים במאפיינים.

כדי לבדוק את ההצעות הספציפיות שנוצרו בהרצה:

  1. בכרטיסייה Enrichment run details, בקטע Proposals, מאתרים את ההצעה שרוצים לבדוק.

  2. לוחצים על הצגת ההצעה ברשומה. נפתחת החלונית הצדדית הצעות לשינויים.

  3. בחלונית הצדדית, בודקים את המטא-נתונים שנוצרו על ידי ה-AI ועורכים אותם לפי הצורך.

    • במשאב הספציפי שמשנים (לדוגמה, ההיבט Overview), משתמשים במתג כדי לעבור בין התצוגות.

      בתצוגה Changes אפשר לבדוק את ההבדל המדויק שמועבר לקטלוג.

      בתצוגה Preview מוצג העיצוב הקריא של המסמכים והטבלאות שנוצרו.

    • כדי לשנות ידנית את ההצעה של ה-AI, לוחצים על Edit ליד שם המשאב, משנים את מה שרוצים בכלי לעריכת טקסט ולוחצים על Save.

  4. אם ההצעה לא מדויקת, לוחצים על Remove from request בחלונית הצדדית ואז על Remove כדי לאשר. הפעולה הזו מסירה באופן סופי את השינוי המוצע, ומונעת את ההוספה שלו לקטלוג כשמאשרים את ההרצה.

  5. אחרי שבודקים את כל ההצעות, לוחצים על אישור בכותרת של הקטע הצעות כדי למזג את ההצעות שנותרו בקטלוג. לחלופין, אם כל הריצה לא מדויקת, אפשר ללחוץ על דחייה.

הצגת מדדי הערכה מקצה לקצה

בכרטיסייה Evaluation אפשר למדוד את ההשפעה של הרצת ההעשרה. הוא משווה בין מידת הדיוק של התשובות לשאלות הבדיקה עם המטא-נתונים המוצעים לבין מידת הדיוק של התשובות בלי המטא-נתונים המוצעים. כך תוכלו להחליט אם לאשר את ההפעלה או לשנות את קבוצות ההקשר.

כשבוחנים את התוצאות, כדאי להשתמש בעמודה למה כדי להבין את הסיבה. הנציג מספק הסבר מפורט שמשווה בין הלוגיקה שלו לבין קובץ העזר. אתם יכולים להשתמש במשוב הזה כדי להבין למה הנציג נכשל (לדוגמה, חסר צירוף טבלאות קריטי). אחר כך תוכלו להשתמש במידע הזה כדי לשפר את נתוני המקור או להבהיר את קבוצת ההקשר.

כדי לפרש את תוצאות ההערכה:

  1. בדף Enrichment run details, לוחצים על הכרטיסייה Evaluation.
  2. בודקים את הציונים בחלק העליון של הכרטיסייה. מתמקדים בעמודה Delta, שבה מוצג השינוי הכולל באחוזים בשיעור המעבר, שמציין את הערך המוסף ברמה גבוהה של הצעות ההעשרה.
  3. בודקים את מדדי הסיכום כדי לראות שינויים סטטיסטיים (כמו ממוצע או מקסימום) בקריטריונים ספציפיים, כמו דיוק תוצאות הנתונים.
  4. כדי לנפות באגים בפערים קוגניטיביים ספציפיים, אפשר להשתמש בטבלה Per-case results. בטבלה הזו מפורטות כל שאלות הבדיקה שהוערכו במהלך ההרצה.
    • מסננים את הרשימה כדי לאתר תוצאות נכשל או רשומות Still failing בעמודה שינוי.
    • כדי להבין את הכשלים של ה-AI, קוראים את ההסבר בעמודה למה.

פריטי מידע שנוצרו במהלך הביקורת

בכרטיסייה Artifacts יש אבחון מפורט וראיות שתומכות בהחלטות של ה-AI. כדאי להיכנס לכרטיסייה הזו כשרוצים להבין למה הצעה קיבלה ציון סמך נמוך. אפשר גם להשתמש בו כדי לבדוק את עקבות השיחה הגולמיים ואת הכללים שהנציג למד וחילץ.

בכרטיסייה Learnings, בודקים את מספר ההמלצות שיושמו (Applied) לעומת מספר ההמלצות שדורשות התייחסות (Needs attention). המספר בעמודה Applied מראה כמה עובדות חדשות נוספו למערכת, והמספר בעמודה Needs attention מראה כמה ממצאים סותרים או לא ברורים דורשים ניקוי ידני. אם הערך הוא 0, זה אומר שלא חולץ מידע חדש בסבב הזה, וזו תוצאה תקינה. אם פריטים מסומנים כלא ברורים או כסותרים, זה אומר שהנציג מצא מידע סותר במקורות שלכם, וצריך לפתור את הבעיה בקבוצת ההקשר.

בכרטיסייה Confidence scores, קוראים את משפט הסיכום (לדוגמה, What held most proposals back). עוברים לקטע הצעות לשינויים כדי לבודד את השינויים עם הדירוג הנמוך ביותר. אם שינוי מופיע כאן, כנראה שהוא נכשל בבדיקות העיגון או שלא היו מספיק הוכחות. אתם יכולים להשתמש ברשימה הזו כדי להחליט אילו הצעות לדחות קודם.

כדי לראות את פריטי המידע של ההרצה:

  1. בדף Enrichment run details, לוחצים על הכרטיסייה Artifacts.

  2. כדי לבדוק את נתוני האבחון, אפשר לעיין בכרטיסיות המשנה הבאות:

    • תובנות: מראה אם הנציג הצליח לחלץ ידע סמוי חדש (לדוגמה, מיומני שיחות או מהיסטוריית צ'אטים). אתם יכולים גם לראות את עקבות השיחה שהובילו להצעות ספציפיות.

    • ציוני מהימנות: פירוט של דירוג המהימנות של ה-AI לפי שלושה ממדים: ביסוס, אימות ואיכות המקור. אם אתם צריכים לבדוק את ההערכות, אתם יכולים גם לגשת לקבוצת הנתונים הגולמית של dynamic_eval.json מהקטע הזה.

פתרון בעיות בהפעלות שנכשלו

הכרטיסייה Logs מכילה מעקבים מפורטים של ביצוע המערכת. בכרטיסייה הזו אפשר לפתור שגיאות בקצה העורפי או לבדוק למה משימת העשרה לא הושלמה.

כדי לפתור בעיות בהפעלה שנכשלה או לבדוק את פרטי ההפעלה:

  1. בדף Enrichment run details, לוחצים על הכרטיסייה Logs.
  2. כדי לצמצם את תוצאות היומן, משתמשים בתפריט הנפתח Severity או בסרגל Filter.
  3. בודקים את עקבות הביצוע ואת רישום המערכת ביומן.
    • מה לחפש: חפשו רשומות חומרה אדומות ERROR או FATAL שמציינות כשלים בקצה העורפי, כמו מיצוי המכסה או זמן קצוב לתפוגה של ה-API.

אפשר גם לשלוח שאילתות ישירות ליומני האבחון באמצעות Cloud Logging. יומני ביצוע מפורטים מסוכן ההעשרה מנותבים באופן אוטומטי ל-Cloud Logging. הוראות מערכת רגישות ונתונים גולמיים מצונזרים.

כדי לסנן את היומנים, משתמשים בשאילתות הבאות ב-Logs Explorer:

  • הצגת כל היומנים של משימות ההעשרה:

    resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

  • סינון היומנים לפי משימה ספציפית: text resource.labels.workflow_id="YOUR_TASK_NAME"

  • סינון יומנים של הרצה ספציפית: text labels.run_id="YOUR_RUN_ID"

  • סינון לפי אזהרות ושגיאות: text severity>=WARNING

אתם יכולים גם להשתמש בשאילתות האלה כדי להגדיר כללי מדיניות התראות ב-Cloud Monitoring על סמך המדדים של Cloud Logging. לדוגמה, אתם יכולים להגדיר באופן יזום שהתראה תישלח ל-Slack, ל-PagerDuty או לרשימת תפוצה באימייל בכל פעם שהרצת העשרה נכשלת (severity>=ERROR).

חזרה על משימת העשרה

אם הרצת העשרה יוצרת הצעות לא מדויקות או נכשלת בבדיקות הביסוס (דיווח על רמת סמך של Low), אל תאשרו את ההרצה. במקום זאת, צריך לשפר את המידע שניתן לנציג ולהפעיל את המשימה שוב.

  1. בכרטיסייה סקירה כללית, בקטע הצעות, לוחצים על דחייה.

  2. אם הנציג פירש באופן שגוי את הסכימות של הנתונים, צריך לעבור להגדרות המקור ב-Knowledge Catalog ולשפר את תיאורי הסכימות.

  3. אם לסוכן לא הייתה לוגיקה עסקית מספיקה או שהוא השתמש בטבלאות הלא נכונות כדי לענות על שאלות, עוברים לקבוצת ההקשר שמצורפת למשימה.

    • הוספת מקורות מידע: מוסיפים לקבוצת ההקשר מסמכים פנימיים חסרים, דוגמאות לשאילתות תקינות או טבלאות קשורות חסרות כדי לספק לנציג יותר עובדות.
    • הסרת מקורות מידע: אם הנציג מתבלבל, כדאי להסיר מסמכים מיושנים או מונחים סותרים במילון המונחים.

  4. עוברים לדף העשרה ובוחרים את המשימה.

  5. לוחצים על Edit כדי לוודא שהיא מפנה לקבוצת ההקשרים המעודכנת, ואז לוחצים על Run כדי ליצור קבוצה חדשה של הצעות.

המאמרים הבאים