לפני שמתחילים
כדי להציג את נתוני המעקב של הנציג, צריך לעמוד בדרישות הבאות:
- מפעילים ממשקי API: מוודאים שממשקי ה-API הבאים מופעלים בפרויקטGoogle Cloud :
- Cloud Trace API
- Cloud Logging API
- Telemetry API
- הגדרת מעקב אחר סוכנים: צריך להגדיר את הסוכן כך שישלח נתוני מעקב אל Google Cloud. הוראות להפעלת מעקב עבור סוגים שונים של סוכנים מפורטות במאמר הגדרת מעקב.
- הגדרת הרשאות: כדי להציג עקבות ויומנים, צריך תפקידי IAM שמספקים את ההרשאות הנדרשות, כמו התפקידים Cloud Trace User (
roles/cloudtrace.user) ו-Logs Viewer (roles/logging.viewer). מידע נוסף זמין במאמרים בנושא בקרת גישה ל-Cloud Trace ובקרת גישה ל-Cloud Logging.
איתור באגים מבוזר הוא טכניקת אבחון שעוקבת אחרי התקדמות של בקשה יחידה כשהיא עוברת בין שירותים ורכיבים מבוזרים שונים בארכיטקטורה שלכם. סוכני AI גנרטיבי משתמשים בלולאות של נימוקים לא דטרמיניסטיים כדי לבחור באופן דינמי כלים ונתיבי ביצוע, ולכן מדדים רגילים של נקודת זמן מסוימת לרוב לא מספיקים לניפוי באגים. המעקב חיוני ליכולת הצפייה בסוכנים כי הוא מספק ציר זמן מלא ורציף של האינטראקציות הבלתי צפויות האלה, ומאפשר לכם לראות בדיוק למה סוכן קיבל החלטה מסוימת.
בדיקת עקבות
כדי לגשת לנתוני הרצה מפורטים של סוכן:
במסוף Google Cloud , עוברים לדף Agent Platform > Agent Registry.
בוחרים את הסוכן הספציפי.
לוחצים על הכרטיסייה Traces (עקבות).
בממשק הזה אפשר לבדוק את פרטי הביצוע של הסוכן שלכם, שלב אחר שלב. trace הוא רשומה עובדתית שלא ניתן לשנות, של התנהגות הסוכן, כולל קלט המודל, התגובות והקריאות לכלים. תצוגת המעקב כוללת גרף אציקלי מכוון (DAG) של יחידות לוגיות למעקב, קלט ופלט ומאפייני מטא-נתונים.
בכרטיסייה Traces (עקבות) יש שלוש תצוגות שונות שמאפשרות לכם לנתח את נתוני הטלמטריה:
- תצוגת סשן: קבוצות של ביצועים לפי סשנים של משתמשים יחידים, שמאפשרות לכם לנתח שיחות רב-שלביות והתנהגות של סוכן לאורך זמן.
- תצוגת מעקב: מתמקדת במעקבים של בקשות ספציפיות מקצה לקצה, שמייצגים נתיב ביצוע יחיד.
- תצוגת טווח: מספקת רשימה מפורטת של פעולות נפרדות (טווחים) שבוצעו בתוך העקבות, כמו קריאה ספציפית למודל בסיסי, בקשת API או הפעלה של כלי חיצוני.
תצוגת מעקב יחידה (הקשר של סשן)
כשבוחרים סשן ספציפי מתצוגת הסשן, נפתח חלונית פרטים עם חלונית רשימה בצד ימין שבה מוצגים כל העקבות הנפרדים שנכללים בסשן הרב-שלבי הזה. בחלונית הראשית מוצג סיכום של ההקשר של כל הסשן, כולל הקלט המעוצב וההודעות של העוזר הדיגיטלי, וגם מדדים כלליים של הסשן כמו משך הזמן, מספר האסימונים הכולל של ה-AI הגנרטיבי וציוני ההערכה המתמשכת.
תצוגת מעקב יחידה (מעקב ישיר או הקשר של טווח)
לחלופין, אם בוחרים מעקב ספציפי מתוך תצוגת המעקב או יחידה לוגית למעקב נפרדת מתוך תצוגת הטווח, חלונית הפרטים נפתחת ישירות להרצה הספציפית הזו. כשצופים בפעולה בודדת ולא בסשן מקובץ, חלונית הרשימה הימנית מוסתרת, וכך אפשר לבדוק באופן מיידי וממוקד את זמן האחזור, המאפיינים והשגיאות האפשריות של הפעולה.
אחסון נתונים ובקרת גישה
כדי לשמור על אבטחה ותאימות, Gemini Enterprise Agent Platform מפריד בין מטא-נתונים תפעוליים לבין התוכן בפועל של השיחה:
- מדדי ביצוע ומאפיינים: טלמטריה רגילה (כמו זמן אחזור, קודי סטטוס ומטא-נתונים מבניים) מאוחסנת ישירות בטווחים של המעקב.
- הנחיות ותשובות: נתונים רגישים פוטנציאליים, כמו הנחיות למשתמשים ותשובות של מודלים, לא נשמרים ביחידות לוגיות למעקב. במקום זאת, הן מנותבות ל-Cloud Storage (מומלץ) או ל-Cloud Logging, בהתאם להגדרות של הארגון. מומלץ להשתמש ב-Cloud Storage כי הוא תומך במטענים גדולים ובמטענים מרובי-אופנים בלי לחתוך אותם, ומספק ניהול מחזור חיים ברמת פירוט גבוהה. Cloud Logging תומך במטענים (payloads) של טקסט בסיסי, אבל יש מגבלות על הגודל. ההפרדה הזו מאפשרת לאדמינים להטמיע אמצעי בקרה מפורטים של ניהול זהויות והרשאות גישה (IAM) על נתונים רגישים משיחות.
ממשק המשתמש של Gemini Enterprise Agent Platform מבין באופן אוטומטי את המתאם הבסיסי בין טווחי המעקב לבין יומני ההנחיות והתשובות האלה שמאוחסנים בצורה מאובטחת. כשפותחים תצוגת פרטים של מעקב, הפלטפורמה מרכיבה מחדש את הנתונים בצורה חלקה ומציגה תצוגה מאוחדת של התנהגות הסוכן בלי לפגוע בכללי משילות המידע.
מידע נוסף על הגדרת יעדי אחסון לנתונים משיחות זמין במאמר איסוף והצגה של הנחיות ותשובות מרובות-אופנים.
המאמרים הבאים
- מידע נוסף על תכונות הניטור ב-Gemini Enterprise Agent Platform
- הצגת הקשרים בין הסוכנים כתרשים טופולוגיה.
- הערכת הסוכנים.