ניראות של סוכנים

בסביבה המתפתחת במהירות של AI, בנייה ופריסה של סוכנים (agents) מציבות אתגרים ייחודיים. סוכני AI יכולים לסטות מההנחיות, להפיק הזיות ולחזור אחורה בלי שתדעו על כך. הם יכולים לקבל החלטות ולבצע פעולות שלא ציפיתם להן. הן גם יכולות להיכשל בדרכים שונות מתוכנות לא מבוססות-סוכנים. יכולת הצפייה בסוכנים מתייחסת לשיטות להשגת תובנות לגבי המצב הפנימי וההתנהגות של סוכני תוכנה, במיוחד סוכנים מבוססי-AI כמו אלה שנבנו באמצעות מודלים גדולים של שפה (LLM).

היתרונות של יכולת הצפייה בסוכנים

סוכני AI הם לא דטרמיניסטיים ומורכבים, ולכן יכולת הצפייה (observability) חיונית להבנה, לניפוי באגים, להערכה ולשיפור של הביצועים, הבטיחות והאמינות שלהם.

היבטים מרכזיים של ניראות הסוכן כוללים מעקב וניתוח של:

  • אינטראקציות עם LLM: מעקב אחרי הנחיות, תשובות, שימוש בטוקנים, זמן אחזור ושיעורי שגיאה.
  • שימוש בכלי: מעקב אחרי כלים חיצוניים וממשקי API שהסוכן מקיים איתם אינטראקציה, כולל מספר הקריאות, הצלחות או כשלים, זמן האחזור והנתונים שהועברו.
  • התנהגות הסוכן וההיגיון שלו: הסבר על תהליך קבלת ההחלטות של הסוכן, רצף השלבים שבוצעו ושינויים במצב הפנימי.
  • ביצועים: מדידת זמן האחזור מקצה לקצה של הפעלות סוכנים, זמן האחזור של כל שלב בנפרד וצריכת המשאבים, שלרוב כוללת מעקב מפורט.
  • אבטחה ובטיחות: מעקב אחרי אכיפת מדיניות, זיהוי פעולות מסוכנות, ניתוח בטיחות התוכן ומעקב אחרי דפוסי גישה.
  • איכות והערכה: הערכת הנכונות, העובדתיות, התועלת והאיכות הכוללת של התוצאות של הסוכן, לרוב בשילוב עם מסגרות הערכה.

מהי יכולת הצפייה בסוכן ב- Google Cloud?

המעקב אחרי אפליקציות ב- Google Cloud מספק ניראות של סוכן וניראות של אפליקציה. השירות הזה מספק לוחות בקרה ומפות טופולוגיה שמאפשרים לכם להבין את תקינות הביצועים של האפליקציות, השירותים ועומסי העבודה שלכם ב-מרכז האפליקציות. הוא גם יוצר ומציג מדדים כמו שיעורי שגיאות ושימוש באסימונים למשאבי AI. כדי ליצור את המדדים האלה, התכונה 'מעקב אחר ביצועי אפליקציות' מסננת ומצברת את נתוני העקבות באמצעות תוויות ואירועים ספציפיים לאפליקציה, בהתאם למוסכמות הסמנטיות של OpenTelemetry GenAI.

כדי לקבל תובנות לגבי הסוכנים, מומלץ ליצור אותם באמצעות המסגרת של הערכה לפיתוח סוכנים (ADK). ה-ADK מסתמך על OpenTelemetry, ולכן נתוני הטלמטריה שהוא יוצר עקביים עם המוסכמות הסמנטיות של OpenTelemetry GenAI.

כדי לנפות באגים, לעקוב אחרי עלויות או לנתח את התנהגות הסוכן – כולל סוכנים מ-Gemini Enterprise Agent Platform, מ-Agent Gateway ומ-Model Armor – אתם צריכים נתונים של יומנים, מדדים ומעקב:

  • יומנים מספקים מידע על אירועים ושגיאות.
  • המדדים מאפשרים לכם לעקוב אחרי זמן האחזור והשימוש באסימונים.
  • הנתונים האלה מספקים מידע על נתיבי הביצוע, והמערכת מנתחת אותם כדי להפיק מדדים כמו מספר הקריאות למודל או השימוש הכולל בטוקנים. המדדים הנגזרים האלה מספקים תובנות לגבי הביצועים וההתנהגות של הנציגים. מידע נוסף זמין במאמר בנושא צפייה במשאבי AI.
  • נתוני ההנחיות והתשובות מאפשרים לכם להעריך את איכות הסוכן ואת תהליך קבלת ההחלטות שלו באמצעות שירות ההערכה של AI גנרטיבי.

לוח הבקרה של ניטור האפליקציות מציג רשימה של שירותים ועומסי עבודה של האפליקציה, כמו אפליקציות Gemini Enterprise, סוכנים של Gemini Enterprise Agent Platform ושרתי MCP:

סקירה כללית שבה מפורטים השירותים ועומסי העבודה באפליקציה.

אפשר לזהות שירותים ועומסי עבודה סוכניים באמצעות סוג התשתית או הסוג הפונקציונלי של מרכז האפליקציות. עמודת הסוג הפונקציונלי מוסתרת כברירת מחדל.

איך מתחילים להשתמש ב-Agent observability

המאמרים הבאים