אם אתם מפתחים סוכני AI, אתם יכולים להשתמש ב-OpenTelemetry כדי לראות איך הסוכנים מסיקים מסקנות, קוראים לכלים ומגיבים להנחיות. במדריך הזה מוסבר איך לתעד טלמטריה של סוכנים באמצעות מסגרות כמו LangGraph והערכה לפיתוח סוכנים (ADK), ואיך לנתח הנחיות ותגובות מולטי-מודאליות ב-Cloud Trace.
לבצע אינסטרומנטציה לסוכנים כדי להבין את ההתנהגות שלהם
כשמפתחים או מנהלים אפליקציות מבוססות-AI גנרטיבי, נתוני טלמטריה מתעדים את שלבי החשיבה הרציונלית, את הקריאות לכלים ואת האינטראקציות החיצוניות של הסוכנים האוטונומיים. נתונים אלה שימושיים מהסיבות הבאות:
- הבנת התנהגות לא דטרמיניסטית: מכיוון שתהליך החשיבה של סוכן אינו דטרמיניסטי, טלמטריה היא הדרך האמינה היחידה לבדוק את ההחלטות שסוכן מקבל ואת הכלים שהוא בוחר.
- פתרון בעיות ואבחון שגיאות: בעזרת עקבות אפשר לזהות בקשות API שנכשלו, לולאות ביצוע אינסופיות וצווארי בקבוק של זמן האחזור בתהליכי עבודה של סוכנים מבוזרים.
- תמיכה בניהול ואימות תעבורה: טלמטריה מאפשרת לך להמחיש זרימות תקשורת - כמו בטופולוגיית יישומים - כדי לוודא שהסוכנים שלך מתקשרים רק עם סוכנים מורשים, שרתי MCP ונקודות קצה חיצוניות.
- הערכת איכות הפלט והעלות: איסוף של הנחיות, תשובות ושימוש בטוקנים עוזר להעריך את דיוק המודל, לזהות הזיות ולייעל את צריכת המשאבים.
איך אפשר להטמיע את הכלים באפליקציות של בינה מלאכותית גנרטיבית
הטמעה של כלי מדידה באפליקציה כוללת יצירה של טלמטריה ושליחה שלה ליעד שבו אפשר לאחסן את הנתונים, להריץ עליהם שאילתות ולנתח אותם. לדוגמה, כשמכשיר המדידה שולח טלמטריה ל Google Cloud פרויקט, אפשר להשתמש ב-Google Cloud Observability כדי להציג ולנתח את הנתונים האלה.
Cloud Trace מחלץ באופן אוטומטי אירועים מטווחים שנכתבו על ידי אפליקציות מבוססות-AI גנרטיבי, אם הטווחים האלה תואמים למוסכמות הסמנטיות של טווחים ואירועים. מידע על המוסכמות האלה זמין במסמכים הבאים:
ב-Cloud Trace אפשר גם להציג הנחיות ותשובות מולטי-מודאליות. בתרחיש הזה, ההנחיות והתשובות לא מצורפות לנתוני המעקב. במקום זאת, הם מאוחסנים בקטגוריה של Cloud Storage. מידע נוסף על ההגדרה הזו זמין במאמר איסוף והצגה של הנחיות ותשובות מרובות-אופנים.
שיטות מומלצות
אנו ממליצים לך להשתמש ב-OpenTelemetry, שהוא פרויקט קוד פתוח המספק מסגרת אחידה לכינון יישומים. דוגמאות המכשור המפורטות במסמך זה משתמשות ב-OpenTelemetry.
אנו ממליצים גם לאחסן את ההנחיות והתשובות שלך בקטגוריה של Cloud Storage במקום ברשומה ביומן:
יש לכם שליטה מדויקת על התוכן בקטגוריה של Cloud Storage. לדוגמה, אפשר למחוק שיחות ספציפיות שנשמרו בדלי. עם זאת, אי אפשר למחוק רשומות ספציפיות ביומן.
דליים של אחסון בענן יכולים לאחסן אובייקטים גדולים בהרבה מהגודל המרבי של רשומת יומן, המוגבל ל-256 KiB. אם הנתונים שמתקבלים חורגים מהגודל המקסימלי של רשומת יומן, Cloud Logging מגיב בשגיאה
INVALID_ARGUMENTומוחק את הנתונים. אם הפקודה מסתיימת ללא שגיאה, אבל שדות בודדים חורגים ממגבלות הגודל שלהם, Cloud Logging חותך את הנתונים האלה.
מידע על OpenTelemetry זמין במאמר מה זה OpenTelemetry?
דגימות מכשור
כדי להתחיל להשתמש ב-agent instrumentation, אפשר לעיין במדריכים ובאפליקציות לדוגמה הבאים:
איך אוספים ומציגים הנחיות ותשובות מולטי-מודאליות במאמר הזה מוסבר איך להגדיר סוכן LangGraph ReAct או סוכן AI גנרטיבי שנבנה באמצעות ADK כדי לאסוף הנחיות ותשובות מולטי-מודאליות. בנוסף, נסביר איך:
- אחסן הנחיות ותשובות בקטגוריה של Cloud Storage.
- אפשר לראות את ההנחיות והתשובות בדף Trace Explorer.
- ניתוח הנחיות ותגובות באמצעות BigQuery.
- הערכת הנחיות ותגובות באמצעות Vertex AI SDK ל-Python.
ביצוע אינסטרומנטציה לסוכן LangGraph ReAct באמצעות OpenTelemetry מתאר כיצד לבצע אינסטרומנטציה לאפליקציית בינה מלאכותית גנרטרית המשתמשת במסגרת LangChain או LangGraph. הוא גם מקשר לאפליקציה לדוגמה שאפשר להוריד ולהפעיל. אפליקציית הדוגמה אוספת פרומפטים ותשובות בטקסט.
במאמר Instrument ADK applications with OpenTelemetry מוסבר איך להפעיל אינסטרומנטציה מובנית שאוספת נתוני טלמטריה מהפעולות המרכזיות של הסוכן. הטלמטריה כוללת פרומפטים של טקסט ותשובות של סוכנים. הוא גם מקשר לאפליקציה לדוגמה שאפשר להוריד ולהפעיל. אפליקציית הדוגמה אוספת הנחיות ותשובות בטקסט.
במאמר בדיקת קריאות ל-MCP באמצעות Trace מוסבר איך להגדיר את האפליקציה כך שתעביר הקשר של מעקב לשרתי MCP מרוחקים של Google Cloud, כדי שהשרתים האלה יוכלו לצרף טווחים למעקב.