במאמר הזה מתואר היתרון של הטמעת כלי מדידה באפליקציות של AI גנרטיבי. בנוסף, נסביר איך אפשר להטמיע באפליקציה את ה-frameworks LangGraph או Agent Development Kit (ADK). בשני הממשקים אפשר לאסוף ולראות הנחיות ותשובות מולטי-מודאליות.
מידע על סוכני AI גנרטיבי
אפליקציות שמבוססות על AI גנרטיבי מסתמכות על סוכנים כדי להשלים משימות או להשיג יעדים. סוכנים הם אפליקציות שמשלימות משימות או משיגות יעדים בשם משתמש. לדוגמה, סוכן AI גנרטיבי יכול לנווט באתר ולהנפיק פקודות API. פקודות ה-API האלה עשויות לאחזר מידע או לבצע פעולה.
הסוכנים פועלים באופן אוטונומי ומשתמשים בהיגיון כדי לפרק מטרה או משימה למשימות משנה, ואז לקבוע באילו כלים להשתמש כדי לבצע את משימות המשנה האלה. ב-AI גנרטיבי, כלים קובעים איך הסוכן יכול לקיים אינטראקציה עם הסביבה שלו. לדוגמה, יכול להיות לסוכן כלי שמאפשר לו להנפיק פקודות API.
מידע נוסף על סוכנים זמין במאמרים הבאים:
למה כדאי להוסיף כלי מדידה לאפליקציות של AI גנרטיבי
הדרך היחידה להבין את החשיבה הרציונלית שבה משתמשים סוכנים אוטונומיים היא לבצע אינסטרומנטציה לאפליקציות שלכם לבינה מלאכותית גנרטיבית. תהליך הנימוק הזה לא דטרמיניסטי.
כשמגדירים כלי למעקב אחרי אפליקציית AI גנרטיבי, נתוני הטלמטריה כוללים את ההחלטות והפעולות של הסוכנים. אתם יכולים להשתמש בנתונים האלה כדי לאמת או לשפר את הבקשה שלכם.
איך להטמיע כלי מדידה באפליקציות של בינה מלאכותית גנרטיבית
הטמעה של כלי מדידה באפליקציה כוללת יצירה של נתוני טלמטריה ושליחה שלהם למקום שבו אפשר לאחסן, לשלוף ולנתח את הנתונים. לדוגמה, כשמערכת המדידה שולחת טלמטריה ל Google Cloud פרויקט, אפשר להשתמש ב-Google Cloud Observability כדי להציג ולנתח את הנתונים האלה.
שיטות מומלצות
Google ממליצה להטמיע את OpenTelemetry באפליקציה. זהו פרויקט קוד פתוח שמספק מסגרת מאוחדת להטמעה של אפליקציות. הדוגמאות שמפורטות במסמך הזה מבוססות על OpenTelemetry.
Google גם ממליצה לאחסן את ההנחיות והתשובות בקטגוריה של Cloud Storage במקום ברשומה ביומן:
יש לכם שליטה מדויקת על התוכן בקטגוריה של Cloud Storage. לדוגמה, אפשר למחוק שיחות ספציפיות שמאוחסנות בדלי. עם זאת, אי אפשר למחוק רשומות ספציפיות ביומן.
בדלי Cloud Storage אפשר לאחסן אובייקטים שהגודל שלהם גדול בהרבה מהגודל המקסימלי של רשומה ביומן, שמוגבל ל-256 KiB. אם הנתונים שמתקבלים חורגים מהגודל המקסימלי של רשומת יומן, Cloud Logging מגיב בשגיאה
INVALID_ARGUMENTומוחק את הנתונים. אם הפקודה מסתיימת ללא שגיאה, אבל שדות בודדים חורגים ממגבלות הגודל שלהם, Cloud Logging חותך את הנתונים האלה.
דוגמאות להטמעה של כלי מדידה
מידע על מכשור זמין במסמכים הבאים:
איך אוספים ומציגים הנחיות ותשובות מולטי-מודאליות מתואר איך להגדיר סוכן LangGraph ReAct או סוכן AI גנרטיבי שנבנה באמצעות ADK כדי לאסוף הנחיות ותשובות מולטי-מודאליות. בנוסף, נסביר איך:
- אחסון הנחיות ותשובות בקטגוריה של Cloud Storage.
- אפשר לראות את ההנחיות והתשובות בדף Trace Explorer.
- ניתוח הנחיות ותשובות באמצעות BigQuery.
- הערכת הנחיות ותגובות באמצעות Vertex AI SDK ל-Python.
לבצע אינסטרומנטציה לסוכן LangGraph ReAct באמצעות OpenTelemetry במאמר הזה מוסבר איך לבצע אינסטרומנטציה לאפליקציית AI גנרטיבי שמבוססת על ה-framework של LangChain או LangGraph באמצעות OpenTelemetry. הוא גם כולל קישור לאפליקציה לדוגמה שאפשר להוריד ולהפעיל. האפליקציה לדוגמה אוספת הנחיות ותשובות בטקסט.
במאמר ביצוע אינסטרומנטציה באפליקציות ADK באמצעות OpenTelemetry מוסבר איך להפעיל אינסטרומנטציה מובנית שאוספת נתוני טלמטריה מפעולות מרכזיות של הסוכן. הטלמטריה כוללת הנחיות טקסט ותשובות של סוכנים. הוא גם מקשר לאפליקציית דוגמה שאפשר להוריד ולהפעיל. אפליקציית הדוגמה אוספת הנחיות ותשובות בטקסט.
במאמר בדיקת קריאות ל-MCP באמצעות Trace מוסבר איך להגדיר את האפליקציה כך שתעביר הקשר של מעקב לשרתי MCP מרוחקים של Google Cloud, כדי שהשרתים האלה יוכלו לצרף טווחים למעקב.
איך רואים את ההנחיות והתשובות
Cloud Trace מוגדר לחילוץ אירועים מטווחים שנכתבו על ידי אפליקציות AI גנרטיבי, בתנאי שהטווחים תואמים למוסכמות הסמנטיות של OpenTelemetry לטווחים של AI גנרטיבי וכוללים מאפיינים או אירועים שתואמים למוסכמות הסמנטיות לאירועים של AI גנרטיבי.
ב-Cloud Trace אפשר גם להציג הנחיות ותשובות מולטי-מודאליות. בתרחיש הזה, ההנחיות והתשובות לא מצורפות לנתוני המעקב. במקום זאת, הם מאוחסנים בקטגוריה של Cloud Storage. למידע נוסף על ההגדרה הזו, אפשר לעיין במאמר איסוף והצגה של הנחיות ותשובות מרובות-אופנים.