צפייה במשאבי AI באמצעות מעקב אחרי אפליקציות

במאמר הזה מוסבר איך לראות את נתוני הטלמטריה של משאבי ה-AI שבהם נעשה שימוש באפליקציות, בשירותים ובעומסי העבודה שרשומים ב-App Hub.

כדי ליצור מדדים כמו שיעור השגיאות, זמן האחזור והשימוש באסימונים, התכונה 'מעקב אחר אפליקציות' שולחת שאילתות לנתוני המעקב שלכם כדי למצוא תוויות ואירועים ספציפיים לאפליקציה שתואמים למוסכמות הסמנטיות של OpenTelemetry GenAI. המדדים האלה מאפשרים לכמת את הבריאות, הביצועים והעלות של משאבי ה-AI שלכם, והם זמינים כנתונים מצטברים של אפליקציות או כנתונים מפורטים של שירותים ועומסי עבודה ספציפיים.

במרכז הבקרה הבא מוצג מידע על משאבי AI עבור אפליקציה רשומה:

לוח בקרה שבו מוצג מידע על משאבי AI.

לפני שמתחילים

ההליכים שמתוארים במסמך הזה דורשים Google Cloud פרויקט עם משאבי AI פעילים לניתוח. הם גם דורשים לשייך את משאבי ה-AI לאפליקציות, לשירותים ולעומסי עבודה שרשומים ב-מרכז האפליקציות. כדי להפיק תוצאות משמעותיות, צריך נתוני טלמטריה ומעקב ב-Application Monitoring.

הגדרת תפקידים וממשקי API והגדרת מעקב אחר אפליקציות

  1. מבצעים את השלבים שמפורטים במאמר בדיקת אפליקציות, שירותים ועומסי עבודה: לפני שמתחילים.

  2. מפעילים את ממשקי ה-API של Observability,‏ Cloud Trace וטלמטריה.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

    הפעלת ממשקי ה-API

  3. כדי לקבל את ההרשאות שדרושות בשביל להציג את פרטי השימוש במשאבי AI, אתם צריכים לבקש מהאדמין לתת לכם את תפקידי ה-IAM הבאים:

    להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

פיתוח ורישום של אפליקציות, שירותים ועומסי עבודה

כדי להציג נתונים של משאבי AI שהאפליקציות, השירותים ועומסי העבודה משתמשים בהם, נתוני המעקב צריכים לכלול תוויות ואירועים ספציפיים לאפליקציה, בהתאם למוסכמות הסמנטיות של OpenTelemetry GenAI. כדי לקבל את התוויות האלה:

  1. רושמים את האפליקציה, השירותים ועומסי העבודה שלה ב-App Hub.
  2. משתמשים ב-Agent Development Kit (ADK) framework או משלבים את האפליקציה עם OpenTelemetry ושולחים את נתוני המעקב אל Telemetry API. דוגמאות לאינסטרומנטציה מופיעות במאמרים Instrument ADK applications with OpenTelemetry ו-Overview of collector-based instrumentation samples.

צפייה במשאבי AI עבור אפליקציה

כדי לראות את משאבי ה-AI שמשויכים לאפליקציה:

  1. נכנסים לדף Application monitoring במסוף Google Cloud :

    עוברים אל מעקב אחר אפליקציות

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

  2. בסרגל הכלים של מסוף Google Cloud , בוחרים את פרויקט המארח או את פרויקט הניהול של מרכז האפליקציות.

  3. בוחרים בכרטיסייה אפליקציות ואז בוחרים את האפליקציה מהרשימה.

  4. לוחצים על הכרטיסייה מרכזי בקרה.

  5. בתוכן העניינים של לוח הבקרה, בוחרים באפשרות משאבי AI.

    המערכת יוצרת את הרשומה AI resources כשיש לכם לפחות סוכן AI אחד שמשויך לאפליקציה ופעיל. אם אין לכם סוכנים או שכל הסוכנים לא פעילים, האפשרות הזו לא תופיע.

לוח הבקרה עובר לקטע AI resources (משאבי AI), שבו מוצג מידע כמו:

  • המספר הכולל של שאילתות לשנייה ומספר הטוקנים.
  • שיעור השגיאות הממוצע, זמן האחזור ושיעור השגיאות בקריאות לכלי.
  • השימוש בטוקנים.
  • שיעורי שגיאה וחביון של סוכנים.

צפייה במקורות מידע בנושא AI לשירות או לעומס עבודה

כדי לראות את משאבי ה-AI שמשויכים לשירות או לעומס עבודה:

  1. פותחים את מרכז הבקרה של השירות או של עומס העבודה:

    1. נכנסים לדף Application monitoring במסוף Google Cloud :

      עוברים אל מעקב אחר אפליקציות

      אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

    2. לוחצים על הכרטיסייה שירותים ועומסי עבודה ואז בוחרים את השירות או עומס העבודה.

    מרכז הבקרה של השירות או של עומס העבודה ייפתח. בתוכן העניינים מפורטים הקטעים בלוח הבקרה, שיכולים להשתנות בהתאם לסוג משאב ה-AI.

  2. כדי לעבור לקטע במרכז הבקרה שבו מופיע מידע על משאבי ה-AI שלכם, משתמשים בתוכן העניינים של מרכז הבקרה:

    • נציג: זמין לנציגים. בקטע הזה מוצג מידע על סשנים, הפעלות של נציגים ושימוש באסימונים.

    • כלים: זמינים לסוכנים. בקטע הזה מוצג מידע על קריאות לכלים, כולל שיעור השגיאות, מספר הקריאות וחביון P95.

    • מודלים: זמינים בחלק מהסוכנים. בקטע הזה מוצג מידע על מספר הפעמים שהסוכן קרא למודל, על שיעור השגיאות ועל השימוש באסימונים.

עיון בטלמטריה

שאילתות SQL על נתוני העקבות קובעות את הנתונים שמוצגים בתרשימים של משאבי AI. השאילתות האלה מסננות נתוני מעקב לפי תוויות ספציפיות לאפליקציה ואירועי AI גנרטיבי שפועלים לפי המוסכמות הסמנטיות של OpenTelemetry GenAI.

כדי לראות את השאילתה של תרשים, בסרגל הכלים של התרשים, בוחרים באפשרות אפשרויות נוספות של התרשים ואז באפשרות ניתוח ב-Observability Analytics.

הדף Observability Analytics ייפתח ויוצג בו שאילתת ה-SQL שיוצרת את הנתונים לתרשים. אלה האפשרויות שעומדות לרשותכם:

  • בודקים את השאילתה ואז חוזרים אל Application Monitoring.
  • מריצים את השאילתה.
  • משנים את השאילתה ומריצים אותה.
  • יוצרים תרשים שמציג את תוצאת השאילתה.
  • שמירה של תרשים שמציג את תוצאת השאילתה בלוח בקרה מותאם אישית.

מידע נוסף זמין במאמרים הבאים: