הגדרת התראות על איכות

התראות איכות מודיעות לכם כשהביצועים של הנציג יורדים מתחת לסף מוגדר. אפשר להשתמש בהתראות האלה כדי לזהות סחף באיכות – ירידה ניכרת בביצועים של נציגים לאורך זמן. הירידה הזו יכולה להתרחש גם אם המודל הבסיסי נשאר זהה, ולרוב היא נובעת משינויים בהתנהגות המשתמשים בעולם האמיתי, מדפוסי נתונים משתנים או מאינטראקציות עדינות בשרשראות מורכבות של הנחיות.

כשמגדירים Online Monitor, המערכת מייצאת באופן אוטומטי ל-Cloud Monitoring ציוני הערכה מספריים. המדדים האלה מפעילים אירועים ב-Cloud Monitoring. לאחר מכן תוכלו ליצור מדיניות התרעות כדי להודיע לצוות שלכם כשמתעוררות בעיות באיכות.

אתם יכולים ליצור מדיניות התראות ממוקדת לניטור ספציפי:

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.

  2. בתפריט הניווט הימני, לוחצים על הערכה.

    לדף Evaluation

  3. לוחצים על הכרטיסייה Online monitors (כלים למעקב אונליין). לוחצים על אפשרויות נוספות לצד כלי המעקב ובוחרים באפשרות יצירת מדיניות התראות.

  4. מעיינים בתבניות של מדיניות התראות שזמינות לניטור הזה.

  5. בוחרים את התבניות שרוצים להפעיל. המערכת מספקת תבנית אחת לכל מדד שמוגדר בלוח הבקרה.

  6. הגדרת התראות: בוחרים את ערוצי ההתראות. אם מבטלים את הסימון של שימוש בערוצי התראות, המערכת מבצעת בדיקות אבל לא שולחת התראות למשתמשים באופן יזום. עדיין אפשר לראות אירועים שהופעלו בדף Monitoring > Alerting.

  7. לוחצים על יצירה.

מרכז הבקרה של ההערכה מספק קיצור דרך להפעלת אמצעי הגנה רחבים על האיכות לכל המוניטורים הפעילים:

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.

  2. בתפריט הניווט הימני, לוחצים על פריסות ובוחרים את הסוכן.

    מעבר לדף Deployments

  3. לוחצים על הכרטיסייה מרכז בקרה ואז על קטע המשנה הערכה.

  4. לוחצים על הלחצן התראות מומלצות בפינה השמאלית העליונה.

  5. מעיינים בתבניות הזמינות, כמו:

    • מעקב אונליין – ציון הערכה נמוך: מופעל אם הציון המצטבר של מעקב נמוך מדי.
    • התראות על מדדים ספציפיים: ערכי סף ספציפיים למדדים כמו הצלחת המשימה או איכות השימוש בכלי.

  6. בוחרים את התבניות ואת ערוצי ההתראות ולוחצים על יצירה.

יצירת התראות פרוגרמטיות

בפריסות רחבות היקף, אפשר להגדיר התראות על איכות באמצעות gcloud CLI או Cloud Monitoring API.

שימוש ב-gcloud

כדי ליצור מדיניות התראות מקובץ הגדרה בפורמט JSON או YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

הדוגמה הבאה policy.yaml מופעלת אם הציון הממוצע של הצלחת המשימה יורד מתחת ל-80% במהלך חלון של 30 דקות:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

שימוש ב-Agent Platform SDK

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

ניהול כללי מדיניות התראות

אפשר להשתמש במסוף Cloud Monitoring כדי לראות איפה נמצאות מדיניות ההתראות ולשפר את ההגדרות שלהן. כל אירוע כולל תוויות של הכלי 'ניטור באינטרנט' שמשויך אליו, כדי לעזור לכם לחקור את שורש הבעיה.

מעבר אל Alerting