הגדרת התראות על איכות

התראות איכות נשלחות כשהביצועים של הנציג יורדים מתחת לסף שהוגדר. אתם יכולים להשתמש בהתראות האלה כדי לזהות שינוי באיכות – ירידה בביצועים של הנציג לאורך זמן. הירידה הזו יכולה להתרחש גם אם המודל הבסיסי נשאר זהה, ולעיתים קרובות היא נובעת משינויים בהתנהגות המשתמשים בעולם האמיתי, מדפוסי נתונים מתפתחים או מאינטראקציות עדינות בשרשראות הנחיות מורכבות.

כשמגדירים מעקב אונליין, המערכת מייצאת באופן אוטומטי את ציוני ההערכה המספריים ל-Cloud Monitoring. המדדים האלה מפעילים אירועים ב-Cloud Monitoring. לאחר מכן תוכלו ליצור מדיניות התראות כדי להודיע לצוות שלכם כשמתעוררות בעיות איכות.

אתם יכולים ליצור מדיניות התראות ממוקדת למעקב ספציפי:

  1. במסוף Google Cloud , נכנסים לדף Agent Platform > Agents.

  2. בתפריט הניווט הימני, לוחצים על הערכה.

    לדף Evaluation

  3. לוחצים על הכרטיסייה מסכים אונליין. לוחצים על More options של מוניטור ובוחרים באפשרות Create alerting policy.

  4. בודקים את התבניות של מדיניות ההתראות שזמינות לאותו מוניטור.

  5. בוחרים את התבניות שרוצים להפעיל. המערכת מספקת תבנית אחת לכל מדד שמוגדר בכלי המעקב.

  6. הגדרת התראות: בוחרים את ערוצי ההתראות. אם מבטלים את הסימון של Use notification channels, המערכת מבצעת בדיקות אבל לא שולחת התראות למשתמשים באופן יזום. עדיין אפשר לראות אירועים שהופעלו בדף Monitoring > Alerting.

  7. לוחצים על יצירה.

לוח הבקרה של ההערכה מספק קיצור דרך להפעלת אמצעי הגנה רחבים על האיכות לכל המעקבים הפעילים:

  1. במסוף Google Cloud , נכנסים לדף Agent Platform > Agents.

  2. בתפריט הניווט הימני, לוחצים על Deployments ובוחרים את הנציג.

    מעבר אל Deployments

  3. לוחצים על הכרטיסייה מרכז בקרה ואז על סעיף המשנה הערכה.

  4. בפינה השמאלית העליונה, לוחצים על הכפתור התראות מומלצות.

  5. בודקים את התבניות הזמינות, למשל:

    • Online Monitor - Low evaluation score: מופעל אם הציון המצטבר של מוניטור נמוך מדי.
    • התראות על מדדים ספציפיים: ערכי סף ספציפיים למדדים כמו הצלחה במשימה או איכות השימוש בכלי.

  6. בוחרים את התבניות ואת ערוצי ההתראות ולוחצים על Create.

יצירת התראות פרוגרמטיות

בפריסות בקנה מידה גדול, אפשר להגדיר התראות איכות באמצעות ה-CLI של gcloud או Cloud Monitoring API.

באמצעות gcloud

יצירת מדיניות התראה מקובץ תצורה בפורמט JSON או YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

הדוגמה הבאה של policy.yaml מופעלת אם הציון הממוצע של Task Success יורד מתחת ל-80% בחלון של 30 דקות:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

שימוש ב-Agent Platform SDK

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

ניהול מדיניות ההתראות

במסוף Cloud Monitoring אפשר לראות איפה נמצאות כללי מדיניות ההתראות ולשנות את ההגדרות שלהן. כל אירוע כולל תוויות של Online Monitor שמשויך אליו, כדי לעזור לכם לחקור את שורש הבעיה.

כניסה לדף Alerting