Qualitätsbenachrichtigungen konfigurieren

Qualitätsbenachrichtigungen werden ausgelöst, wenn die Leistung Ihres Agenten unter einen festgelegten Schwellenwert fällt. Mit diesen Benachrichtigungen können Sie Qualitätsabweichungen erkennen, also eine beobachtbare Abnahme der Agentenleistung im Laufe der Zeit. Diese Abnahme kann auch dann auftreten, wenn das zugrunde liegende Modell gleich bleibt. Sie wird oft durch Änderungen im realen Nutzerverhalten, sich entwickelnde Datenmuster oder subtile Interaktionen in komplexen Prompt-Ketten verursacht.

Wenn Sie einen Online-Monitor konfigurieren, exportiert das System automatisch numerische Bewertungs-Scores nach Cloud Monitoring. Diese Messwerte lösen in Cloud Monitoring Vorfälle aus. Anschließend können Sie Benachrichtigungsrichtlinien erstellen, um Ihr Team über Qualitätsprobleme zu informieren.

Sie können gezielte Benachrichtigungsrichtlinien für einen bestimmten Monitor erstellen:

  1. Rufen Sie in der Google Cloud -Console die Seite Agent Platform > Agents auf.

  2. Wählen Sie im linken Navigationsmenü Evaluation aus.

    Zu „Evaluation“

  3. Wählen Sie den Tab Online-Monitore aus. Klicken Sie für einen Monitor auf das Dreipunkt-Menü Weitere Optionen und wählen Sie Benachrichtigungsrichtlinie erstellen aus.

  4. Prüfen Sie die für diesen Monitor verfügbaren Vorlagen für Benachrichtigungsrichtlinien.

  5. Wählen Sie die Vorlagen aus, die Sie aktivieren möchten. Das System stellt eine Vorlage pro Messwert bereit, der für den Monitor konfiguriert ist.

  6. Benachrichtigungen konfigurieren:Wählen Sie Ihre Benachrichtigungskanäle aus. Wenn Sie das Häkchen bei Benachrichtigungskanäle verwenden entfernen, führt das System Prüfungen durch, benachrichtigt Nutzer aber nicht proaktiv. Sie können ausgelöste Vorfälle weiterhin auf der Seite Monitoring > Benachrichtigungen ansehen.

  7. Klicken Sie auf Erstellen.

Das Dashboard „Evaluation“ bietet eine Verknüpfung, mit der Sie umfassende Qualitäts-Guardrails für alle aktiven Monitore aktivieren können:

  1. Rufen Sie in der Google Cloud -Console die Seite Agent Platform > Agents auf.

  2. Wählen Sie im linken Navigationsmenü Deployments aus und wählen Sie Ihren Agenten aus.

    Zu Deployments

  3. Wählen Sie den Tab Dashboard und dann den Unterabschnitt Evaluation aus.

  4. Klicken Sie rechts oben auf die Schaltfläche Empfohlene Benachrichtigungen.

  5. Prüfen Sie die verfügbaren Vorlagen, z. B.:

    • Online-Monitor – niedrige Bewertung:Wird ausgelöst, wenn der Gesamtwert für einen Monitor zu niedrig ist.
    • Benachrichtigungen für einzelne Messwerte:Spezifische Schwellenwerte für Messwerte wie Task Success (Aufgabenerfolg) oder Tool Use Quality (Qualität der Toolnutzung)

  6. Wählen Sie die Vorlagen und Benachrichtigungskanäle aus und klicken Sie dann auf Erstellen.

Programmatische Benachrichtigungserstellung

Bei groß angelegten Bereitstellungen können Sie Qualitätsbenachrichtigungen mit der gcloud-Befehlszeile oder der Cloud Monitoring API konfigurieren.

gcloud verwenden

Erstellen Sie eine Benachrichtigungsrichtlinie aus einer JSON- oder YAML-Konfigurationsdatei:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Im Folgenden sehen Sie ein Beispiel für eine policy.yaml-Datei, die ausgelöst wird, wenn der durchschnittliche Task Success-Score (Aufgabenerfolg) in einem Zeitraum von 30 Minuten unter 80% fällt:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK verwenden

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Benachrichtigungsrichtlinien verwalten

In der Cloud Monitoring Console können Sie sehen, wo sich Ihre Benachrichtigungsrichtlinien befinden, und ihre Konfigurationen verfeinern. Jeder Vorfall enthält Labels für den zugehörigen Online-Monitor, damit Sie die Ursache untersuchen können.

Zu Benachrichtigungen