Qualitätsbenachrichtigungen konfigurieren

Qualitätswarnungen informieren Sie, wenn die Leistung Ihres Agenten unter einen definierten Schwellenwert fällt. Mit diesen Benachrichtigungen können Sie Qualitätsabweichungen erkennen, also eine beobachtbare Abnahme der Agentenleistung im Laufe der Zeit. Diese Abnahme kann auch dann auftreten, wenn das zugrunde liegende Modell unverändert bleibt. Sie wird häufig durch Änderungen im realen Nutzerverhalten, sich entwickelnde Datenmuster oder subtile Interaktionen in komplexen Prompt-Ketten verursacht.

Wenn Sie einen Online-Monitor konfigurieren, exportiert das System automatisch numerische Bewertungsergebnisse nach Cloud Monitoring. Diese Messwerte lösen Vorfälle in Cloud Monitoring aus. Anschließend können Sie Benachrichtigungsrichtlinien erstellen, um Ihr Team zu benachrichtigen, wenn Qualitätsprobleme auftreten.

Sie können gezielte Benachrichtigungsrichtlinien für einen bestimmten Monitor erstellen:

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Agenten auf.

  2. Wählen Sie im linken Navigationsmenü Bewertung aus.

    Zur Bewertung

  3. Wählen Sie den Tab Online-Monitore aus. Klicken Sie für einen Monitor auf Weitere Optionen und wählen Sie Benachrichtigungsrichtlinie erstellen aus.

  4. Sehen Sie sich die Vorlagen für Benachrichtigungsrichtlinien an, die für diesen Monitor verfügbar sind.

  5. Wählen Sie die Vorlagen aus, die Sie aktivieren möchten. Das System stellt eine Vorlage pro Messwert bereit, der im Monitor konfiguriert ist.

  6. Benachrichtigungen konfigurieren: Wählen Sie Ihre Benachrichtigungskanäle aus. Wenn Sie das Häkchen bei Benachrichtigungskanäle verwenden entfernen, führt das System Prüfungen durch, benachrichtigt Nutzer aber nicht proaktiv. Sie können ausgelöste Vorfälle weiterhin auf der Seite Monitoring > Benachrichtigungen aufrufen.

  7. Klicken Sie auf Erstellen.

Das Bewertungs-Dashboard bietet eine Verknüpfung, um allgemeine Qualitätsschutzmaßnahmen für alle aktiven Monitore zu aktivieren:

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Agenten auf.

  2. Wählen Sie im linken Navigationsmenü Bereitstellungen und dann Ihren KI-Agenten aus.

    Zu Deployments

  3. Wählen Sie den Tab Dashboard und dann den Unterabschnitt Bewertung aus.

  4. Klicken Sie rechts oben auf den Button Empfohlene Benachrichtigungen.

  5. Sehen Sie sich die verfügbaren Vorlagen an, z. B.:

    • Online-Monitor – niedrige Bewertung: Wird ausgelöst, wenn die Gesamtbewertung für einen Monitor zu niedrig ist.
    • Benachrichtigungen für einzelne Messwerte: Spezifische Grenzwerte für Messwerte wie Aufgabenerfolg oder Qualität der Toolnutzung.

  6. Wählen Sie die Vorlagen und Benachrichtigungskanäle aus und klicken Sie dann auf Erstellen.

Programmatische Benachrichtigungserstellung

Bei umfangreichen Bereitstellungen können Sie Qualitätswarnungen mit der gcloud-Befehlszeile oder der Cloud Monitoring API konfigurieren.

gcloud verwenden

Erstellen Sie eine Benachrichtigungsrichtlinie aus einer JSON- oder YAML-Konfigurationsdatei:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Im folgenden Beispiel wird ein policy.yaml ausgelöst, wenn der durchschnittliche Wert für Aufgabenerfolg über einen Zeitraum von 30 Minuten unter 80 % fällt:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK verwenden

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Benachrichtigungsrichtlinien verwalten

In der Cloud Monitoring-Konsole können Sie sehen, wo sich Ihre Benachrichtigungsrichtlinien befinden, und ihre Konfigurationen optimieren. Jeder Vorfall enthält Labels für den zugehörigen Online-Monitor, um Ihnen bei der Ursachenforschung zu helfen.

Zu Benachrichtigungen