Benachrichtigungen zur Qualität konfigurieren

Qualitätswarnungen werden angezeigt, wenn die Leistung Ihres Kundenservicemitarbeiters unter einen bestimmten Grenzwert fällt. Mithilfe dieser Benachrichtigungen können Sie Qualitätsabweichungen erkennen, also eine im Laufe der Zeit beobachtbare Abnahme der Agentenleistung. Dieser Rückgang kann auch dann eintreten, wenn das zugrunde liegende Modell gleich bleibt. Er wird oft durch Änderungen im Nutzerverhalten in der realen Welt, sich entwickelnde Datenmuster oder subtile Interaktionen in komplexen Prompt-Ketten verursacht.

Wenn Sie einen Online Monitor konfigurieren, exportiert das System automatisch numerische Auswertungsergebnisse nach Cloud Monitoring. Diese Messwerte lösen Vorfälle in Cloud Monitoring aus. Anschließend können Sie Benachrichtigungsrichtlinien erstellen, um Ihr Team über Qualitätsprobleme zu informieren.

Sie können gezielte Benachrichtigungsrichtlinien für einen bestimmten Monitor erstellen:

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Agents auf.

  2. Wählen Sie im linken Navigationsmenü Bewertung aus.

    Zur Seite „Bewertung“

  3. Wählen Sie den Tab Online-Monitore aus. Klicken Sie für einen Monitor auf das Dreipunkt-Menü Weitere Optionen und wählen Sie Benachrichtigungsrichtlinie erstellen aus.

  4. Sehen Sie sich die Vorlagen für Benachrichtigungsrichtlinien an, die für diesen Monitor verfügbar sind.

  5. Wählen Sie die Vorlagen aus, die Sie aktivieren möchten. Das System stellt eine Vorlage pro Messwert bereit, der für den Monitor konfiguriert ist.

  6. Benachrichtigungen konfigurieren:Wählen Sie Ihre Benachrichtigungskanäle aus. Wenn Sie das Häkchen bei Benachrichtigungschannels verwenden entfernen, führt das System zwar Prüfungen durch, benachrichtigt Nutzer aber nicht proaktiv. Sie können ausgelöste Vorfälle weiterhin auf der Seite Monitoring > Benachrichtigungen ansehen.

  7. Klicken Sie auf Erstellen.

Das Evaluierungsdashboard bietet eine Verknüpfung, um umfassende Qualitätsrichtlinien für alle aktiven Monitore zu aktivieren:

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Agents auf.

  2. Wählen Sie im linken Navigationsmenü Bereitstellungen und dann Ihren Agent aus.

    Zu Deployments

  3. Wählen Sie den Tab Dashboard und dann den Unterabschnitt Bewertung aus.

  4. Klicken Sie rechts oben auf die Schaltfläche Empfohlene Benachrichtigungen.

  5. Sehen Sie sich die verfügbaren Vorlagen an, z. B.:

    • Online-Monitor – niedrige Bewertung:Wird ausgelöst, wenn die aggregierte Bewertung für einen Monitor zu niedrig ist.
    • Benachrichtigungen für einzelne Messwerte:Bestimmte Grenzwerte für Messwerte wie Task Success (Erfolg von Aufgaben) oder Tool Use Quality (Qualität der Tool-Nutzung).

  6. Wählen Sie die Vorlagen und Benachrichtigungskanäle aus und klicken Sie dann auf Erstellen.

Programmatische Benachrichtigungen erstellen

Bei großen Bereitstellungen können Sie Qualitätsbenachrichtigungen mit der gcloud CLI oder der Cloud Monitoring API konfigurieren.

gcloud verwenden

So erstellen Sie eine Benachrichtigungsrichtlinie aus einer JSON- oder YAML-Konfigurationsdatei:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Das folgende Beispiel für policy.yaml wird ausgelöst, wenn der durchschnittliche Task Success-Wert in einem 30-Minuten-Zeitraum unter 80% fällt:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK verwenden

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Benachrichtigungsrichtlinien verwalten

In der Cloud Monitoring-Konsole können Sie sehen, wo sich Ihre Benachrichtigungsrichtlinien befinden, und ihre Konfigurationen optimieren. Jeder Vorfall enthält Labels für den zugehörigen Online Monitor, damit Sie die Ursache ermitteln können.

Zu Benachrichtigungen