Configurer des alertes de qualité

Les alertes de qualité vous avertissent lorsque les performances de votre agent descendent en dessous d'un seuil défini. Vous pouvez utiliser ces alertes pour détecter la dérive de qualité, c'est-à-dire une baisse observable des performances des agents au fil du temps. Cette diminution peut se produire même si le modèle sous-jacent reste le même. Elle est souvent due à des changements dans le comportement des utilisateurs dans le monde réel, à l'évolution des schémas de données ou à des interactions subtiles dans des chaînes de requêtes complexes.

Lorsque vous configurez un moniteur en ligne, le système exporte automatiquement les scores d'évaluation numériques vers Cloud Monitoring. Ces métriques déclenchent des incidents dans Cloud Monitoring. Vous pouvez ensuite créer des règles d'alerte pour avertir votre équipe en cas de problème de qualité.

Vous pouvez créer des règles d'alerte ciblées pour un moniteur spécifique :

  1. Dans la console Google Cloud , accédez à la page Agent Platform > Agents.

  2. Dans le menu de navigation de gauche, sélectionnez Évaluation.

    Accéder à la page "Évaluation"

  3. Sélectionnez l'onglet Moniteurs en ligne. Cliquez sur Plus d'options pour un contrôleur, puis sélectionnez Créer une règle d'alerte.

  4. Consultez les modèles de règles d'alerte disponibles pour ce moniteur.

  5. Sélectionnez les modèles que vous souhaitez activer. Le système fournit un modèle par métrique configurée dans le moniteur.

  6. Configurer les notifications : sélectionnez vos canaux de notification. Si vous décochez l'option Utiliser les canaux de notification, le système effectue des vérifications, mais n'envoie pas de notifications proactives aux utilisateurs. Vous pouvez toujours afficher les incidents déclenchés sur la page Monitoring > Alerting (Monitoring > Alertes).

  7. Cliquez sur Créer.

Le tableau de bord "Évaluation" permet d'activer rapidement des garde-fous de qualité généraux pour tous les moniteurs actifs :

  1. Dans la console Google Cloud , accédez à la page Agent Platform > Agents.

  2. Dans le menu de navigation de gauche, sélectionnez Déploiements, puis votre agent.

    Accéder à la page "Déploiements"

  3. Sélectionnez l'onglet Tableau de bord, puis la sous-section Évaluation.

  4. Cliquez sur le bouton Alertes recommandées en haut à droite.

  5. Passez en revue les modèles disponibles, par exemple :

    • Surveillance en ligne : score d'évaluation faible : se déclenche si le score global d'un élément à surveiller est trop faible.
    • Alertes sur les métriques individuelles : seuils spécifiques pour des métriques telles que Tâche réussie ou Qualité de l'utilisation de l'outil.

  6. Sélectionnez les modèles et les canaux de notification, puis cliquez sur Créer.

Créer des alertes de manière programmatique

Pour les déploiements à grande échelle, vous pouvez configurer des alertes de qualité à l'aide de la CLI gcloud ou de l'API Cloud Monitoring.

Utiliser gcloud

Créez une règle d'alerte à partir d'un fichier de configuration JSON ou YAML :

gcloud monitoring policies create --policy-from-file="policy.yaml"

Voici un exemple de policy.yaml qui se déclenche si le score moyen Task Success (Réussite de la tâche) tombe en dessous de 80 % sur une période de 30 minutes :

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Utiliser le SDK Agent Platform

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Gérer les règles d'alerte

Utilisez la console Cloud Monitoring pour afficher l'emplacement de vos règles d'alerte et affiner leur configuration. Chaque incident inclut des libellés pour le moniteur en ligne associé afin de vous aider à identifier la cause première.

Accéder à l'interface des alertes