Configurer des alertes de qualité

Les alertes de qualité vous avertissent lorsque les performances de votre agent passent en dessous d'un seuil défini. Vous pouvez utiliser ces alertes pour détecter une dérive de la qualité, c'est-à-dire une baisse observable des performances de l'agent au fil du temps. Cette baisse peut se produire même si le modèle sous-jacent reste le même, souvent en raison de changements dans le comportement des utilisateurs dans le monde réel, de l'évolution des modèles de données ou d'interactions subtiles dans des chaînes de prompts complexes.

Lorsque vous configurez un moniteur en ligne, le système exporte automatiquement les scores d'évaluation numériques vers Cloud Monitoring. Ces métriques déclenchent des incidents dans Cloud Monitoring. Vous pouvez ensuite créer des règles d'alerte pour avertir votre équipe lorsque des problèmes de qualité surviennent.

Vous pouvez créer des règles d'alerte ciblées pour un moniteur spécifique :

  1. Dans la console Google Cloud , accédez à la page Agent Platform > Agents.

  2. Dans le menu de navigation de gauche, sélectionnez Évaluation.

    Accéder à la page "Évaluation"

  3. Sélectionnez l'onglet Moniteurs en ligne. Cliquez sur Plus d'options pour un moniteur, puis sélectionnez Créer une règle d'alerte.

  4. Examinez les modèles de règles d'alerte disponibles pour ce moniteur.

  5. Sélectionnez les modèles que vous souhaitez activer. Le système fournit un modèle par métrique configurée sur le moniteur.

  6. Configurer les notifications : sélectionnez vos canaux de notification. Si vous décochez l'option Utiliser les canaux de notification, le système effectue des vérifications, mais n'envoie pas de notifications proactives aux utilisateurs. Vous pouvez toujours afficher les incidents déclenchés sur la page Monitoring > Alertes.

  7. Cliquez sur Créer.

Le tableau de bord d'évaluation fournit un raccourci pour activer des garde-fous de qualité généraux pour tous les moniteurs actifs :

  1. Dans la console Google Cloud , accédez à la page Agent Platform > Agents.

  2. Dans le menu de navigation de gauche, sélectionnez Déploiements, puis votre agent.

    Accéder à la page "Déploiements"

  3. Sélectionnez l'onglet Tableau de bord, puis la sous-section Évaluation.

  4. Cliquez sur le bouton Alertes recommandées en haut à droite.

  5. Examinez les modèles disponibles, par exemple :

    • Surveillance en ligne : score d'évaluation faible : se déclenche si le score global d'une surveillance est trop faible.
    • Alertes de métriques individuelles : seuils spécifiques pour des métriques telles que Réussite de la tâche ou Qualité de l'utilisation de l'outil.

  6. Sélectionnez les modèles et les canaux de notification, puis cliquez sur Créer.

Création d'alertes de manière programmatique

Pour les déploiements à grande échelle, vous pouvez configurer des alertes de qualité à l'aide de la CLI gcloud ou de l'API Cloud Monitoring.

Utiliser gcloud

Créez une règle d'alerte à partir d'un fichier de configuration JSON ou YAML :

gcloud monitoring policies create --policy-from-file="policy.yaml"

Voici un exemple de policy.yaml qui se déclenche si le score moyen de réussite de la tâche passe en dessous de 80 % sur une période de 30 minutes :

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Utiliser le SDK Agent Platform

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Gérer les règles d'alerte

Utilisez la console Cloud Monitoring pour afficher l'emplacement de vos règles d'alerte et affiner leurs configurations. Chaque incident inclut des étiquettes pour le moniteur en ligne associé afin de vous aider à identifier la cause principale.

Accéder à l'interface des alertes