Configurare gli avvisi sulla qualità

Gli avvisi sulla qualità ti informano quando il rendimento dell'agente scende al di sotto di una soglia definita. Puoi utilizzare questi avvisi per rilevare la deviazione della qualità, ovvero una diminuzione osservabile delle prestazioni dell'agente nel tempo. Questa diminuzione può verificarsi anche se il modello sottostante rimane lo stesso, spesso a causa di cambiamenti nel comportamento degli utenti nel mondo reale, di pattern di dati in evoluzione o di interazioni sottili in catene di prompt complesse.

Quando configuri un monitoraggio online, il sistema esporta automaticamente i punteggi di valutazione numerici in Cloud Monitoring. Queste metriche attivano incidenti in Cloud Monitoring. Puoi quindi creare policy di avviso per informare il tuo team quando si verificano problemi di qualità.

Puoi creare policy di avviso mirate per un monitor specifico:

  1. Nella console Google Cloud , vai alla pagina Agent Platform > Agenti.

  2. Nel menu di navigazione a sinistra, seleziona Valutazione.

    Vai alla valutazione

  3. Seleziona la scheda Monitor online. Fai clic su Altre opzioni per un monitor e seleziona Crea policy di avviso.

  4. Esamina i modelli di policy di avviso disponibili per quel monitoraggio.

  5. Seleziona i modelli che vuoi attivare. Il sistema fornisce un modello per ogni metrica configurata sul monitor.

  6. Configura le notifiche: seleziona i Canali di notifica. Se deselezioni Usa canali di notifica, il sistema esegue i controlli, ma non invia notifiche proattive agli utenti. Puoi comunque visualizzare gli incidenti attivati nella pagina Monitoraggio > Avvisi.

  7. Fai clic su Crea.

La dashboard di valutazione fornisce una scorciatoia per abilitare guardrail di qualità generali per tutti i monitoraggi attivi:

  1. Nella console Google Cloud , vai alla pagina Agent Platform > Agenti.

  2. Nel menu di navigazione a sinistra, seleziona Deployment e seleziona il tuo agente.

    Vai a Deployment

  3. Seleziona la scheda Dashboard e poi la sottosezione Valutazione.

  4. Fai clic sul pulsante Avvisi consigliati nell'angolo in alto a destra.

  5. Esamina i modelli disponibili, ad esempio:

    • Monitoraggio online - Punteggio di valutazione basso: si attiva se il punteggio aggregato di un monitoraggio scende troppo.
    • Avvisi per singole metriche: soglie specifiche per metriche come Successo dell'attività o Qualità dell'utilizzo dello strumento.

  6. Seleziona i template e i canali di notifica, quindi fai clic su Crea.

Creazione di avvisi in modo programmatico

Per i deployment su larga scala, puoi configurare gli avvisi sulla qualità utilizzando l'interfaccia a riga di comando gcloud o l'API Cloud Monitoring.

Utilizzo di gcloud

Crea una policy di avviso da un file di configurazione JSON o YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Di seguito è riportato un esempio di policy.yaml che si attiva se il punteggio medio di Attività riuscita scende al di sotto dell'80% in un intervallo di 30 minuti:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Utilizzo dell'SDK Agent Platform

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Gestisci le policy di avviso

Utilizza la console Cloud Monitoring per visualizzare la posizione delle policy di avviso e perfezionarne le configurazioni. Ogni incidente include etichette per il monitor online associato per aiutarti a indagare sulla causa principale.

Vai ad Avvisi