Gli avvisi di qualità ti informano quando il rendimento del tuo agente scende al di sotto di una soglia definita. Puoi utilizzare questi avvisi per rilevare la variazione della qualità, ovvero una diminuzione osservabile del rendimento dell'agente nel tempo. Questo calo può verificarsi anche se il modello sottostante rimane lo stesso, spesso a causa di cambiamenti nel comportamento degli utenti nel mondo reale, di modelli di dati in evoluzione o di interazioni sottili in catene di prompt complesse.
Quando configuri un monitoraggio online, il sistema esporta automaticamente i punteggi di valutazione numerici in Cloud Monitoring. Queste metriche attivano incidenti in Cloud Monitoring. Puoi quindi creare criteri di avviso per notificare al tuo team quando si verificano problemi di qualità.
Puoi creare criteri di avviso mirati per un monitor specifico:
- Nella console Google Cloud , vai alla pagina Piattaforma dell'agente > Agenti.
Nel menu di navigazione a sinistra, seleziona Valutazione.
Seleziona la scheda Monitor online. Fai clic su Altre opzioni more_vert per un monitor e seleziona Crea policy di avviso.
Esamina i modelli di criteri di avviso disponibili per il monitor.
Seleziona i modelli che vuoi attivare. Il sistema fornisce un modello per ogni metrica configurata sul monitor.
Configura le notifiche:seleziona i canali di notifica. Se deselezioni Utilizza i canali di notifica, il sistema esegue i controlli, ma non invia notifiche proattive agli utenti. Puoi comunque visualizzare gli incidenti attivati nella pagina Monitoraggio > Avvisi.
Fai clic su Crea.
Creare avvisi consigliati dalla dashboard
La dashboard di valutazione fornisce una scorciatoia per attivare ampie barriere di protezione della qualità per tutti i monitor attivi:
- Nella console Google Cloud , vai alla pagina Piattaforma dell'agente > Agenti.
Nel menu di navigazione a sinistra, seleziona Deployment e seleziona il tuo agente.
Seleziona la scheda Dashboard e la sottosezione Valutazione.
Fai clic sul pulsante Avvisi consigliati nell'angolo in alto a destra.
Esamina i modelli disponibili, ad esempio:
- Monitoraggio online - Punteggio di valutazione basso:si attiva se il punteggio aggregato di un monitoraggio scende troppo.
- Avvisi per singole metriche:soglie specifiche per metriche come Riuscita attività o Qualità utilizzo strumento.
Seleziona i modelli e i canali di notifica, poi fai clic su Crea.
Creazione programmatica di avvisi
Per i deployment su larga scala, puoi configurare gli avvisi di qualità utilizzando la CLI gcloud o l'API Cloud Monitoring.
Utilizzo di gcloud
Crea un criterio di avviso da un file di configurazione JSON o YAML:
gcloud monitoring policies create --policy-from-file="policy.yaml"
Di seguito è riportato un esempio di policy.yaml che viene attivato se il punteggio medio di Riuscita attività scende al di sotto dell'80% in un periodo di 30 minuti:
displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
conditionThreshold:
filter: >
metric.type="aiplatform.googleapis.com/online_evaluator/scores"
AND metric.labels.evaluation_metric_name="task_success"
comparison: COMPARISON_LT
thresholdValue: 0.8
duration: 1800s
aggregations:
- alignmentPeriod: 60s
perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"
Utilizzo dell'SDK Agent Platform
from google.cloud import monitoring_v3
client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"
policy = {
"display_name": "Agent Quality Drift",
"conditions": [{
"display_name": "Low Evaluation Score",
"condition_threshold": {
"filter": (
'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
),
"comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
"threshold_value": 0.7,
"duration": {"seconds": 3600},
"aggregations": [{
"alignment_period": {"seconds": 60},
"per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
}],
},
}],
"combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
"enabled": True,
}
response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")
Gestisci criteri di avviso
Utilizza la console Cloud Monitoring per visualizzare la posizione delle tue policy di avviso e perfezionarne le configurazioni. Ogni incidente include etichette per il monitor online associato per aiutarti a esaminare la causa principale.