Configurare gli avvisi sulla qualità

Gli avvisi di qualità ti informano quando il rendimento del tuo agente scende al di sotto di una soglia definita. Puoi utilizzare questi avvisi per rilevare la variazione della qualità, ovvero una diminuzione osservabile del rendimento dell'agente nel tempo. Questa diminuzione può verificarsi anche se il modello sottostante rimane lo stesso, spesso a causa di cambiamenti nel comportamento degli utenti nel mondo reale, dell'evoluzione dei pattern di dati o di interazioni sottili in catene di prompt complesse.

Quando configuri un monitoraggio online, il sistema esporta automaticamente i punteggi di valutazione numerici in Cloud Monitoring. Queste metriche attivano incidenti in Cloud Monitoring. Puoi quindi creare criteri di avviso per informare il tuo team quando si verificano problemi di qualità.

Puoi creare criteri di avviso mirati per un monitoraggio specifico:

  1. Nella Google Cloud console, vai alla pagina Agent Platform > Agenti.

  2. Nel menu di navigazione a sinistra, seleziona Valutazione.

    Vai a Valutazione

  3. Seleziona la scheda Monitoraggi online. Fai clic su Altre opzioni per un monitoraggio e seleziona Crea policy di avviso.

  4. Esamina i modelli di criteri di avviso disponibili per il monitoraggio.

  5. Seleziona i modelli che vuoi attivare. Il sistema fornisce un modello per ogni metrica configurata nel monitoraggio.

  6. Configura le notifiche: seleziona i canali di notifica. Se deselezioni Utilizza i canali di notifica, il sistema esegue i controlli, ma non invia notifiche proattive agli utenti. Puoi comunque visualizzare gli incidenti attivati nella pagina Monitoraggio > Avvisi.

  7. Fai clic su Crea.

La dashboard di valutazione fornisce una scorciatoia per attivare le misure di protezione della qualità generali per tutti i monitoraggi attivi:

  1. Nella Google Cloud console, vai alla pagina Agent Platform > Agenti.

  2. Nel menu di navigazione a sinistra, seleziona Deployment e seleziona il tuo agente.

    Vai a Deployment

  3. Seleziona la scheda Dashboard e la sottosezione Valutazione.

  4. Fai clic sul pulsante Avvisi consigliati nell'angolo in alto a destra.

  5. Esamina i modelli disponibili, ad esempio:

    • Monitoraggio online - Punteggio di valutazione basso: si attiva se il punteggio aggregato di un monitoraggio è troppo basso.
    • Avvisi per singole metriche: soglie specifiche per metriche come Task Success o Tool Use Quality.

  6. Seleziona i modelli e i canali di notifica, quindi fai clic su Crea.

Creazione di avvisi a livello di programmazione

Per i deployment su larga scala, puoi configurare gli avvisi di qualità utilizzando l'interfaccia a riga di comando gcloud o l'API Cloud Monitoring.

Utilizzo di gcloud

Crea un criterio di avviso da un file di configurazione JSON o YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Di seguito è riportato un esempio di policy.yaml che si attiva se il punteggio medio di Task Success scende al di sotto dell'80% in un intervallo di 30 minuti:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Utilizzo dell'SDK Agent Platform

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Gestire i criteri di avviso

Utilizza la console Cloud Monitoring per visualizzare la posizione dei criteri di avviso e perfezionarne le configurazioni. Ogni incidente include etichette per il monitoraggio online associato per aiutarti a esaminare la causa principale.

Vai ad Avvisi