Configura alertas de calidad

Las alertas de calidad te notifican cuando el rendimiento de tu agente cae por debajo de un umbral definido. Puedes usar estas alertas para detectar variación de calidad—una disminución observable en el rendimiento del agente a lo largo del tiempo. Esta disminución puede ocurrir incluso si el modelo subyacente sigue siendo el mismo, a menudo debido a cambios en el comportamiento del usuario en el mundo real, patrones de datos en evolución o interacciones sutiles en cadenas de instrucciones complejas.

Cuando configuras un Monitor en línea, el sistema exporta automáticamente las puntuaciones de evaluación numéricas a Cloud Monitoring. Estas métricas activan incidentes en Cloud Monitoring. Luego, puedes crear políticas de alertas para notificar a tu equipo cuando surjan problemas de calidad.

Puedes crear políticas de alertas segmentadas para un monitor específico:

  1. En la Google Cloud consola, navega a la página Agent Platform > Agentes.

  2. En el menú de navegación de la izquierda, selecciona Evaluación.

    Ir a Evaluación

  3. Selecciona la pestaña Monitores en línea. Haz clic en Más opciones para un monitor y selecciona Crear política de alertas.

  4. Revisa las plantillas de políticas de alertas disponibles para ese monitor.

  5. Selecciona las plantillas que deseas habilitar. El sistema proporciona una plantilla por métrica configurada en el monitor.

  6. Configura las notificaciones: Selecciona tus canales de notificaciones. Si desmarcas Usar canales de notificaciones, el sistema realiza verificaciones, pero no notifica a los usuarios de forma proactiva. Aun así, puedes ver los incidentes activados en la página Monitoring > Alerting.

  7. Haz clic en Crear.

El panel de evaluación proporciona un acceso directo para habilitar protecciones de calidad amplias para todos los monitores activos:

  1. En la Google Cloud consola, navega a la página Agent Platform > Agentes.

  2. En el menú de navegación de la izquierda, selecciona Implementaciones y elige tu agente.

    Ir a Implementaciones

  3. Selecciona la pestaña Panel y la subsección Evaluación.

  4. Haz clic en el botón Alertas recomendadas en la esquina superior derecha.

  5. Revisa las plantillas disponibles, como las siguientes:

    • Monitor en línea: Puntuación de evaluación baja: Se activa si la puntuación agregada de un monitor es demasiado baja.
    • Alertas de métricas individuales: Umbrales específicos para métricas como Éxito de la tarea o Calidad del uso de la herramienta.

  6. Selecciona las plantillas y los canales de notificaciones y, luego, haz clic en Crear.

Creación de alertas programáticas

Para implementaciones a gran escala, puedes configurar alertas de calidad con la CLI de gcloud o la API de Cloud Monitoring.

Usa gcloud

Crea una política de alertas a partir de un archivo de configuración JSON o YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

A continuación, se muestra un ejemplo de policy.yaml que se activa si la puntuación promedio de Éxito de la tarea cae por debajo del 80% en un período de 30 minutos:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Usa el SDK de Agent Platform

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Administra las políticas de alertas

Usa la consola de Cloud Monitoring para ver dónde se encuentran tus políticas de alertas y refinar sus configuraciones. Cada incidente incluye etiquetas para el monitor en línea asociado que te ayudarán a investigar la causa raíz.

Ve a las alertas