Configurar alertas de qualidade

Os alertas de qualidade notificam quando o desempenho do agente fica abaixo de um limite definido. É possível usar esses alertas para detectar a deriva de qualidade, uma diminuição observável no desempenho do agente ao longo do tempo. Essa diminuição pode ocorrer mesmo que o modelo subjacente permaneça o mesmo, geralmente impulsionado por mudanças no comportamento do usuário no mundo real, padrões de dados em evolução ou interações sutis em cadeias de comandos complexas.

Ao configurar um monitor on-line, o sistema exporta automaticamente as pontuações de avaliação numérica para o Cloud Monitoring. Essas métricas acionam incidentes no Cloud Monitoring. Em seguida, é possível criar políticas de alertas para notificar sua equipe quando surgirem problemas de qualidade.

É possível criar políticas de alertas direcionadas para um monitor específico:

  1. No Google Cloud console, navegue até a página Agent Platform > Agentes.

  2. No menu de navegação à esquerda, selecione Avaliação.

    Acessar a avaliação

  3. Selecione a guia Monitores on-line. Clique em Mais opções para um monitor e selecione Criar política de alertas.

  4. Analise os modelos de política de alertas disponíveis para esse monitor.

  5. Selecione os modelos que você quer ativar. O sistema fornece um modelo por métrica configurada no monitor.

  6. Configurar notificações:selecione seus canais de notificação. Se você desmarcar a opção Usar canais de notificação, o sistema vai realizar verificações, mas não vai notificar os usuários de forma proativa. Ainda é possível visualizar incidentes acionados na página Monitoramento > Alertas.

  7. Clique em Criar.

O painel de avaliação oferece um atalho para ativar proteções de qualidade amplas para todos os monitores ativos:

  1. No Google Cloud console, navegue até a página Agent Platform > Agentes.

  2. No menu de navegação à esquerda, selecione Implantações e escolha seu agente.

    Acessar "Implantações"

  3. Selecione a guia Painel e a subseção Avaliação.

  4. Clique no botão Alertas recomendados no canto superior direito.

  5. Analise os modelos disponíveis, como:

    • Monitor on-line: pontuação de avaliação baixa : acionado se a pontuação agregada de um monitor ficar muito baixa.
    • Alertas de métricas individuais:limites específicos para métricas como Sucesso da tarefa ou Qualidade do uso da ferramenta.

  6. Selecione os modelos e canais de notificação e clique em Criar.

Criação de alertas programáticos

Para implantações em grande escala, é possível configurar alertas de qualidade usando a CLI gcloud ou a API Cloud Monitoring.

Como usar a gcloud

Crie uma política de alertas em um arquivo de configuração JSON ou YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Confira abaixo um exemplo de policy.yaml que é acionado se a pontuação média de Sucesso da tarefa ficar abaixo de 80% em um período de 30 minutos:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Como usar o SDK da Agent Platform

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Gerenciar políticas de alertas

Use o console do Cloud Monitoring para conferir onde as políticas de alertas estão localizadas e refinar as configurações delas. Cada incidente inclui rótulos para o monitor on-line associado, ajudando você a investigar a causa raiz.

Acessar o alerta