Os alertas de qualidade notificam você quando o desempenho do agente fica abaixo de um limite definido. Use esses alertas para detectar desvios de qualidade, uma diminuição observável no desempenho do agente ao longo do tempo. Essa diminuição pode ocorrer mesmo que o modelo subjacente permaneça o mesmo, geralmente impulsionado por mudanças no comportamento do usuário no mundo real, padrões de dados em evolução ou interações sutis em cadeias de comandos complexas.
Quando você configura um Monitor on-line, o sistema exporta automaticamente as pontuações de avaliação numérica para o Cloud Monitoring. Essas métricas acionam incidentes no Cloud Monitoring. Em seguida, crie políticas de alertas para notificar sua equipe quando surgirem problemas de qualidade.
É possível criar políticas de alertas segmentadas para um monitor específico:
- No console do Google Cloud , acesse a página Agent Platform > Agentes.
No menu de navegação à esquerda, selecione Avaliação.
Selecione a guia Monitores on-line. Clique em Mais opções more_vert em um monitor e selecione Criar política de alertas.
Revise os modelos de política de alertas disponíveis para esse monitor.
Selecione os modelos que você quer ativar. O sistema fornece um modelo por métrica configurada no monitor.
Configurar notificações: selecione seus Canais de notificação. Se você desmarcar Usar canais de notificação, o sistema vai realizar verificações, mas não vai notificar os usuários de forma proativa. Ainda é possível ver os incidentes acionados na página Monitoramento > Alertas.
Clique em Criar.
Criar alertas recomendados no painel
O painel de avaliação oferece um atalho para ativar proteções de qualidade amplas para todos os monitores ativos:
- No console do Google Cloud , acesse a página Agent Platform > Agentes.
No menu de navegação à esquerda, selecione Implantações e escolha seu agente.
Selecione a guia Painel e a subseção Avaliação.
Clique no botão Alertas recomendados no canto superior direito.
Analise os modelos disponíveis, como:
- Monitor on-line: pontuação de avaliação baixa: acionado se a pontuação agregada de um monitor ficar muito baixa.
- Alertas de métricas individuais: limites específicos para métricas como Sucesso da tarefa ou Qualidade do uso da ferramenta.
Selecione os modelos e os canais de notificação e clique em Criar.
Criação de alertas programáticos
Para implantações em grande escala, é possível configurar alertas de qualidade usando a CLI gcloud ou a API Cloud Monitoring.
Como usar a gcloud
Crie uma política de alertas usando um arquivo de configuração JSON ou YAML:
gcloud monitoring policies create --policy-from-file="policy.yaml"
Veja um exemplo de policy.yaml que é acionado se a pontuação média de Sucesso da tarefa ficar abaixo de 80% em um período de 30 minutos:
displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
conditionThreshold:
filter: >
metric.type="aiplatform.googleapis.com/online_evaluator/scores"
AND metric.labels.evaluation_metric_name="task_success"
comparison: COMPARISON_LT
thresholdValue: 0.8
duration: 1800s
aggregations:
- alignmentPeriod: 60s
perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"
Como usar o SDK da Agent Platform
from google.cloud import monitoring_v3
client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"
policy = {
"display_name": "Agent Quality Drift",
"conditions": [{
"display_name": "Low Evaluation Score",
"condition_threshold": {
"filter": (
'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
),
"comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
"threshold_value": 0.7,
"duration": {"seconds": 3600},
"aggregations": [{
"alignment_period": {"seconds": 60},
"per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
}],
},
}],
"combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
"enabled": True,
}
response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")
Gerenciar políticas de alertas
Use o console do Cloud Monitoring para ver onde as políticas de alertas estão localizadas e refinar as configurações delas. Cada incidente inclui rótulos para o Monitor on-line associado para ajudar você a investigar a causa raiz.