품질 알림 구성

품질 알림은 에이전트의 성능이 정의된 기준점 아래로 떨어지면 알림을 표시합니다. 이러한 알림을 사용하여 품질 드리프트를 감지할 수 있습니다. 품질 드리프트는 시간이 지남에 따라 에이전트 성능이 눈에 띄게 감소하는 현상입니다. 이 감소는 기본 모델이 동일하게 유지되더라도 발생할 수 있으며, 실제 사용자 행동의 변화, 진화하는 데이터 패턴, 복잡한 프롬프트 체인의 미묘한 상호작용으로 인해 발생하는 경우가 많습니다.

온라인 모니터를 구성하면 시스템에서 숫자 평가 점수를 Cloud Monitoring으로 자동 내보냅니다. 이러한 측정항목은 Cloud Monitoring에서 인시던트를 트리거합니다. 그런 다음 품질 문제가 발생할 때 팀에 알리도록 알림 정책을 만들 수 있습니다.

특정 모니터에 대해 타겟팅된 알림 정책을 만들 수 있습니다.

  1. Google Cloud 콘솔에서 Agent Platform > 에이전트 페이지로 이동합니다.

  2. 왼쪽 탐색 메뉴에서 평가를 선택합니다.

    평가로 이동

  3. 온라인 모니터 탭을 선택합니다. 모니터의 옵션 더보기 를 클릭하고 알림 정책 만들기를 선택합니다.

  4. 해당 모니터에 사용할 수 있는 알림 정책 템플릿을 검토합니다.

  5. 사용 설정할 템플릿을 선택합니다. 시스템은 모니터에 구성된 측정항목당 하나의 템플릿을 제공합니다.

  6. 알림 구성: 알림 채널을 선택합니다. 알림 채널 사용을 선택 해제하면 시스템에서 검사를 실행하지만 사용자에게 사전 알림을 보내지는 않습니다. 모니터링 > 알림 페이지에서 트리거된 인시던트는 계속 볼 수 있습니다.

  7. 만들기를 클릭합니다.

평가 대시보드는 활성 모니터링 도구에 대해 광범위한 품질 가이드라인을 사용 설정할 수 있는 바로가기를 제공합니다.

  1. Google Cloud 콘솔에서 Agent Platform > 에이전트 페이지로 이동합니다.

  2. 왼쪽 탐색 메뉴에서 배포를 선택하고 에이전트를 선택합니다.

    배포로 이동

  3. 대시보드 탭을 선택하고 평가 하위 섹션을 선택합니다.

  4. 오른쪽 상단에 있는 추천 알림 버튼을 클릭합니다.

  5. 다음과 같은 사용 가능한 템플릿을 검토합니다.

    • 온라인 모니터 - 평가 점수 낮음: 모니터의 집계 점수가 너무 낮아지면 트리거됩니다.
    • 개별 측정항목 알림: 작업 성공 또는 도구 사용 품질과 같은 측정항목의 특정 기준점입니다.

  6. 템플릿과 알림 채널을 선택한 다음 만들기를 클릭합니다.

프로그래매틱 방식의 알림 생성

대규모 배포의 경우 gcloud CLI 또는 Cloud Monitoring API를 사용하여 품질 알림을 구성할 수 있습니다.

gcloud 사용

JSON 또는 YAML 구성 파일에서 알림 정책을 만듭니다.

gcloud monitoring policies create --policy-from-file="policy.yaml"

다음은 30분 동안 평균 작업 성공 점수가 80% 미만으로 떨어지면 트리거되는 policy.yaml의 예입니다.

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK 사용

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

알림 정책 관리

Cloud Monitoring 콘솔을 사용하여 알림 정책이 있는 위치를 확인하고 구성을 수정합니다. 각 인시던트에는 근본 원인을 조사하는 데 도움이 되는 연결된 온라인 모니터의 라벨이 포함되어 있습니다.

알림으로 이동