품질 알림 구성

품질 알림은 에이전트의 성능이 정의된 기준점 아래로 떨어지면 알려줍니다. 이러한 알림을 사용하여 시간이 지남에 따라 에이전트 성능이 눈에 띄게 감소하는 품질 드리프트— 를 감지할 수 있습니다. 이러한 감소는 기본 모델이 동일하게 유지되더라도 발생할 수 있으며, 이는 종종 실제 사용자 행동의 변화, 진화하는 데이터 패턴 또는 복잡한 프롬프트 체인의 미묘한 상호작용으로 인해 발생합니다.

온라인 모니터를 구성하면 시스템에서 숫자 평가 점수를 Cloud Monitoring으로 자동 내보냅니다. 이러한 측정항목은 Cloud Monitoring에서 이슈 를 트리거합니다. 그런 다음 품질 문제가 발생할 때 팀에 알리도록 알림 정책 을 만들 수 있습니다.

특정 모니터에 대한 타겟 알림 정책을 만들 수 있습니다.

  1. 콘솔에서 Agent Platform > 에이전트 페이지로 이동합니다. Google Cloud

  2. 왼쪽 탐색 메뉴에서 평가 를 선택합니다.

    평가로 이동

  3. 온라인 모니터 탭을 선택합니다. 모니터의 추가 옵션 을 클릭하고 알림 정책 만들기를 선택합니다.

  4. 해당 모니터에 사용할 수 있는 알림 정책 템플릿 을 검토합니다.

  5. 사용 설정할 템플릿을 선택합니다. 시스템은 모니터에 구성된 측정항목당 하나의 템플릿을 제공합니다.

  6. 알림 구성: 알림 채널 을 선택합니다. **알림 채널 사용** 을 선택 해제하면 시스템에서 검사를 실행하지만 사용자에게 사전에 알리지 않습니다. Monitoring > 알림 페이지에서 트리거된 이슈를 계속 볼 수 있습니다.

  7. 만들기 를 클릭합니다.

평가 대시보드는 모든 활성 모니터에 대한 광범위한 품질 가드레일을 사용 설정하는 바로가기를 제공합니다.

  1. 콘솔에서 Agent Platform > 에이전트 페이지로 이동합니다. Google Cloud

  2. 왼쪽 탐색 메뉴에서 배포 를 선택하고 에이전트를 선택합니다.

    배포로 이동

  3. 대시보드 탭을 선택하고 평가 하위 섹션을 선택합니다.

  4. 오른쪽 상단에 있는 추천 알림 버튼을 클릭합니다.

  5. 다음과 같은 사용 가능한 템플릿을 검토합니다.

    • 온라인 모니터 - 평가 점수 낮음: 모니터의 집계 점수가 너무 낮아지면 트리거됩니다.
    • 개별 측정항목 알림: 작업 성공 또는 도구 사용 품질 과 같은 측정항목의 특정 기준점입니다.

  6. 템플릿과 알림 채널을 선택한 후 만들기 를 클릭합니다.

프로그래매틱 알림 만들기

대규모 배포의 경우 gcloud CLI 또는 Cloud Monitoring API를 사용하여 품질 알림을 구성할 수 있습니다.

gcloud 사용

JSON 또는 YAML 구성 파일에서 알림 정책을 만듭니다.

gcloud monitoring policies create --policy-from-file="policy.yaml"

다음은 30분 동안 평균 작업 성공 점수가 80% 아래로 떨어지면 트리거되는 policy.yaml의 예입니다.

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK 사용

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

알림 정책 관리

Cloud Monitoring 콘솔을 사용하여 알림 정책이 있는 위치를 확인하고 구성을 세부적으로 조정합니다. 각 사고에는 근본 원인을 조사하는 데 도움이 되도록 연결된 온라인 모니터의 라벨이 포함되어 있습니다.

알림으로 이동