Mengonfigurasi pemberitahuan kualitas

Pemberitahuan kualitas memberi tahu Anda saat performa agen turun di bawah nilai minimum yang ditentukan. Anda dapat menggunakan pemberitahuan ini untuk mendeteksi penurunan kualitas—penurunan performa agen yang dapat diamati dari waktu ke waktu. Penurunan ini dapat terjadi meskipun model yang mendasarinya tetap sama, sering kali didorong oleh perubahan perilaku pengguna di dunia nyata, pola data yang berkembang, atau interaksi halus dalam rantai perintah yang kompleks.

Saat Anda mengonfigurasi Monitor Online, sistem akan otomatis mengekspor skor evaluasi numerik ke Cloud Monitoring. Metrik ini memicu insiden di Cloud Monitoring. Kemudian, Anda dapat membuat kebijakan pemberitahuan untuk memberi tahu tim Anda saat masalah kualitas muncul.

Anda dapat membuat kebijakan pemberitahuan yang ditargetkan untuk monitor tertentu:

  1. Di Google Cloud konsol, buka halaman Agent Platform > Agents.

  2. Di menu navigasi sebelah kiri, pilih Evaluation.

    Buka Evaluasi

  3. Pilih tab Online monitors. Klik More options untuk monitor, lalu pilih Create alerting policy.

  4. Tinjau template kebijakan pemberitahuan yang tersedia untuk monitor tersebut.

  5. Pilih template yang ingin Anda aktifkan. Sistem menyediakan satu template per metrik yang dikonfigurasi di monitor.

  6. Konfigurasi Notifikasi: Pilih Notification Channels. Jika Anda menghapus centang Use notification channels, sistem akan melakukan pemeriksaan, tetapi tidak memberi tahu pengguna secara proaktif. Anda masih dapat melihat insiden yang dipicu di halaman Monitoring > Alerting.

  7. Klik Create.

Dasbor Evaluasi menyediakan pintasan untuk mengaktifkan guardrail kualitas yang luas untuk semua monitor aktif:

  1. Di Google Cloud konsol, buka halaman Agent Platform > Agents.

  2. Di menu navigasi sebelah kiri, pilih Deployments , lalu pilih agen Anda.

    Buka Deployment

  3. Pilih tab Dashboard , lalu pilih subbagian Evaluation.

  4. Klik tombol Recommended Alerts di sudut kanan atas.

  5. Tinjau template yang tersedia, seperti:

    • Online Monitor - Low evaluation score: Dipicu jika skor gabungan untuk monitor terlalu rendah.
    • Individual Metric Alerts: Nilai minimum tertentu untuk metrik seperti Task Success atau Tool Use Quality.

  6. Pilih template dan saluran notifikasi, lalu klik Create.

Pembuatan pemberitahuan secara terprogram

Untuk deployment skala besar, Anda dapat mengonfigurasi pemberitahuan kualitas menggunakan gcloud CLI atau Cloud Monitoring API.

Menggunakan gcloud

Buat kebijakan pemberitahuan dari file konfigurasi JSON atau YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Berikut adalah contoh policy.yaml yang dipicu jika skor rata-rata Task Success turun di bawah 80% selama periode 30 menit:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Menggunakan Agent Platform SDK

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Mengelola kebijakan pemberitahuan

Gunakan konsol Cloud Monitoring untuk melihat lokasi kebijakan pemberitahuan Anda dan menyempurnakan konfigurasinya. Setiap insiden menyertakan label untuk Monitor Online terkait guna membantu Anda menyelidiki penyebab utamanya.

Buka Pemberitahuan