Mengonfigurasi pemberitahuan kualitas

Peringatan kualitas akan memberi tahu Anda saat performa agen Anda turun di bawah nilai minimum yang ditentukan. Anda dapat menggunakan pemberitahuan ini untuk mendeteksi penyimpangan kualitas—penurunan performa agen yang dapat diamati dari waktu ke waktu. Penurunan ini dapat terjadi meskipun model yang mendasarinya tetap sama, sering kali disebabkan oleh perubahan perilaku pengguna di dunia nyata, pola data yang terus berkembang, atau interaksi halus dalam rangkaian perintah yang kompleks.

Saat Anda mengonfigurasi Monitor Online, sistem akan otomatis mengekspor skor evaluasi numerik ke Cloud Monitoring. Metrik ini memicu insiden di Cloud Monitoring. Kemudian, Anda dapat membuat kebijakan pemberitahuan untuk memberi tahu tim Anda saat masalah kualitas muncul.

Anda dapat membuat kebijakan pemberitahuan yang ditargetkan untuk monitor tertentu:

  1. Di konsol Google Cloud , buka halaman Agent Platform > Agents.

  2. Di menu navigasi kiri, pilih Evaluasi.

    Buka Evaluasi

  3. Pilih tab Monitor online. Klik Opsi lainnya untuk monitor, lalu pilih Buat kebijakan pemberitahuan.

  4. Tinjau Template kebijakan pemberitahuan yang tersedia untuk monitor tersebut.

  5. Pilih template yang ingin Anda aktifkan. Sistem menyediakan satu template per metrik yang dikonfigurasi di monitor.

  6. Konfigurasi Notifikasi: Pilih Saluran Notifikasi Anda. Jika Anda menghapus centang Gunakan saluran notifikasi, sistem akan melakukan pemeriksaan, tetapi tidak secara proaktif memberi tahu pengguna. Anda masih dapat melihat insiden yang dipicu di halaman Monitoring > Alerting.

  7. Klik Create.

Dasbor Evaluasi menyediakan pintasan untuk mengaktifkan batas kualitas yang luas untuk semua monitor aktif:

  1. Di konsol Google Cloud , buka halaman Agent Platform > Agents.

  2. Di menu navigasi sebelah kiri, pilih Deployment, lalu pilih agen Anda.

    Buka Deployment

  3. Pilih tab Dasbor, lalu pilih subbagian Evaluasi.

  4. Klik tombol Notifikasi yang Direkomendasikan di sudut kanan atas.

  5. Tinjau template yang tersedia, seperti:

    • Monitor Online - Skor evaluasi rendah: Dipicu jika skor agregat untuk monitor terlalu rendah.
    • Pemberitahuan Metrik Individual: Batas spesifik untuk metrik seperti Keberhasilan Tugas atau Kualitas Penggunaan Alat.

  6. Pilih template dan saluran notifikasi, lalu klik Buat.

Pembuatan pemberitahuan terprogram

Untuk deployment skala besar, Anda dapat mengonfigurasi pemberitahuan kualitas menggunakan CLI gcloud atau Cloud Monitoring API.

Menggunakan gcloud

Buat kebijakan pemberitahuan dari file konfigurasi JSON atau YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Berikut adalah contoh policy.yaml yang dipicu jika skor rata-rata Keberhasilan Tugas di bawah 80% selama periode 30 menit:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Menggunakan Agent Platform SDK

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Mengelola kebijakan pemberitahuan

Gunakan konsol Cloud Monitoring untuk melihat lokasi kebijakan pemberitahuan Anda dan menyempurnakan konfigurasinya. Setiap insiden mencakup label untuk Monitor Online terkait untuk membantu Anda menyelidiki penyebab utamanya.

Buka Pemberitahuan