Mengonfigurasi pemberitahuan kualitas

Pemberitahuan kualitas memberi tahu Anda saat performa agen turun di bawah nilai minimum yang ditentukan. Anda dapat menggunakan pemberitahuan ini untuk mendeteksi pergeseran kualitas—penurunan performa agen yang dapat diamati dari waktu ke waktu. Penurunan ini dapat terjadi meskipun model yang mendasarinya tetap sama, sering kali didorong oleh perubahan perilaku pengguna di dunia nyata, pola data yang berkembang, atau interaksi yang tidak kentara dalam rantai perintah yang kompleks.

Saat Anda mengonfigurasi Online Monitor, sistem akan otomatis mengekspor skor evaluasi numerik ke Cloud Monitoring. Metrik ini memicu insiden di Cloud Monitoring. Kemudian, Anda dapat membuat kebijakan pemberitahuan untuk memberi tahu tim saat terjadi masalah kualitas.

Anda dapat membuat kebijakan pemberitahuan yang ditargetkan untuk monitor tertentu:

  1. Di konsol Google Cloud , buka halaman Agent Platform > Agents.

  2. Di menu navigasi sebelah kiri, pilih Evaluation.

    Buka Evaluasi

  3. Pilih tab Online monitors. Klik More options untuk monitor dan pilih Create alerting policy.

  4. Tinjau Template kebijakan pemberitahuan yang tersedia untuk monitor tersebut.

  5. Pilih template yang ingin Anda aktifkan. Sistem menyediakan satu template per metrik yang dikonfigurasi di monitor.

  6. Configure Notifications: Pilih Notification Channels Anda. Jika Anda membatalkan centang Gunakan saluran notifikasi, sistem akan melakukan pemeriksaan, tetapi tidak akan memberi tahu pengguna secara proaktif. Anda masih dapat melihat insiden yang dipicu di halaman Monitoring > Alerting.

  7. Klik Create.

Dasbor Evaluasi menyediakan pintasan untuk mengaktifkan guardrail kualitas yang luas untuk semua monitor aktif:

  1. Di konsol Google Cloud , buka halaman Agent Platform > Agents.

  2. Di menu navigasi sebelah kiri, pilih Deployments, lalu pilih agen Anda.

    Buka Deployment

  3. Pilih tab Dashboard, lalu pilih subbagian Evaluation.

  4. Klik tombol Notifikasi yang Direkomendasikan di pojok kanan atas.

  5. Tinjau template yang tersedia, seperti:

    • Online Monitor - Low evaluation score: Dipicu jika skor gabungan untuk monitor terlalu rendah.
    • Pemberitahuan Metrik Individual: Batas spesifik untuk metrik seperti Keberhasilan Tugas atau Kualitas Penggunaan Alat.

  6. Pilih template dan saluran notifikasi, lalu klik Create.

Pembuatan pemberitahuan terprogram

Untuk deployment skala besar, Anda dapat mengonfigurasi pemberitahuan kualitas menggunakan gcloud CLI atau Cloud Monitoring API.

Menggunakan gcloud

Buat kebijakan pemberitahuan dari file konfigurasi JSON atau YAML:

gcloud monitoring policies create --policy-from-file="policy.yaml"

Berikut adalah contoh policy.yaml yang dipicu jika skor Task Success rata-rata turun di bawah 80% selama periode 30 menit:

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Menggunakan Agent Platform SDK

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

Mengelola kebijakan pemberitahuan

Gunakan konsol Cloud Monitoring untuk melihat lokasi kebijakan pemberitahuan Anda dan menyempurnakan konfigurasinya. Setiap insiden menyertakan label untuk Online Monitor terkait guna membantu Anda menyelidiki penyebab utamanya.

Buka Pemberitahuan