品質アラートを構成する

品質アラートは、エージェントのパフォーマンスが定義されたしきい値を下回った場合に通知します。これらのアラートを使用すると、品質のドリフト（エージェントのパフォーマンスが時間の経過とともに低下すること）を検出できます。この減少は、基盤となるモデルが同じままであっても発生する可能性があります。これは、現実世界のユーザー行動の変化、データパターンの進化、複雑なプロンプト チェーンでの微妙なインタラクションによって引き起こされることがよくあります。

オンライン モニターを構成すると、システムは数値評価スコアを Cloud Monitoring に自動的にエクスポートします。これらの指標は、Cloud Monitoring でインシデントをトリガーします。その後、アラート ポリシーを作成して、品質に関する問題が発生したときにチームに通知できます。

特定のモニターを対象とするアラート ポリシーを作成できます。

  1. Google Cloud コンソールで、[Agent Platform] > [エージェント] ページに移動します。

  2. 左側のナビゲーション メニューで、[評価] を選択します。

    [評価] に移動

  3. [オンライン モニター] タブを選択します。モニターの [その他のオプション] をクリックし、[アラート ポリシーを作成] を選択します。

  4. そのモニターで使用できるアラート ポリシー テンプレートを確認します。

  5. 有効にするテンプレートを選択します。システムは、モニターで構成された指標ごとに 1 つのテンプレートを提供します。

  6. 通知を構成する: 通知チャンネルを選択します。[通知チャンネルを使用する] のチェックを外すと、システムはチェックを実行しますが、ユーザーに自動的に通知することはありません。トリガーされたインシデントは、[Monitoring] > [Alerting] ページで引き続き確認できます。

  7. [作成] をクリックします。

[評価] ダッシュボードには、すべてのアクティブなモニターで広範な品質ガードレールを有効にするためのショートカットが用意されています。

  1. Google Cloud コンソールで、[Agent Platform] > [エージェント] ページに移動します。

  2. 左側のナビゲーション メニューで、[デプロイ] を選択し、エージェントを選択します。

    [デプロイメント] に移動

  3. [ダッシュボード] タブを選択し、[評価] サブセクションを選択します。

  4. 右上にある [推奨アラート] ボタンをクリックします。

  5. 利用可能なテンプレートを確認します。たとえば、次のようなテンプレートがあります。

    • オンライン モニタリング - 評価スコアが低い: モニタリングの集計スコアが低すぎる場合にトリガーされます。
    • 個々の指標のアラート: タスクの成功やツールの使用品質などの指標の特定のしきい値。

  6. テンプレートと通知チャネルを選択し、[作成] をクリックします。

プログラムによるアラートの作成

大規模なデプロイの場合は、gcloud CLI または Cloud Monitoring API を使用して品質アラートを構成できます。

gcloud の使用

JSON または YAML 構成ファイルからアラート ポリシーを作成します。

gcloud monitoring policies create --policy-from-file="policy.yaml"

次の例は、30 分間の時間枠で タスクの成功の平均スコアが 80% を下回った場合にトリガーされる policy.yaml の例です。

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK の使用

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

アラート ポリシーを管理する

Cloud Monitoring コンソールを使用して、アラート ポリシーの場所を確認し、構成を調整します。各インシデントには、根本原因の調査に役立つ関連するオンライン モニターのラベルが含まれています。

アラートに移動