品質アラートを構成する

品質アラートは、エージェントのパフォーマンスが定義されたしきい値を下回ったときに通知します。これらのアラートを使用して、品質の低下（エージェントのパフォーマンスが時間の経過とともに低下すること）を検出できます。この低下は、基盤となるモデルが同じままであっても発生する可能性があり、多くの場合、実際のユーザーの行動の変化、進化するデータパターン、複雑なプロンプト チェーンでの微妙なインタラクションによって引き起こされます。

オンライン モニタリングを構成すると、 数値評価スコアが Cloud Monitoring に自動的にエクスポートされます。これらの指標により、Cloud Monitoring でインシデント がトリガーされます。その後、品質の問題が発生したときにチームに通知するアラート ポリシー を作成できます。

特定のモニタリングに対して、ターゲット アラート ポリシーを作成できます。

  1. コンソールで、[Agent Platform > Agents] ページに移動します。 Google Cloud

  2. 左側のナビゲーション メニューで、[評価] を選択します。

    [評価] に移動

  3. [オンライン モニタリング] タブを選択します。モニタリングの [**その他のオプション**] をクリックし、[**アラート ポリシーを作成**] を選択します。

  4. そのモニタリングで使用できるアラート ポリシー テンプレート を確認します。

  5. 有効にするテンプレートを選択します。モニタリングで構成された指標ごとに 1 つのテンプレートが用意されています。

  6. 通知を構成する: 通知チャネル を選択します。[**通知チャネルを使用する**] チェックボックスをオフにすると、システムはチェックを実行しますが、ユーザーにプロアクティブに通知しません。トリガーされたインシデントは、[Monitoring] > [アラート] ページで確認できます。

  7. [作成] をクリックします。

評価ダッシュボードには、すべてのアクティブなモニタリングに対して広範な品質ガードレールを有効にするためのショートカットが用意されています。

  1. コンソールで、[Agent Platform > Agents] ページに移動します。 Google Cloud

  2. 左側のナビゲーション メニューで [デプロイメント] を選択し、エージェントを選択します。

    [デプロイメント] に移動

  3. [ダッシュボード] タブを選択し、[評価] サブセクションを選択します。

  4. 右上にある [推奨アラート] ボタンをクリックします。

  5. 次のような利用可能なテンプレートを確認します。

    • オンライン モニタリング - 評価スコアが低い: モニタリングの集計スコアが低すぎるとトリガーされます。
    • 個々の指標アラート: タスクの成功 やツールの使用品質 などの指標の特定のしきい値。

  6. テンプレートと通知チャネルを選択し、[作成] をクリックします。

プログラムによるアラートの作成

大規模なデプロイの場合は、gcloud CLI または Cloud Monitoring API を使用して品質アラートを構成できます。

gcloud の使用

JSON または YAML 構成ファイルからアラート ポリシーを作成します。

gcloud monitoring policies create --policy-from-file="policy.yaml"

次の例は、30 分間のウィンドウで平均タスクの成功 スコアが 80% を下回った場合にトリガーされる policy.yaml です。

displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
  conditionThreshold:
    filter: >
      metric.type="aiplatform.googleapis.com/online_evaluator/scores"
      AND metric.labels.evaluation_metric_name="task_success"
    comparison: COMPARISON_LT
    thresholdValue: 0.8
    duration: 1800s
    aggregations:
    - alignmentPeriod: 60s
      perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"

Agent Platform SDK の使用

from google.cloud import monitoring_v3

client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"

policy = {
    "display_name": "Agent Quality Drift",
    "conditions": [{
        "display_name": "Low Evaluation Score",
        "condition_threshold": {
            "filter": (
                'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
            ),
            "comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
            "threshold_value": 0.7,
            "duration": {"seconds": 3600},
            "aggregations": [{
                "alignment_period": {"seconds": 60},
                "per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
            }],
        },
    }],
    "combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
    "enabled": True,
}

response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")

アラート ポリシーを管理する

Cloud Monitoring コンソールを使用して、アラート ポリシーの場所を確認し、構成を調整します。各インシデントには、関連するオンライン モニタリングのラベルが含まれており、根本原因の調査に役立ちます。

アラートに移動