Gemini Enterprise Agent Platform Experiments は、さまざまなモデル アーキテクチャ、ハイパーパラメータ、トレーニング環境を追跡および分析し、テストの実行の手順、入力、出力を追跡する際に役立つツールです。Gemini Enterprise Agent Platform 試験運用機能では、テスト データセットに対して、トレーニング実行中に、モデルの集計のパフォーマンスを評価することもできます。この情報を使用して、特定のユースケースに最適なモデルを選択できます。
テストの実行に追加料金はかかりません。Gemini Enterprise Agent Platform の料金で説明されているように、テスト中に使用するリソースに対してのみ課金されます。
| 実行する処理 | ノートブックのサンプルを確認する |
|---|---|
| 指標とパラメータを追跡する | モデルを比較する |
| テストのリネージを追跡する | モデルのトレーニング |
| パイプライン実行の追跡 | パイプライン実行を比較する |
手順、入力、出力を追跡する
Agent Platform Experiments を使用すると、次のものを追跡できます。
- テスト実行の手順。たとえば、前処理、トレーニング。
- 入力。たとえば、アルゴリズム、パラメータ、データセット。
- それらの手順の出力。たとえば、モデル、チェックポイント、指標。
その後、何がうまくいって、何がうまくいかなかったかを確認し、テストのための追加の手段を特定できます。
ユーザー ジャーニーの例については、以下をご覧ください。
モデルのパフォーマンスを分析する
Agent Platform Experiments を使用すると、テスト データセットに対して、トレーニング実行中に、モデルの集約のパフォーマンスを追跡および評価できます。この機能によって、モデルのパフォーマンス特性（特定のモデルが全体的にどの程度機能しているか、どこがうまく機能しないか、モデルのどこが優れているか）を把握できます。
ユーザー ジャーニーの例については、以下をご覧ください。
モデルのパフォーマンスを比較する
Agent Platform Experiments を使用すると、テスト実行全体で複数のモデルをグループ化して比較できます。各モデルには、独自に指定したパラメータ、モデリング手法、アーキテクチャ、入力があります。このアプローチは、最適なモデルを選択するうえで役立ちます。
ユーザー ジャーニーの例については、以下をご覧ください。
テストを検索する
Google Cloud コンソールには、テストの一元化ビュー、テスト実行のセクション横断的なビュー、各実行の詳細が表示されます。Agent Platform SDK for Python には、テスト、テスト実行、テスト実行パラメータ、指標、アーティファクトを使用するための API が用意されています。
Agent Platform Experiments は、Gemini Enterprise Agent Platform ML Metadata とともに、テストで追跡されるアーティファクトを見つける手段を提供します。これにより、アーティファクトのリネージと、実行の手順で使用および生成されたアーティファクトをすばやく表示できます。
サポート範囲
Gemini Enterprise Agent Platform Experiments では、Gemini Enterprise Agent Platform カスタム トレーニング、Gemini Enterprise Agent Platform Workbench ノートブック、Notebooks、およびほとんどの ML フレームワークにわたるすべての Python ML フレームワークを使用したモデルの開発がサポートされています。TensorFlow などの一部の ML フレームワークの場合、Gemini Enterprise Agent Platform Experiments はフレームワークと緊密に統合し、ユーザー エクスペリエンスを魔法のように自動的なものにします。他の ML フレームワークの場合、Gemini Enterprise Agent Platform Experiments はフレームワークに依存しない Agent Platform SDK for Python を提供しており、ユーザーはそれを使用できます。（TensorFlow、scikit-learn、PyTorch、XGBoost のビルド済みコンテナを参照。）
データモデルとコンセプト
Gemini Enterprise Agent Platform Experiments は、Agent Platform ML Metadata のコンテキストであり、テストには n 個のパイプライン実行に加えて、n 個のテスト実行が含まれます。テスト実行は、パラメータ、サマリー指標、時系列指標、PipelineJob、Artifact、Execution Gemini Enterprise Agent Platform リソースからなります。オープンソースの TensorBoard のマネージド バージョンである Vertex AI TensorBoard は、時系列指標の保存に使用されます。パイプライン実行の実行とアーティファクトは Google Cloud コンソールで表示できます。
Agent Platform Experiments の利用規約
テスト、テスト実行、パイプライン実行
テスト
- テストは、ユーザーが入力アーティファクトやハイパーパラメータなどのさまざまな構成をグループとして調査できるパイプライン実行に加えて、一連の n 個のテスト実行を含むことができるコンテキストです。
テスト実行
- Vertex AI Experiments 内の特定の追跡可能な実行。入力（アルゴリズム、パラメータ、データセットなど）と出力（モデル、チェックポイント、指標など）をロギングし、ML 開発のイテレーションをモニタリングして比較します。詳細については、テスト実行を作成して管理するをご覧ください。
パイプライン実行
- 1 つのテストに 1 つ以上の Vertex PipelineJob を関連付けることができ、各 PipelineJob は単一の実行として表されます。このコンテキストで、実行のパラメータは PipelineJob のパラメータによって推定されます。指標は、その PipelineJob によって生成された system.Metric アーティファクトから推定されます。実行のアーティファクトは、その PipelineJob によって生成されたアーティファクトから推定されます。
ExperimentRun リソースに 1 つ以上の Gemini Enterprise Agent Platform PipelineJob リソースを関連付けることができます。このコンテキストで、パラメータ、指標、アーティファクトは推定されません。
パイプラインをテストに関連付けるをご覧ください。
パラメータと指標
ログパラメータをご覧ください。
サマリー指標
- サマリー指標はテスト実行の各指標キーの単一の値です。たとえば、テストのテスト精度は、トレーニング終了時にテスト データセットに対して計算された精度であり、単一の値のサマリー指標としてキャプチャできます。
ログのサマリー指標をご覧ください。
時系列指標
- 時系列指標は長期的な指標値であり、各値は実行のトレーニング ルーチンの部分の手順を表します。時系列指標は Vertex AI TensorBoard に保存されます。Vertex AI Experiments には、Vertex TensorBoard リソースへの参照が保存されます。
時系列指標をログに記録するをご覧ください。
リソースタイプ
パイプライン ジョブ
- パイプライン ジョブやパイプライン実行は、Vertex AI API の PipelineJob リソースに対応しています。これは、ML パイプライン定義の実行インスタンスです。ML パイプライン定義は、入出力の依存関係で相互接続された一連の ML タスクとして定義されます。
アーティファクト
- アーティファクトは、ML ワークフローによって生成、使用される個別のエンティティまたはデータです。アーティファクトの例としては、データセット、モデル、入力ファイル、トレーニング ログなどがあります。
Agent Platform Experiments では、スキーマを使用してアーティファクトのタイプを定義できます。たとえば、サポートされているスキーマタイプには system.Dataset、system.Model、system.Artifact があります。詳細については、システム スキーマをご覧ください。