Agent Platform Pipelines を使用して作成された各パイプライン実行には、モデル、データセット、パイプライン テンプレート、コンポーネントなど、いくつかの関連するアーティファクトとパラメータがあります。パイプライン アーティファクトのリネージには、そのアーティファクトの作成につながった要素だけでなく、そのアーティファクトから派生したアーティファクトやメタデータも含まれます。たとえば、モデルのリネージには次のものが含まれます。
モデルの作成に使用されたトレーニング、テスト、評価データ
モデルのトレーニング中に使用されたハイパーパラメータ
トレーニングと評価プロセスで記録されたメタデータ（モデルの精度など）
このモデルから派生したアーティファクト（バッチ予測の結果など）
このメタデータを使用すると、次のようなことを分析できます。
なぜ特定のパイプライン実行が特に正確なモデルを生成したのか。
どのパイプライン実行が最も正確なモデルを生成し、どのハイパーパラメータを使用してモデルをトレーニングしたか。
パイプラインのステップによっては、システム ガバナンスの状況を分析できる場合があります。たとえば、メタデータを使用して、特定の時点で本番環境にあったモデルのバージョンを特定できます。
パイプライン アーティファクトのリネージを表示して分析するには、Vertex ML Metadata または Knowledge Catalog を使用します。
次の表に、Vertex ML Metadata と Knowledge Catalog の違いを示します。
| 機能 | Vertex ML Metadata | Knowledge Catalog |
|---|---|---|
| キャプチャされるパイプライン メタデータの種類 | パイプラインの実行によって生成されたすべての入力アーティファクトと出力アーティファクト。 | 通常は Google Cloud パイプライン コンポーネントを使用して、Knowledge Catalog でサポートされている完全修飾名（FQN）にマッピングできる入出力アーティファクト。 |
| 地域 | 単一リージョンの読み取り。 | 複数のリージョンにまたがるグローバルな読み取り |
| プロジェクト | 単一プロジェクトの読み取り。 | 複数のプロジェクトにわたる組織全体の読み取り。 |
| 統合サービス | Agent Platform Pipelines、Gemini Enterprise Agent Platform Experiments、Gemini Enterprise Agent Platform Model Registry、Datasets と統合されています。 | Gemini Enterprise Agent Platform、BigQuery、Managed Service for Apache Airflow、Managed Service for Apache Spark などの複数の Google Cloud プロダクトと統合されています。 |
| オプトインの必要性。 | 不要、常にオン。 | Data Lineage API を有効にして、プロジェクトごとにオプトイン。 |
Vertex ML Metadata アーティファクトを Knowledge Catalog にマッピングする
Vertex ML Metadata アーティファクトを Knowledge Catalog の FQN にマッピングするには、次の操作を行う必要があります。
Agent Platform モデルとマネージド データセットを作成するときに、 Google Cloud パイプライン コンポーネントを使用します。
次のサンプルに示すように、カスタム スキーマのタイトル（
google.VertexDatasetまたはgoogle.VertexModel）を使用し、metadataフィールドにモデルまたはマネージド データセットのリソース名を指定します。
{
"name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
"displayName": "My dataset",
"uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
...
"schemaTitle": "google.VertexDataset",
"schemaVersion": "0.0.1",
"metadata": {
"resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
}
}
Vertex ML Metadata を使用してパイプライン アーティファクトのリネージを分析する
Agent Platform Pipelines を使用してパイプラインを実行すると、Vertex ML Metadata により、パイプライン実行のアーティファクトとパラメータが保存されます。Vertex ML Metadata を使用すると、パイプライン メタデータの追跡が容易になるため、パイプラインのアーティファクトのリネージを簡単に分析できます。
Vertex ML Metadata を初めて使用する場合は、Vertex ML Metadata の概要をご覧ください。
Vertex ML Metadata を使用してパイプライン アーティファクトのリネージグラフを表示する手順は次のとおりです。
Google Cloud コンソールの [Gemini Enterprise Agent Platform] セクションで、[メタデータ] ページに移動します。
[メタデータ] ページには、デフォルトのメタデータ ストアで作成されたアーティファクトが一覧表示されます。
[リージョン] プルダウン リストで、実行が作成されたリージョンを選択します。
[表示名] に表示されたアーティファクトをクリックして、そのリネージグラフを表示します。
このリネージグラフに含まれるアーティファクトと実行を示す静的グラフが表示されます。
アーティファクトまたは実行をクリックして、詳細を確認します。
Knowledge Catalog を使用してパイプライン アーティファクトのリネージを分析する
Knowledge Catalog は、Google Cloud リソースからメタデータを検出します。これには、Vertex AI モデルなどの Agent Platform Pipelines アーティファクトや、マネージド データセット、Knowledge Catalog で検出可能なその他のGoogle Cloud リソースが含まれます。これらのアーティファクトは、Knowledge Catalog のメタデータ検索機能を使用して検出し、リネージグラフを表示できます。
Knowledge Catalog のメタデータ検索機能の詳細については、Knowledge Catalog でリソースを検索するをご覧ください。
Agent Platform Pipelines がサポートされているすべてのリージョンで Knowledge Catalog を利用できるわけではありません。リージョンで Knowledge Catalog がサポートされていない場合は、Vertex ML Metadata を使用します。Knowledge Catalog でサポートされているリージョンの一覧をご覧ください。
Knowledge Catalog でパイプライン アーティファクトのリネージグラフを表示する手順は次のとおりです。
Google Cloud コンソールで Knowledge Catalog 検索クエリを起動するには、Knowledge Catalog の [検索] ページに移動します。
検索プラットフォームが [Data Catalog] に設定されている場合は、[検索プラットフォームの選択] メニューで [Knowledge Catalog] を選択します。
フィルタを使用してアーティファクトを検索します。たとえば、データタイプ フィルタを使用して、モデル、データセット、BigQuery テーブルなどのアーティファクトのタイプを指定できます。詳細については、Knowledge Catalog でリソースを検索するをご覧ください。
検索フィールドでクエリを定義することもできます。
アーティファクトのリネージを表示するには、アーティファクトの名前をクリックし、[リネージ] タブをクリックします。
リネージグラフでは、Agent Platform プロセスの前に
が付いています。これには、パイプライン アーティファクト、パイプライン コンポーネント、パイプライン テンプレートが含まれます。プロセスの詳細を表示するには、リネージグラフでプロセスをクリックします。
パイプライン実行のパイプライン タスクに基づくプロセスの場合、次のことができます。
- [詳細タブ] で [Agent Platform で開く] をクリックして、Agent Platform でパイプライン実行を表示します。パイプライン実行のランタイムの詳細（状態、タイムスタンプ、属性など）を表示するには、[その他] をクリックします。Agent Platform でパイプライン実行を表示するには、[Agent Platform で開く] をクリックします。
パイプライン テンプレートに基づくプロセスの場合、次のことができます。
[詳細タブ] で [Agent Platform で開く] をクリックして、Agent Platform でテンプレートの詳細を表示します。
[実行] タブで、パイプライン実行で作成されたパイプライン タスクのリストを表示します。Agent Platform でパイプライン テンプレートの詳細を表示するには、[その他]、[Agent Platform で開く] の順にクリックします。
次のステップ
- パイプラインを実行する方法を学習する。
- パイプラインの結果の可視化と分析を行う。
- 機械学習パイプラインの構築方法を学習する。