データガバナンス戦略を計画する際に、Knowledge Catalog でデータ リネージがどのように機能するかを理解しておくと、より適切なアーキテクチャ上の意思決定を行うことができます。次の点に注意してください。
- プロジェクト レベルの有効化: Data Lineage API を有効にすると、デフォルトでプロジェクト全体でデータリネージの追跡が有効になり、プロダクト レベルの制御に応じて複数のシステムの情報が自動的にレポートされます。特定のサービスに対して系統の取り込みを階層的に制御することもできます。
- 規制遵守: データの移動を明確に把握し、記録されるメタデータとそのセキュリティ保護方法を正確に把握できます。
- 費用管理: プロジェクト全体でリネージ トラッキングの課金への影響を事前に確認して管理できます。
プロダクト レベルのリネージ制御
Data Lineage API が有効になっている場合、サポートされているシステムはプロダクト レベルの制御に従ってリネージをレポートします。
| システム | 利用可能なリネージ制御 |
|---|---|
| BigQuery、 Cloud Data Fusion |
プロジェクトで Data Lineage API が有効になっている場合、リネージ トラッキングを Cloud Data Fusion または BigQuery のみに制限することはできません。BigQuery のデータリネージの取り込みを構成 して、データリネージの自動取り込みを有効または無効にできます。 |
| Managed Service for Apache Airflow | Managed Airflow は、環境レベルのデータリネージ統合制御を使用します。データリネージは、要件を満たしている限り、すべての新しい Managed Airflow 環境に対して自動的に有効になります。詳細については、 Managed Airflow を使用したデータリネージをご覧ください。既存の環境では、環境設定を使用してデータリネージ統合を有効または無効にします。Managed Airflow のデータリネージの取り込みを構成して、データリネージの自動取り込みを有効または無効にできます。 |
| Dataflow | Dataflow ジョブでリネージ イベントをキャプチャして、Data Lineage API に公開できます。詳細については、Dataflow でデータリネージを使用するをご覧ください。 |
| Managed Service for Apache Spark | Managed Service for Apache Spark ジョブでリネージ イベントをキャプチャし、Data Lineage API にパブリッシュできます。詳細については、Spark データリネージの使用をご覧ください。Managed Service for Apache Spark のデータリネージの取り込みを構成して、データリネージの自動取り込みを有効または無効にできます。 |
| Looker（Google Cloud コア）（プレビュー） | データリネージを使用した BigQuery ソースからの Looker（Google Cloud コア）メタデータの可視化がサポートされています。データ リネージは、Looker（Google Cloud コア）リソースレベルとデータ リネージ サービスレベルで有効にする必要があります。詳細については、Knowledge Catalog でデータリネージを追跡するをご覧ください。 |
| Vertex AI | データリネージは、Vertex AI パイプラインに対して自動的に有効になり、入力アーティファクトと実行パラメータ（モデル、データセット、コンポーネントなど）と、ダウンストリームの派生アセットを追跡します。詳細については、パイプライン アーティファクトのリネージを追跡するをご覧ください。 |
請求への影響
プロジェクトで Data Lineage API を有効にする場合、プロジェクトごとに Data Lineage API が有効になっているため、請求料金への影響を確認してください（詳細については、前のセクションを参照してください）。データリネージの料金の詳細については、Knowledge Catalog の料金をご覧ください。
BigQuery Omni の場合、リネージ処理は特定のリージョンに分散され、費用は処理が行われるリージョンによって異なります。
データリネージのコンプライアンス
- データリネージはデータ移動に関するメタデータを記録しますが、データ自体はキャプチャしません。メタデータに含まれるフィールドの詳細については、データリネージ情報モデルと Data Lineage API リファレンスをご覧ください。
- Knowledge Catalog の一部としてのデータリネージは、VPC-SC をサポートしています。
- Knowledge Catalog には顧客管理の暗号鍵を使用して、収集されたリネージ メタデータを保護する機能はありません。
データリネージの制限事項
リネージグラフでノードを選択すると、次の場合にノード詳細サイドパネルが空になります。
- リソースが別の組織に配置されている。
- ユーザーがリソースをホストしている組織のメンバーではない。