Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

Knowledge Catalog でデータリネージを追跡する

このページでは、Knowledge Catalog を使用して Looker（Google Cloud コア）インスタンスのデータリネージを追跡する方法について説明します。

データリネージとは、データがシステム内をどのように移動するかを追跡するプロセスです。Looker（Google Cloud コア）を Knowledge Catalog と統合することで、BigQuery のソースから Looker セマンティックレイヤ（LookML ビューと Explore）を経て、ダッシュボード、Look、AI またはデータエージェントでのダウンストリーム消費に至るまで、データのエンドツーエンドのジャーニーを可視化できます。

この可視性により、データガバナンス、影響分析、監査ワークフローの双方向のリネージトラッキングが可能になります。

ダウンストリームの影響分析: スキーマやモデルを変更する前に、影響を受けるダッシュボード、Explore、ダウンストリームコンシューマーを予測します。たとえば、BigQuery テーブルの列を削除する前に、リネージグラフをチェックして、どの Looker ダッシュボードが破損する可能性があるかを確認できます。
アップストリームデータ監査: エグゼクティブダッシュボードと Look に表示される指標の出所、変換、管理チェーンを追跡します。

始める前に

Looker（Google Cloud コア）でデータリネージを使用するには、次の前提条件を満たす必要があります。

Looker（Google Cloud コア）: データリネージは、Looker（Google Cloud コア）インスタンスのすべてのエディションタイプでサポートされています。Looker（オリジナル）インスタンスは Knowledge Catalog と統合されません。
必要な権限: リネージグラフを表示するには、次の IAM ロールが必要です。
- Looker（Google Cloud コア）インスタンスをホストしているプロジェクトに対する Looker スキーマ閲覧者（roles/looker.schemaViewer）。このロールは、リネージグラフの表示時にサイドパネルに表示される Looker（Google Cloud コア）固有のメタデータを表示するために必要です。
  注:
  Looker スキーマ閲覧者のロールを追加するには、Google Cloud CLI を使用する必要があります。
  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID --member=PRINCIPAL_TYPE:PRINCIPAL_ID --role=roles/looker.schemaViewer
  詳細については、add-iam-policy-binding のドキュメントをご覧ください。
- Dataplex Catalog 閲覧者（roles/dataplex.catalogViewer）または Knowledge Catalog アセットを表示するための同等の権限
- リネージデータを読み取るためのデータリネージ閲覧者（roles/datalineage.viewer）

データリネージを有効にする

データリネージを有効にするには、次の各手順を完了します。

Looker（Google Cloud コア）の Knowledge Catalog 統合を有効にする: Looker（Google Cloud コア）インスタンスと Knowledge Catalog の統合は、 Google Cloud コンソールでデフォルトで有効になっています。統合が無効になっている場合は、再度有効にする必要があります。手順については、統合を有効にするをご覧ください。
Looker 内で Knowledge Catalog リネージのプレビュー機能を有効にする: Knowledge Catalog リネージのプレビュー機能は、Looker（Google Cloud コア）インスタンスの管理パネルのプレビュー機能ページでデフォルトで無効になっています。
Data Lineage API を有効にする: Looker（Google Cloud コア）インスタンスと BigQuery データをホストする Google Cloud プロジェクトで Data Lineage API（datalineage.googleapis.com）を有効にする必要があります。
データリネージ API を有効にする
サービスレベルのリネージ取り込みを有効にする: リネージと Looker（Google Cloud コア）のサービスレベルの統合が有効になっていることをEnsureします。サービスレベルのリネージは、次のデフォルトの状態に従います。
- 今後の料金への影響を防ぐため、この機能のプレビューリリース日に Data Lineage API が有効になっていて、少なくとも 1 つの Looker（Google Cloud コア）インスタンスをホストしていたプロジェクトでは、Looker（Google Cloud コア）サービスレベルのリネージ取り込みがデフォルトで無効になっています。
- サービスレベルのリネージ取り込みは、Data Lineage API が有効になっているプロジェクトで、この機能のプレビューリリース日以降に作成された Looker（Google Cloud コア）インスタンスに対してデフォルトで有効になっています。

Google Cloud プロジェクトのリネージ構成を表示するには、現在の構成を取得するのドキュメントをご覧ください。Looker（Google Cloud コア）との統合が無効になっている場合、コマンドは次のような出力を返します。

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

レスポンスのプロジェクト ID には、リクエストの ID が反映されます。etag フィールドは、サーバーによって生成されるチェックサムで、構成の現在の値に基づいています。

データリネージを表示する

統合が有効になり、最初の同期が完了すると（最大 24 時間かかる場合があります）、Knowledge Catalog コンソールでリネージを表示できます。

Google Cloud コンソールで、[Knowledge Catalog] ページに移動します。
Knowledge Catalog に移動
左側のナビゲーションパネルで [検索] をクリックします。
BigQuery テーブルまたは Looker（Google Cloud コア）アセット（ダッシュボードや Explore など）を検索します。
- [フィルタ] パネルを使用して、[システム] > [Looker] でフィルタできます。
アセットの名前をクリックして、詳細ページを開きます。
[リネージ] タブをクリックします。

リネージグラフでは、アセットが中央のノードとして表示され、左側にアップストリームソース、右側にダウンストリームコンシューマが表示されます。この双方向レイアウトにより、右側で下流への影響を評価したり、左側で上流の来歴やソーステーブルをトレースしたりできます。

リネージグラフを解釈する

リネージグラフは、ノードとリンクで構成されています。

ノード: データアセットを表します。サポートされている Looker（Google Cloud コア）アセットは次のとおりです。
- Looker ダッシュボード
- Looker ダッシュボードの要素（タイル）
- Looker Look
- LookML Explore
- LookML ビュー
リンク: データのフローを表します。たとえば、BigQuery テーブルから LookML ビューへのリンクは、ビューがそのテーブルからデータを選択することを示します。

アセットの所有者を特定する

変更の影響を受ける可能性のあるダウンストリームアセットの所有者を確認する手順は次のとおりです。

リネージグラフで、アセット（Looker ダッシュボードなど）のノードをクリックします。
画面の右側に情報パネルが開きます。
[Aspects] セクションで [Owner]（メールアドレス）を確認します。

リネージリストをフィルタする

リネージのリスト表示では、プロパティ名または値でエンティティをフィルタできます。たとえば、複雑な LookML モデルでは、多くの中間エンティティを含む大規模なリネージグラフが生成されることがあります。ビジネスへの影響に焦点を当てるには、次の手順でエンティティタイプでフィルタします。

[リネージ] タブで、[リスト] ビューに切り替えます。
ツールバーで [フィルタ] オプションを見つけます。
[エンティティ] フィルタに「Looker ダッシュボード」と「Looker Look」を入力して、LookML ビューや Looker Explore などの中間タイプを除外します。

エンティティリストが更新され、選択したアセットタイプのみが表示されるため、ユーザー向けコンテンツを簡単に識別できます。

制限事項

Looker（Google Cloud コア）のリネージ統合には、プレビューリリース中に次の制限があります。

データソース: プレビュー版では、リネージは BigQuery データソースでのみサポートされています。
粒度: リネージはオブジェクトレベル（テーブル、ビュー、Explore、ダッシュボード）で提供されます。列レベルのリネージはサポートされていません。
レイテンシ: リネージデータはリアルタイムではありません。同期プロセスには通常 4 時間かかります。ただし、Looker メタデータのエクスポートとリネージデータの消費のタイミングによっては、同期に最大 8 時間かかることがあります。Looker または BigQuery で行った変更がリネージグラフに表示されるまでに時間がかかることがあります。
複雑な SQL: 複雑なカスタム SQL（Liquid テンプレート、複雑な結合を含む派生テーブルなど）で定義された LookML は完全に解析されない可能性があり、ノードが切断される可能性があります。

料金

プレビューリリース期間中は、この統合で使用されるデータリネージ機能に料金はかかりません。

データリネージが一般提供になると、料金が発生します。今後の料金への影響を防ぐため、この機能のプレビューリリース日に Data Lineage API が有効になっていて、少なくとも 1 つの Looker（Google Cloud コア）インスタンスをホストしていたプロジェクトでは、Looker（Google Cloud コア）リネージの取り込みがデフォルトで無効になっています。

詳細については、Knowledge Catalog の料金ページをご覧ください。