Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

Knowledge Catalog でデータリネージを追跡する

このページでは、Knowledge Catalog を使用して Looker（Google Cloud コア）インスタンスのデータリネージを追跡する方法について説明します。

データリネージとは、データがシステム内をどのように移動するかを追跡するプロセスです。Looker（Google Cloud コア）を Knowledge Catalog と統合すると、BigQuery のソースから Looker セマンティックレイヤ（LookML ビューと Explore）を介して、Looker ダッシュボード、Look、LookML ダッシュボード、会話型分析エージェントでのダウンストリーム消費に至るまで、データのエンドツーエンドのジャーニーを可視化できます。

この可視性により、データガバナンス、影響分析、監査ワークフローの双方向のリネージトラッキングが可能になります。

ダウンストリームの影響分析: スキーマやモデルを変更する前に、影響を受けるダッシュボード、Explore、ダウンストリームコンシューマーを予測します。たとえば、BigQuery テーブルの列を削除する前に、リネージグラフをチェックして、どの Looker ダッシュボードが破損する可能性があるかを確認できます。
アップストリームデータ監査: エグゼクティブダッシュボードと Look に表示される指標の出所、変換、管理チェーンを追跡します。

始める前に

Looker（Google Cloud コア）でデータリネージを使用するには、次の前提条件を満たす必要があります。

Looker（Google Cloud コア）: データリネージは、Looker（Google Cloud コア）インスタンスのすべてのエディションタイプでサポートされています。Looker（オリジナル）インスタンスは Knowledge Catalog と統合されません。
データソース: データリネージは、BigQuery データソースでのみサポートされています。
必要な権限: リネージグラフを表示するには、次の IAM ロールが必要です。
- Looker（Google Cloud コア）インスタンスをホストしているプロジェクトに対する Looker スキーマ閲覧者（roles/looker.schemaViewer）。このロールは、リネージグラフのサイドパネルに表示される Looker（Google Cloud コア）固有のメタデータを表示するために必要です。
  注:
  Looker スキーマ閲覧者のロールを追加するには、Google Cloud CLI を使用する必要があります。
  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID --member=PRINCIPAL_TYPE:PRINCIPAL_ID --role=roles/looker.schemaViewer
  詳細については、add-iam-policy-binding のドキュメントをご覧ください。
- Dataplex Catalog 閲覧者（roles/dataplex.catalogViewer）または Knowledge Catalog アセットを表示するための同等の権限
- リネージデータを読み取るためのデータリネージ閲覧者（roles/datalineage.viewer）

データリネージを有効にする

データリネージを有効にするには、 Google Cloud コンソールで次の操作を行います。

Data Lineage API を有効にする: Looker（Google Cloud コア）インスタンスと BigQuery データをホストする Google Cloud プロジェクトで Data Lineage API（datalineage.googleapis.com）を有効にする必要があります。
データリネージ API を有効にする
サービスレベルのリネージ取り込みが有効になっていることを確認する: Looker（Google Cloud コア）のサービスレベルのリネージ統合が有効になっていることを確認します。リネージの取り込みは、Data Lineage API が有効になっているプロジェクトの Looker（Google Cloud コア）インスタンスでデフォルトで有効になっています。

Google Cloud プロジェクトのリネージ構成を表示するには、現在の構成を取得するのドキュメントをご覧ください。Looker（Google Cloud コア）との統合が無効になっている場合、コマンドは次のような出力を返します。

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

レスポンスのプロジェクト ID には、リクエストの ID が反映されます。etag フィールドは、サーバーによって生成されるチェックサムで、構成の現在の値に基づいています。

データリネージを表示する

統合が有効になり、最初の同期が完了すると（最大 24 時間かかる場合があります）、Knowledge Catalog コンソールでリネージを表示できます。

Google Cloud コンソールで、[Knowledge Catalog] ページに移動します。
Knowledge Catalog に移動
左側のナビゲーションパネルで [検索] をクリックします。
BigQuery テーブルまたは Looker（Google Cloud コア）アセット（ダッシュボードや Explore など）を検索します。
- [フィルタ] パネルを使用して、[システム] > [Looker] でフィルタできます。
アセットの名前をクリックして、詳細ページを開きます。
[リネージ] タブをクリックします。

リネージグラフでは、アセットが中央のノードとして表示され、左側にアップストリームソース、右側にダウンストリームコンシューマが表示されます。この双方向レイアウトにより、右側で下流への影響を評価したり、左側で上流の来歴やソーステーブルをトレースしたりできます。

リネージグラフを解釈する

リネージグラフは、ノードとリンクで構成されています。

ノード: データアセットを表します。サポートされている Looker（Google Cloud コア）アセットは次のとおりです。
- Looker ダッシュボード
- Looker ダッシュボードの要素（タイル）
- Looker Look
- LookML ダッシュボード
- Looker エージェント（会話型分析エージェント）
- LookML Explore
- LookML ビュー
リンク: データのフローを表します。たとえば、BigQuery テーブルから LookML ビューへのリンクは、ビューがそのテーブルからデータを選択することを示します。

アセットの所有者を特定する

変更の影響を受ける可能性のあるダウンストリームアセットの所有者を確認する手順は次のとおりです。

リネージグラフで、アセット（Looker ダッシュボードなど）のノードをクリックします。
画面の右側に情報パネルが開きます。
[Aspects] セクションで [Owner]（メールアドレス）を確認します。

リネージリストをフィルタする

リネージのリスト表示では、プロパティ名または値でエンティティをフィルタできます。たとえば、複雑な LookML モデルでは、多くの中間エンティティを含む大規模なリネージグラフが生成されることがあります。ビジネスへの影響に焦点を当てるには、次の手順でエンティティタイプでフィルタします。

[リネージ] タブで、[リスト] ビューに切り替えます。
ツールバーで [フィルタ] オプションを見つけます。
[エンティティ] フィルタに「Looker ダッシュボード」、「LookML ダッシュボード」、「Looker Look」と入力して、LookML ビューや LookML Explore などの中間タイプを除外します。

エンティティリストが更新され、選択したアセットタイプのみが表示されるため、ユーザー向けコンテンツを簡単に識別できます。

制限事項

Looker（Google Cloud コア）リネージ統合には次の制限があります。

インスタンスタイプ: リネージは、Looker（Google Cloud コア）インスタンスでのみサポートされています。Looker（オリジナル）インスタンスはリネージをサポートしていません。
データソース: リネージは BigQuery データソースでのみサポートされています。
粒度: リネージはオブジェクトレベル（テーブル、ビュー、Explore、Looker ダッシュボード、LookML ダッシュボード、会話型分析エージェント）で提供されます。列レベルのリネージはサポートされていません。
レイテンシ: リネージデータはリアルタイムではありません。同期プロセスには通常 4 時間かかります。ただし、Looker メタデータのエクスポートとリネージデータの消費のタイミングによっては、同期に最大 8 時間かかることがあります。Looker または BigQuery で行った変更がリネージグラフに表示されるまでに時間がかかることがあります。統合を有効にした後の最初の同期には、最長で 24 時間かかることがあります。
複雑な SQL: 複雑なカスタム SQL（Liquid テンプレート、複雑な結合を含む派生テーブルなど）で定義された LookML は完全に解析されない可能性があり、ノードが切断される可能性があります。

料金

Looker（Google Cloud コア）のデータリネージが一般提供されました。料金は、サービスに関する重要なお知らせ（MSA）を通じて事前通知された日付から適用されます。

詳細については、Knowledge Catalog の料金ページをご覧ください。