BigQuery テーブルのデータリネージを追跡する

このドキュメントでは、BigQuery テーブルのデータリネージを追跡する方法について説明します。データリネージとは、データの取り込み元、変換方法、時間の経過に伴う移動先を追跡するプロセスです。データリネージを理解することは、コンプライアンスの確保、データに関する問題のトラブルシューティング、根本原因の分析を行ううえで非常に重要です。

このクイックスタートでは、BigQuery テーブルのデータリネージを開始する方法について説明します。

  1. 一般公開されている new_york_taxi_trips データセットから 2 つのテーブルをコピーします。

  2. 両テーブルのタクシー乗車数を集計して新しいテーブルにします。

  3. 3 つすべての操作のリネージ可視化グラフを表示します。

始める前に

プロジェクトを設定します。

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataplex, BigQuery, and Data Lineage APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

必要なロール

リネージの可視化グラフを確認するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

一般公開データセットをプロジェクトに追加する

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。

    BigQuery に移動

  2. 左側のペインで、 エクスプローラをクリックします。

    ハイライト表示された [エクスプローラ] ペインのボタン。

    左側のペインが表示されていない場合は、 左ペインを開くをクリックしてペインを開きます。

  3. [エクスプローラ] ペインで [データを追加] をクリックします。

  4. [データを追加] ペインで [一般公開データセット] を選択します。

  5. [Marketplace] ペインで「NYC TLC Trips」を検索し、[NYC TLC Trips] の結果をクリックします。

  6. [データセットを表示] をクリックします。

これにより、一般公開データセットのプロジェクトがリファレンスとして追加され、[エクスプローラ] ペインで確認できるようになります。詳細ペインには [データセット情報] が表示され、[データセット ID]、[データのロケーション]、[最終更新] 日時などの情報が示されます。

プロジェクトにデータセットを作成する

  1. 左側のペインで、 エクスプローラをクリックします。

    ハイライト表示されたエクスプローラ ペインのボタン。

  2. [エクスプローラ] ペインで、データセットを作成するプロジェクトを選択します。

  3. アクションを表示、[データセットを作成] の順にクリックします。

  4. [データセットの作成] ページの [データセット ID] フィールドに「data_lineage_demo」と入力します。他のフィールドはデフォルト値のままにします。

  5. [データセットを作成] をクリックします。

  6. [エクスプローラ] ペインで [データセット] をクリックし、新しく追加された data_lineage_demo をクリックします。

詳細ペインに [データセット情報] が表示されます。

一般公開されている 2 つのテーブルをデータセットにコピーする

  1. クエリエディタを開きます。詳細ペインで、data_lineage_demo という名前のタブの横にある [SQL クエリ] をクリックします。このステップでは、Untitled というタブが作成されます。

  2. クエリエディタで、次のクエリを入力して 1 番目のテーブルをコピーします。PROJECT_ID はプロジェクトの ID に置き換えます。

    CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`

  3. [ 実行] をクリックします。このステップでは、nyc_green_trips_2021 という 1 番目のテーブルを作成します。

  4. [クエリ結果] ペインで、[テーブルに移動] をクリックします。このステップでは、1 番目のテーブルの内容が表示されます。

  5. クエリエディタで、前のクエリを次のクエリに置き換えて、2 番目のテーブルをコピーします。PROJECT_ID はプロジェクトの ID に置き換えます。

    CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`

  6. [ 実行] をクリックします。このステップでは、nyc_green_trips_2022 という 2 番目のテーブルを作成します。

  7. [クエリ結果] ペインで、[テーブルに移動] をクリックします。このステップでは、2 番目のテーブルの内容が表示されます。

データを集計して新しいテーブルにする

  1. クエリエディタで、次のクエリを入力します。PROJECT_ID はプロジェクトの ID に置き換えます。

    CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
AS SELECT vendor_id, COUNT(*) AS number_of_trips
FROM (
     SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
     UNION ALL
     SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
)
GROUP BY vendor_id

  2. [ 実行] をクリックします。このステップでは、total_green_trips_22_21 という名前の結合されたテーブルを作成します。

  3. [クエリ結果] ペインで、[テーブルに移動] をクリックします。このステップでは、結合されたテーブルが表示されます。

Knowledge Catalog でリネージグラフを表示する

  1. Google Cloud コンソールで、Knowledge Catalog の [検索] ページに移動します。

    [検索] に移動

  2. 検索プラットフォームが [Data Catalog] に設定されている場合は、[検索プラットフォームの選択] メニューで [Knowledge Catalog] を選択します。

  3. [検索] ボックスに「total_green_trips_22_21」と入力し、[検索] をクリックします。

  4. 結果リストで [total_green_trips_22_21] をクリックします。このステップでは、BigQuery テーブルの [詳細] タブが表示されます。

  5. [リネージ] タブをクリックします。

詳細パネルが下部にドッキングされている total_green_trips_22_21 テーブル。
図 1. ノード詳細を含むデータリネージ

リネージグラフで、長方形の各ノードはテーブル（元のテーブル、コピーされたテーブル、結合されたテーブルのいずれか）を表します。以下の操作を行うことができます。

  • テーブルの元データを表示または非表示にするには、[+]（開く）または [-]（閉じる）をクリックします。

  • テーブル情報を表示するには、ノードをクリックします。このステップでは、ノードの [詳細] ペインが表示されます。

  • プロセス情報を表示するには、リネージ プロセスの詳細を表示 をクリックします。このステップでは、ソーステーブルをターゲット テーブルに変換したジョブを示すプロセスの [詳細] ペインが表示されます。

詳細パネルが下部にドッキングされている中間 nyc_green_trips_2021 テーブル。
図 2. プロセスの詳細を含むデータリネージ

クリーンアップ

このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

プロジェクトを削除する

  1. Google Cloud コンソールで [リソースの管理] ページに移動します。

    [リソースの管理] に移動

  2. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
  3. ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

データセットを削除する

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。

    BigQuery に移動

  2. 左側のペインで、 エクスプローラをクリックします。

    ハイライト表示されたエクスプローラ ペインのボタン。

  3. [エクスプローラ] ペインで、作成した data_lineage_demo データセットを検索します。

  4. データセットをクリックし、[削除] をクリックします。

  5. 削除が実行されたことを確認します。

次のステップ