データ リネージを使用して費用を最適化する

Knowledge Catalog のデータリネージを使用すると、BigQuery プロジェクトのテーブルとビューの下流依存関係を追跡できます。その後、ダウンストリーム ジョブやワークフローのソースとしてアクティブに使用されていないアセットを特定し、削除候補としてフラグを立てて、ストレージ費用を削減できます。

このチュートリアルでは、Quarterly Census of Employment and Wages（QCEW）から派生したデータセットを含む BigQuery プロジェクトを管理します。このプロジェクトには、雇用動向の追跡や賃金の比較など、ダッシュボードと分析用の多数のテーブルとビューが含まれているため、ストレージ費用が増加します。各アセットのダウンストリーム リンクを確認することで、未使用のリソースを体系的に削除対象としてフラグを立てることができます。

リネージ エクスプローラを設定する

ユースケースを完了するには、まず環境を設定し、リモート リポジトリを Dataform に接続してデータ変換を実行します。このリポジトリには、データセットの設定とデータの変換に必要なコードが含まれています。詳細については、前提条件と設定をご覧ください。

環境の設定が完了したら、BigQuery とリネージ エクスプローラを使用して、ダウンストリームの依存関係のないアセットを視覚的に特定します。

未使用のアセットを特定して費用を最適化する

データセットを準備したら、ダウンストリーム依存関係のないアセットを特定します。個々のテーブルに対しては視覚的に行うことができますが、大規模なデータセットに対してはプログラムによるアプローチを使用することもできます。

この例では、アクティブなアセットとスタンドアロン アセットを比較して、安全に削除できるアセットを特定します。

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。
  2. 検索フィールドを使用して、スタンドアロン テーブル（特定の年の古い分析テーブルなど）を検索します。
  3. [リネージ] タブをクリックします。
  4. [リネージ エクスプローラ] ペインで、次の操作を行います。
    1. [方向] セクションで、[ダウンストリーム] の方向を選択します。
    2. [適用] をクリックします。

グラフを確認します。ダウンストリーム ノードがない場合、アセットは、追跡対象の他の BigQuery ジョブのソースとして使用されていません。データリネージ グラフでデータを可視化する方法については、リネージグラフ ビューをご覧ください。