データ変更がワークフローに与える影響を分析する

このシナリオでは、医療機関が提供するさまざまなサービスの利用状況に関するレコードを保存するデータベースを維持します。データを使いやすくするために、テーブルを閲覧して変更の可能性を特定します。変更を実装する前に、改善によって既存のワークフローに影響があるかどうか、追加の調整が必要かどうかを特定します。

このチュートリアルでは、データリネージを使用して、データ変換がダウンストリーム リソースと、そのリソースが属するワークフローにどのように影響するかを特定します。

使ってみる

ユースケースを完了するには、まず環境を設定してデータ変換を実行します。[前提条件と設定] ページを使用して、リモート リポジトリを Dataform に接続します。このリポジトリには、データセットを設定してデータを変換するために必要なコードが含まれています。

環境設定が完了したら、BigQuery と Lineage Explorer を使用して、データ変換とワークフローへの影響を追跡します。

リネージ エクスプローラでデータ変換を分析する

データセットを準備したら、BigQuery の [リネージ] タブを使用して、データ変換の影響を分析します。

リネージ グラフで列データの完全性を検証する

この例では、医師またはサプライヤーが Medicare のサービスを提供することに同意しているかどうかを示す medicare_participation_indicator 列を確認します。リネージグラフは、派生テーブル間のデータ変換によって列のデータ型がどのように変更されるかを示しています。

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。
  2. 検索フィールドを使用して physicians_and_other_supplier_2012_original テーブルを見つけます。
  3. [リネージ] タブをクリックします。
  4. [リネージ エクスプローラ] ペインで、次の操作を行います。
    1. [列レベルのリネージ] セクションで、リストから medicare_participation_indicator 列名を選択します。
    2. [方向] セクションで、[下り] 方向を選択します。
    3. [適用] をクリックします。
  5. vertex_ai_model_final_features に到達するまで、リネージ パスを展開します。

  6. supplier_stg3 テーブルと supplier_transform1 テーブルの間のパスの変更を分析します。

    medicare_participation_indicator 列のリネージトラッキング。
    medicare_participation_indicator 列のリネージ トラッキングの可視化
    • 完全なコピーのパスマーキングは、列が変更されずに通過していることを示します。
    • その他のパスマーキングは変換を示します。このパスでは、データ型 String は Boolean として扱われます。

パスは、列のデータ型が変更されることを示しています。この場合、これらのテーブルを使用するワークフローの調整が必要になることがあります。

冗長なダウンストリーム列を特定する

この例では、National Plan and Provider Enumeration System（NPPES）で医療従事者が保持している National Provider Identifier を一覧表示する nppes_credentials 列を調べます。

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。
  2. 検索フィールドを使用して physicians_and_other_supplier_2012_original テーブルを見つけます。
  3. [リネージ] タブをクリックします。
  4. [リネージ エクスプローラ] ペインで、次の操作を行います。
    1. [列レベルのリネージ] セクションで、リストから nppes_credentials 列名を選択します。
    2. [方向] セクションで、[下り] 方向を選択します。
    3. [適用] をクリックします。
  5. パスを開き、vertex_ai_model_final_features につながるダウンストリーム リネージが存在するかどうかを確認します。

リネージがない場合、この列はこの特定のワークフローに関連していない可能性があり、削除することもできます。

データリネージ グラフを使用したデータの可視化の詳細については、リネージグラフ ビューをご覧ください。