分析資料變更對工作流程的影響

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 的資料歷程功能可讓您追蹤資料轉換對下游資源和依賴這些資源的工作流程有何影響。在修改資料表之前，追蹤資料欄層級依附元件有助於驗證資料完整性，並判斷現有管道是否需要調整。

在本教學課程中，您將維護一個資料庫，用於儲存醫療照護機構提供的各種服務使用記錄。為了讓資料更易於使用，您瀏覽資料表，找出可能需要變更的地方。在實作變更之前，您可以使用 BigQuery 歷程探索工具檢查資料欄、檢查資料類型變更，並確認是否有任何改善措施會影響現有工作流程，或需要額外調整。

開始使用

如要完成這個應用實例，請先設定環境並執行資料轉換。請按照「必要條件和設定」頁面的指示，將遠端存放區連結至 Dataform。這個存放區包含設定資料集和轉換資料所需的程式碼。

完成環境設定後，請使用 BigQuery 和歷程探索工具追蹤資料轉換作業，以及這些作業對工作流程的影響。

使用歷程探索工具分析資料轉換

準備好資料集後，請使用 BigQuery 的「Lineage」(歷程) 分頁，分析資料轉換的影響。

使用歷程圖驗證資料欄資料完整性

在這個範例中，請查看 medicare_participation_indicator 欄，其中會指出醫生或供應商是否同意提供 Medicare 服務。歷程圖會顯示衍生資料表之間的資料轉換，如何導致資料欄資料類型變更：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
2. 使用搜尋欄位找出 physicians_and_other_supplier_2012_original 資料表。
3. 點選「歷程」分頁標籤。
4. 在「Lineage Explorer」窗格中，執行下列操作：
   1. 在「資料欄層級歷程」部分，從清單中選取「medicare_participation_indicator」資料欄名稱。
   2. 在「Direction」(方向) 區段中，選取「Downstream」(下游) 方向。
   3. 按一下「套用」。
5. 展開歷程路徑，直到看見 vertex_ai_model_final_features。

6. 分析 supplier_stg3 資料表和 supplier_transform1 資料表之間的路徑變化：

   

   「medicare_participation_indicator」資料欄的歷程追蹤視覺化圖表

   • 精確複製路徑標記表示資料欄未經變更。
   • 其他路徑標記表示轉換。在這個路徑中，資料類型 String 會視為 Boolean。

路徑顯示資料欄資料類型有所變更，因此可能需要調整使用這些資料表的工作流程。

找出多餘的下游資料欄

這個範例會檢查 nppes_credentials 欄，其中列出從業人員在全國計畫和供應商列舉系統 (NPPES) 中持有的全國醫療供應商識別系統 (NPI)：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
2. 使用搜尋欄位找出 physicians_and_other_supplier_2012_original 資料表。
3. 點選「歷程」分頁標籤。
4. 在「Lineage Explorer」窗格中，執行下列操作：
   1. 在「資料欄層級歷程」部分，從清單中選取「nppes_credentials」資料欄名稱。
   2. 在「Direction」(方向) 區段中，選取「Downstream」(下游) 方向。
   3. 按一下「套用」。
5. 展開路徑，檢查是否有通往 vertex_ai_model_final_features 的下游歷程。

如果沒有歷程，表示這個資料欄可能與這個特定工作流程無關，甚至可以刪除。

如要進一步瞭解如何使用資料歷程圖表以視覺化方式呈現資料，請參閱「歷程圖表檢視畫面」。