分析資料變更對工作流程的影響

在這個情境中,您維護的資料庫會儲存醫療服務提供者提供的各種服務使用記錄。為方便使用資料,您可以瀏覽資料表,找出可能的變更。實作變更前,請先判斷任何改善措施是否會影響現有工作流程,以及是否需要進行額外調整。

在本教學課程中,您將使用資料歷程,瞭解資料轉換如何影響下游資源,以及資源所屬的工作流程。

開始使用

如要完成這個用途,請先設定環境並執行資料轉換。請參閱先決條件和設定頁面,瞭解如何將遠端存放區連結至 Dataform。這個存放區包含設定資料集和轉換資料所需的程式碼。

完成環境設定後,請使用 BigQuery 和 Lineage Explorer 追蹤資料轉換作業,以及這些作業對工作流程的影響。

使用歷程探索工具分析資料轉換

準備好資料集後,請使用 BigQuery 的「沿襲」分頁標籤,分析資料轉換的影響。

驗證資料完整性

在本例中,請檢查 medicare_participation_indicator 欄,瞭解醫師或供應商是否同意為 Medicare 提供服務。血統圖會顯示衍生資料表之間的資料轉換,如何導致資料欄資料類型變更:

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
  2. 使用搜尋欄位尋找 physicians_and_other_supplier_2012_original 表格。
  3. 按一下「歷程」分頁標籤。
  4. 在「沿革探索工具」窗格中,執行下列操作:
    1. 在「資料欄層級歷程」專區中,從清單選取 medicare_participation_indicator 資料欄名稱。
    2. 在「方向」部分,選取「下游」方向。
    3. 按一下「套用」
  5. 展開沿襲路徑,直到抵達 vertex_ai_model_final_features 為止。
  6. 分析「supplier_stg3」資料表和「supplier_transform1」資料表之間的路徑變化:

    追蹤 medicare_participation_indicator 欄的歷程
    medicare_participation_indicator」資料欄的歷程追蹤視覺化圖表
    • 「精確複製」路徑標記表示資料欄未經變更就直接傳遞。
    • 「其他」路徑標記表示轉換。在這個路徑中,資料型別 String 會視為 Boolean

路徑顯示資料欄資料類型有所變更,因此使用這些資料表的任何工作流程可能都需要調整。

找出多餘的資料欄

這個範例會檢查 nppes_credentials 欄,其中列出執業人員在全國計畫和供應商列舉系統 (NPPES) 中持有的全國醫事人員識別碼:

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。
  2. 使用搜尋欄位尋找 physicians_and_other_supplier_2012_original 表格。
  3. 按一下「歷程」分頁標籤。
  4. 在「沿革探索工具」窗格中,執行下列操作:
    1. 在「資料欄層級歷程」專區中,從清單選取 nppes_credentials 資料欄名稱。
    2. 在「方向」部分,選取「下游」方向。
    3. 按一下「套用」
  5. 展開路徑,確認是否有通往 vertex_ai_model_final_features 的下游沿襲。

如果沒有沿襲關係,表示這個資料欄可能與特定工作流程無關,甚至可以刪除。

如要進一步瞭解如何使用資料歷程圖表呈現資料,請參閱「歷程圖表檢視畫面」。