資料歷程會追蹤資料資產與轉換程序之間的關係，協助您瞭解資料在系統中的移動方式。您可以在 Google Cloud 控制台中，以圖表和清單的形式查看這項歷程資訊。
本文說明資料表和資料欄層級的資料歷程精細程度，並提供操作說明，協助您在 Google Cloud 控制台使用圖表和清單檢視畫面探索資料歷程。
如要進一步瞭解基礎資料模型，請參閱「資料歷程資訊模型」。
資料表層級和資料欄層級歷程的差異
資料歷程可讓您在資料表和資料欄層級，追蹤資料的來源和轉換路徑。
資料表層級歷程的使用時機
資料表層級歷程會顯示整個資料表之間的關係，提供資料管道的重點總覽。資料表層級歷程可用於巨觀層級工作，例如：
資料探索：分析師在建立新的資訊主頁時，可以使用資料表層級歷程，追蹤摘要資料表的來源，並確認資料來自權威資料庫。
規劃遷移作業。資料庫管理員在規劃遷移核心資料庫時，可以透過資料表層級歷程，找出所有依賴該資料庫的下游報表和資訊主頁。
稽核與管理。資料管理員可以使用資料表層級和資料欄層級歷程，檢查含有個人識別資訊 (PII) 的資料表資料如何透過管道流動。
資料欄層級歷程的使用時機
資料欄層級歷程則會追蹤個別資料欄之間的資料流，提供更精細的檢視畫面。在這個檢視畫面中，歷程事件中的連結代表來源資料欄與目標資料欄之間的關係。每個資料欄層級連結都有一個依附元件類型，用於描述轉換：
Exact copy：在資料欄之間複製值。Other：資料欄之間的其他相依關係類型。
資料欄層級歷程可用於下列工作：
根本原因分析。如果資料分析師在資料欄中發現不正確的值，可以使用資料欄層級歷程追蹤回來源資料欄，找出根本原因。
影響分析：資料工程師在淘汰資料欄前，可以使用資料欄層級歷程，找出所有依附於該資料欄的下游資料欄。
指標的資料來源驗證。資料分析師可以使用資料欄層級歷程，找出用於計算指標的來源資料欄，而不必解讀複雜的 SQL 查詢。
系統會自動收集下列 BigQuery 工作類型的資料欄層級歷程：
如果是 Managed Service for Apache Spark 工作，支援情形取決於 Managed Service for Apache Spark 使用的 Open Lineage 依附元件類型和版本。最低支援版本為 1.34。以下是 Managed Service for Apache Spark 叢集映像檔最低支援版本：
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
以下是 Managed Service for Apache Spark 支援的最低執行階段版本：
- 3.0.3
- 2.3.20
Google Cloud 控制台中的歷程檢視畫面
在 Google Cloud 控制台中，您可以透過兩種方式與歷程資訊互動：探索多個可用區域的歷程圖，或使用「Lineage explorer」(歷程探索工具) 面板，更專注地查看特定區域。您也可以切換「Graph」(圖表) 檢視畫面和「List」(清單) 檢視畫面，以不同詳細程度分析資料流程。
歷程檢視畫面僅適用於 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 項目、BigQuery 資產和 Vertex AI 資源 (模型、資料集、特徵儲存庫檢視畫面和特徵群組)。
如要查看本文討論的不同檢視畫面，請參閱「搭配 Google Cloud 系統使用資料歷程」。
歷程圖檢視畫面
「圖表」檢視畫面會以視覺化方式呈現跨系統和區域的資料資產流程和關係，協助您瞭解資料架構、追蹤來源和目的地，以及找出模式。這些歷程圖由 Data Lineage API 服務針對特定 Knowledge Catalog 項目產生，顯示資料隨時間變化的情形，並呈現所選根項目的上游、下游或兩者的流程。
Data Lineage API 會自動從支援的系統接收資產資訊，並透過 API 呼叫接收自訂來源的資產資訊。
圖表中的主要元素如下：
節點：節點代表資料實體，在資料表層級檢視中，節點會顯示資料表名稱和資料欄。在資料欄層級檢視畫面中，每個節點代表特定資料表和資料欄。
邊緣：邊緣是連接節點的線條，代表節點之間發生的程序。邊緣的外觀取決於歷程檢視畫面：
- 在資料表層級檢視中，邊緣會顯示圖示，代表資料轉換。
- 在資料欄層級檢視畫面中，邊緣會加上標籤，指出資料轉換。舉例來說，邊緣標籤可能會顯示
Exact copy，說明來源資料欄如何複製到目標資料欄。
處理圖示和標籤。邊緣會顯示處理圖示和標籤，提供更多轉換相關資訊。
- 圖示。圖示代表轉換程序。手動探索圖表時，邊緣上的圖示代表程序的來源系統 (例如 BigQuery 或 Vertex AI)。如果涉及多個程序，則會顯示「多個程序」圖示。如果程序來源系統不明，則會使用齒輪圖示。套用篩選條件時，所有程序都會使用齒輪圖示。
- 標籤。在資料欄層級歷程檢視畫面中，標籤會說明資料欄之間的依附關係類型：
Exact copy或Other。
探索歷程圖
開啟「Lineage」(歷程) 分頁時，系統會顯示預設的「Graph」(圖表) 檢視畫面。預設檢視畫面提供系統和區域的概略總覽，並可手動和逐步展開圖表，一次載入五個節點。邊緣上的程序圖示代表來源系統或多個程序。
篩選及醒目顯示資料歷程檢視畫面
如果譜系圖龐大且複雜，您可以套用篩選器或醒目顯示功能，減少視覺干擾，並專注於探索特定區域內的譜系。請使用「Lineage explorer」(歷程探索工具) 面板設定條件。套用篩選器後，「Graph」(圖表) 和「List」(清單) 檢視畫面頂端會顯示篩選器列，並以方塊形式顯示有效的篩選器。
如要調整歷程視覺化，可以選擇下列其中一種模式：
醒目顯示：系統會以顏色和邊框醒目顯示相符的節點，同時仍會顯示完整圖表。這有助於找出特定資產，同時保留歷程圖的整體背景資訊。
篩選：隱藏不相符的節點，並簡化圖表，只顯示相符的節點和節點之間的路徑。如果比對節點之間的路徑包含任何不相符的素材資源，這些素材資源會分組到收合的節點中。這個模式可降低複雜度，讓您只專注於相關資產及其直接關係。
如要篩選或醒目顯示歷程，請使用下列條件：
- 專案：依 Google Cloud 專案 ID 篩選。
- 系統：依據資料資產所在的系統篩選 (例如 BigQuery 或 Cloud Storage)。
- 實體名稱：依資產名稱篩選。您可以使用
*進行萬用字元搜尋 (僅限前置字元和後置字元，例如*table或test*)。 - 子類型：依據資產子類型 (例如
dashboard或model) 篩選。 - 資料欄名稱：依資料欄名稱篩選歷程，查看資料欄層級的詳細資料。
- 方向：顯示上游或下游歷程，或兩者皆顯示。
- 日期範圍：依據特定開始或結束時間篩選歷程。
- 依附關係類型：依據依附關係類型篩選資料欄層級歷程。可用的選項包括
All或Exact copy。
如要進一步減少雜亂，可以選取「Hide temporary BigQuery tables」(隱藏 BigQuery 臨時資料表)，隱藏 BigQuery 建立的臨時資產，例如資料集名稱開頭為 _script 的資料表。
「Graph」(圖表) 檢視分頁中的焦點檢視畫面會自動展開圖表，最多可達三個層級，並載入符合篩選條件的所有歷程。歷程探索工具最多可擷取 10 個層級的歷程圖，但預設只會展開前三個層級。點選箭頭即可展開圖表，查看其餘層級。
焦點檢視畫面支援資料表層級和資料欄層級歷程，包括從任何所選節點回到根節點的路徑圖表。在這個聚焦檢視畫面中，所有程序都會使用一般齒輪圖示。
如要查看資料欄層級歷程，請使用下列其中一種方法：
在聚焦的「Graph」(圖表) 檢視畫面中，按一下資料表上的資料欄圖示，即可切換至資料欄層級歷程。
「欄」圖示 在預設或聚焦的「Graph」(圖表) 檢視畫面中，於「Lineage explorer」(歷程探索工具) 面板套用資料欄名稱 。
如要移除所有篩選器並返回預設檢視畫面，請按一下 「Reset」(重設)。
如要在醒目顯示和篩選模式之間切換，請參閱「調整歷程圖表」。
查看歷程節點詳細資料
如要查看節點的詳細資料，請按一下該節點。側邊面板會隨即顯示，並提供所選資料資產的詳細資訊。舉例來說，在資料表層級歷程檢視畫面中，點選節點會顯示資產的完整名稱、類型和其他相關屬性等資訊。
查看歷來譜系執行記錄
完整的歷程圖是許多不同工作的執行結果。每項工作都會在圖表中建立特定連結。多次執行會記錄為新的執行作業，但不會變更圖表的靜態外觀。
如要查看這些個別執行的詳細資料，請按一下圖表上含有程序的邊緣。在顯示的「查詢」面板中，按一下「執行」分頁標籤。
檢查資料轉換邏輯
如要瞭解轉換的商業邏輯，而不必搜尋程式碼，您可以查看實際執行的 SQL 查詢。如要查看 SQL 程式碼，請點選圖表上含有程序的邊緣。在隨即顯示的側邊面板中，按一下「Details」(詳細資料) 分頁標籤。
以圖表呈現資料歷程路徑
歷程路徑圖表可協助您追蹤從圖表中任何所選節點回到根項目的路徑。選取節點並點選「Visualize path」(以圖表呈現路徑) 後，圖表只會醒目顯示形成根項目直接歷程路徑的節點和程序。
如要查看歷程路徑圖表，請在「Lineage explorer」(歷程探索工具) 面板中套用篩選器，建立聚焦的「Graph」(圖表) 檢視畫面。接著，在聚焦的「Graph」(圖表) 檢視畫面中選取節點。在所選節點的詳細資料面板中，按一下「Visualize Path」(以圖表呈現路徑)。
歷程路徑圖表適用於資料表層級和資料欄層級歷程。您也可以在「List」(清單) 檢視畫面中使用歷程路徑視覺化功能。
歷程清單檢視
「List」(清單) 檢視畫面會以表格形式呈現歷程，並與「Graph」(圖表) 檢視畫面同步。可協助您排序、篩選及下載資料資產。這個檢視畫面適合用來分析來源與目標之間的關係、詳細說明相關資產，以及匯出歷程資料。
「List」(清單) 檢視畫面適用於資料表層級和資料欄層級歷程。您可以在下列詳細和簡化清單檢視之間切換：
簡易清單檢視：這個檢視畫面可提供簡化、不重複的清單，列出歷程中涉及的所有資產。「System」(系統)、「Project」(專案)、「Entity」(實體)、「FQN」(完整名稱)、「Direction」(方向) 和「Depth」(深度) 等資料欄，可協助您查看歷程中的所有資料資產、資產所在位置、原始來源，以及資產與所分析中央資產之間的距離。非常適合用來概略瞭解參與資料流程的所有實體。這是預設檢視畫面。
詳細清單檢視畫面：這個檢視畫面適合用來分析個別來源與目標之間的關係。透過提供「Source」(來源) 和「Target」(目標) 的個別資料欄，您可以查看每個特定資料轉換連結。如果工作需要深入瞭解資料在特定資產配對之間的移動方式，例如稽核個別資料流程、瞭解資料表之間的依附關係，或匯出各連線的詳細歷程記錄，這個檢視畫面就非常適合。
資料表層級歷程清單檢視
這個檢視畫面會顯示資料表之間的整體關係。使用提供的篩選器，選取所需資料欄。
展開下列各節，即可查看資料表層級清單檢視畫面中的可用資料欄。
簡易資料表層級清單檢視畫面中的可用資料欄
- 系統：資料資產所在的系統。例如 [BigQuery](/bigquery/docs)。
- 專案：包含資料資產的 Google Cloud 專案 ID。
- 實體：資料資產的名稱。例如資料表名稱。
- FQN：原始來源實體或資料欄的完整名稱 (FQN)。
- 方向：指出列出的資產在歷程流程中是上游 (來源) 還是下游 (目標)。
- 深度：與分析中的中央資產之間的歷程步驟數。
詳細資料表層級清單檢視畫面中的可用資料欄
- 來源系統：來源資料資產所在的系統。 例如 BigQuery。
- 來源專案：包含來源資料資產的 Google Cloud 專案 ID。
- 來源：來源資料資產的名稱。例如資料表名稱。
- 來源 FQN：來源實體的 FQN。
- 目標系統：目標資料資產所在的系統。 例如 BigQuery。
- 目標專案：包含目標資料資產的 Google Cloud 專案 ID。
- Target：目標資料資產的名稱。例如資料表名稱。
- Target FQN：目標實體的 FQN。
- 方向：指出列出的資產在歷程流程中是上游 (來源) 還是下游 (目標)。
- 深度：與分析中的中央資產之間的歷程步驟數。
資料欄層級歷程清單檢視
這個檢視畫面會顯示來源和目標資料表中個別資料欄之間的關係。使用提供的篩選器，選取所需資料欄。
展開下列各節，即可查看資料欄層級清單檢視畫面中的可用資料欄。
簡化資料欄層級清單檢視中可用的資料欄
- 系統：資料資產所在的系統。例如 BigQuery。
- 專案：包含資料資產的 Google Cloud 專案 ID。
- 實體：資料資產的名稱。例如資料表名稱。
- 資料欄：在實體中「歷程探索工具」面板選取的特定資料欄。
- FQN：原始來源實體或資料欄的完整名稱 (FQN)。
- 方向：指出列出的資產在歷程流程中是上游 (來源) 還是下游 (目標)。
- 深度：與分析中的中央資產之間的歷程步驟數。
詳細資料欄層級清單檢視畫面中可用的資料欄
- 來源系統：來源資料資產所在的系統。
- 來源專案：包含來源資料資產的 Google Cloud 專案 ID。
- 來源 FQN：來源資料欄的 FQN。
- 目標系統：目標資料資產所在的系統。
- 目標專案：包含目標資料資產的 Google Cloud 專案 ID。
- 目標 FQN：目標資料欄的 FQN。
- 方向：指出資料流向是上游或下游。
- 依附元件類型：說明資料欄之間的關係性質。
- 深度：與分析中的中央資產之間的歷程步驟數。
後續步驟
瞭解歷程來源。