規劃資料治理策略時,瞭解 Knowledge Catalog 中的資料歷程運作方式,有助於做出更明智的架構決策。請注意以下幾點:
- 專案層級啟用:啟用 Data Lineage API 後,系統預設會在整個專案中啟用資料歷程追蹤功能,並根據產品層級控制項,自動回報多個系統的資訊。您也可以針對特定服務,以階層方式控管沿襲資料的擷取作業。
- 法規遵循:您可以清楚掌握資料流向,同時瞭解系統記錄的中繼資料內容和保護方式。
- 費用管理:您可以主動查看及管理專案中資料歷程追蹤功能對帳單的影響。
產品層級沿襲控制項
啟用 Data Lineage API 後,支援的系統會根據產品層級的控制項回報沿襲:
| 系統 | 可用的歷程控制項 |
|---|---|
| BigQuery、 Cloud Data Fusion |
在專案中啟用 Data Lineage API 後,您就無法將沿襲追蹤作業限制為僅限 Cloud Data Fusion 或 BigQuery。您可以設定 BigQuery 的資料歷程擷取作業 ,啟用或停用自動資料歷程擷取作業。 |
| Managed Service for Apache Airflow | Managed Airflow 使用環境層級的資料歷程整合控制項。對於符合條件的所有新 Managed Airflow 環境,系統會自動啟用資料沿襲功能。詳情請參閱「 使用 Managed Airflow 進行資料沿襲」。如果是現有環境,請使用環境設定啟用或停用資料沿襲整合功能。您可以設定 Managed Airflow 的資料歷程擷取功能,啟用或停用自動資料歷程擷取功能。 |
| Dataflow | 您可以透過 Dataflow 工作擷取歷程事件,並發布至 Data Lineage API。詳情請參閱「在 Dataflow 中使用資料沿襲」。 |
| Managed Service for Apache Spark | 您可以使用 Managed Service for Apache Spark 工作擷取沿襲事件,並發布至 Data Lineage API。 詳情請參閱「使用 Spark 資料歷程」。您可以為 Managed Service for Apache Spark 設定資料沿襲擷取功能,啟用或停用自動資料沿襲擷取功能。 |
| Looker (Google Cloud Core) (預先發布版) | 系統支援使用資料沿襲,從 BigQuery 來源視覺化 Looker (Google Cloud Core) 中繼資料。您必須在 Looker (Google Cloud Core) 資源層級和資料歷程服務層級啟用資料歷程。詳情請參閱「使用 Knowledge Catalog 追蹤資料歷程」。 |
| Vertex AI | 系統會自動為 Vertex AI 管道啟用資料歷程,追蹤輸入構件和執行參數 (例如模型、資料集和元件),以及下游衍生資產。 詳情請參閱「追蹤管道構件的歷程」。 |
對費用的影響
在專案中啟用 Data Lineage API 時,請先查看對帳單費用的影響,因為 Data Lineage API 是以專案為單位啟用 (詳情請參閱上一節)。如要進一步瞭解資料歷程的計費方式,請參閱「Knowledge Catalog 定價」。
對於 BigQuery Omni,沿襲處理作業會分配至特定區域,費用則取決於執行處理作業的區域。
資料歷程法規遵循
- 資料沿襲會記錄資料移動的中繼資料,但不會擷取資料本身。如要進一步瞭解中繼資料包含哪些欄位,請參閱「資料歷程資訊模型」和「資料歷程 API 參考資料」。
- Knowledge Catalog 的資料歷程功能支援 VPC-SC。
- Knowledge Catalog 不支援使用客戶管理的加密金鑰,保護收集到的歷程中繼資料。
資料歷程限制
在下列情況下,選取沿襲圖中的節點時,節點詳細資料側邊面板會是空白的:
- 資源位於其他機構。
- 使用者不是資源所屬機構的成員。