Knowledge Catalog 的資料歷程注意事項

規劃資料治理策略時,瞭解 Knowledge Catalog 中的資料歷程運作方式,有助於做出更明智的架構決策。請注意以下幾點:

  • 專案層級啟用:啟用 Data Lineage API 後,系統預設會在整個專案中啟用資料歷程追蹤功能,並根據產品層級控制項,自動回報多個系統的資訊。您也可以針對特定服務,以階層方式控管沿襲資料的擷取作業
  • 法規遵循:您可以清楚掌握資料流向,同時瞭解系統記錄的中繼資料內容和保護方式。
  • 費用管理:您可以主動查看及管理專案中資料歷程追蹤功能對帳單的影響。

產品層級沿襲控制項

啟用 Data Lineage API 後,支援的系統會根據產品層級的控制項回報沿襲:

中的產品層級沿襲控制項
Google Cloud 支援系統
系統 可用的歷程控制項
BigQuery、
Cloud Data Fusion
在專案中啟用 Data Lineage API 後,您就無法將沿襲追蹤作業限制為僅限 Cloud Data Fusion 或 BigQuery。您可以設定 BigQuery 的資料歷程擷取作業 ,啟用或停用自動資料歷程擷取作業。
Managed Service for Apache Airflow Managed Airflow 使用環境層級的資料歷程整合控制項。對於符合條件的所有新 Managed Airflow 環境,系統會自動啟用資料沿襲功能。詳情請參閱「 使用 Managed Airflow 進行資料沿襲」。如果是現有環境,請使用環境設定啟用或停用資料沿襲整合功能。您可以設定 Managed Airflow 的資料歷程擷取功能,啟用或停用自動資料歷程擷取功能。
Dataflow 您可以透過 Dataflow 工作擷取歷程事件,並發布至 Data Lineage API。詳情請參閱「在 Dataflow 中使用資料沿襲」。
Managed Service for Apache Spark 您可以使用 Managed Service for Apache Spark 工作擷取沿襲事件,並發布至 Data Lineage API。 詳情請參閱「使用 Spark 資料歷程」。您可以為 Managed Service for Apache Spark 設定資料沿襲擷取功能,啟用或停用自動資料沿襲擷取功能。
Looker (Google Cloud Core) (預先發布版) 系統支援使用資料沿襲,從 BigQuery 來源視覺化 Looker (Google Cloud Core) 中繼資料。您必須在 Looker (Google Cloud Core) 資源層級和資料歷程服務層級啟用資料歷程。詳情請參閱「使用 Knowledge Catalog 追蹤資料歷程」。
Vertex AI 系統會自動為 Vertex AI 管道啟用資料歷程,追蹤輸入構件和執行參數 (例如模型、資料集和元件),以及下游衍生資產。 詳情請參閱「追蹤管道構件的歷程」。

對費用的影響

在專案中啟用 Data Lineage API 時,請先查看對帳單費用的影響,因為 Data Lineage API 是以專案為單位啟用 (詳情請參閱上一節)。如要進一步瞭解資料歷程的計費方式,請參閱「Knowledge Catalog 定價」。

對於 BigQuery Omni,沿襲處理作業會分配至特定區域,費用則取決於執行處理作業的區域。

資料歷程法規遵循

  • 資料沿襲會記錄資料移動的中繼資料,但不會擷取資料本身。如要進一步瞭解中繼資料包含哪些欄位,請參閱「資料歷程資訊模型」和「資料歷程 API 參考資料」。
  • Knowledge Catalog 的資料歷程功能支援 VPC-SC。
  • Knowledge Catalog 不支援使用客戶管理的加密金鑰,保護收集到的歷程中繼資料。

資料歷程限制

在下列情況下,選取沿襲圖中的節點時,節點詳細資料側邊面板會是空白的:

  • 資源位於其他機構。
  • 使用者不是資源所屬機構的成員。