資料歷程考量事項

這份文件提供資料歷程法規遵循和限制的相關資訊。資料沿襲功能是依專案啟用,而非依系統啟用。也就是說,啟用 Data Lineage API 後,系統會根據每個系統的產品層級歷程控制項,自動回報專案中多個系統的歷程資訊。

下列系統支援自動沿襲追蹤:

中的產品層級沿襲控制項
Google Cloud 支援系統
系統 可用的沿襲控制項
BigQuery、
Cloud Data Fusion
在專案中啟用 Data Lineage API 後,就無法設定只追蹤 Cloud Data Fusion 或 BigQuery 的沿襲。
Cloud Composer Cloud Composer 會使用環境層級的資料沿襲整合控制項。只要符合相關規定,所有新的 Cloud Composer 環境都會自動啟用資料歷程。詳情請參閱「 使用 Dataplex Universal Catalog 進行資料歷程追蹤」。如果是現有環境,您可以在環境設定中啟用或停用資料沿襲整合功能。
Dataflow Dataflow 工作可以擷取歷程事件,並發布至 Data Lineage API。 詳情請參閱「在 Dataflow 中使用資料沿襲」。
Managed Service for Apache Spark Managed Service for Apache Spark Spark 工作可以擷取沿襲事件,並發布至 Data Lineage API。 詳情請參閱「資料沿襲 Managed Service for Apache Spark 整合」。
Looker (Google Cloud Core) (預覽版) 您可以使用資料沿襲功能,以視覺化方式呈現 BigQuery 來源的 Looker (Google Cloud Core) 中繼資料。您必須在 Looker (Google Cloud Core) 資源層級和資料歷程服務層級啟用資料歷程。詳情請參閱「使用 Dataplex Universal Catalog 追蹤資料歷程」。
Vertex AI 系統會自動為 Vertex AI 構件和參數啟用資料沿襲功能,例如模型、資料集、管道範本和元件。管道的沿襲包括促成管道建立的因素,以及之後衍生的構件和中繼資料。 詳情請參閱「追蹤管道構件的歷程」。

對費用的影響

在專案中啟用 Data Lineage API 時,請先查看對帳單費用的影響,因為 Data Lineage API 是以專案為單位啟用 (詳情請參閱上一節)。如要進一步瞭解資料歷程的計費方式,請參閱「Dataplex Universal Catalog 定價」。

對於 BigQuery Omni,沿襲處理作業會分配至特定區域,費用則取決於執行處理作業的區域。

資料歷程法規遵循

  • 資料沿襲會記錄資料移動的中繼資料,但不會擷取資料本身。如要進一步瞭解中繼資料包含哪些欄位,請參閱「資料歷程資訊模型」和「資料歷程 API 參考資料」。
  • Dataplex Universal Catalog 的資料歷程功能支援 VPC-SC。
  • Dataplex Universal Catalog 無法使用客戶自行管理的加密金鑰,保護收集到的歷程中繼資料。

資料歷程限制

在沿襲圖中選取節點時,如果出現下列情況,節點詳細資料側邊面板會是空白:

  1. 資源位於其他機構,或
  2. 使用者不是資源所屬機構的成員。