這份文件提供資料歷程法規遵循和限制的相關資訊。資料沿襲功能是依專案啟用,而非依系統啟用。也就是說,啟用 Data Lineage API 後,系統會根據每個系統的產品層級歷程控制項,自動回報專案中多個系統的歷程資訊。
下列系統支援自動沿襲追蹤:
| 系統 | 可用的沿襲控制項 |
|---|---|
| BigQuery、 Cloud Data Fusion |
在專案中啟用 Data Lineage API 後,就無法設定只追蹤 Cloud Data Fusion 或 BigQuery 的沿襲。 |
| Cloud Composer | Cloud Composer 會使用環境層級的資料沿襲整合控制項。只要符合相關規定,所有新的 Cloud Composer 環境都會自動啟用資料歷程。詳情請參閱「 使用 Dataplex Universal Catalog 進行資料歷程追蹤」。如果是現有環境,您可以在環境設定中啟用或停用資料沿襲整合功能。 |
| Dataflow | Dataflow 工作可以擷取歷程事件,並發布至 Data Lineage API。 詳情請參閱「在 Dataflow 中使用資料沿襲」。 |
| Managed Service for Apache Spark | Managed Service for Apache Spark Spark 工作可以擷取沿襲事件,並發布至 Data Lineage API。 詳情請參閱「資料沿襲 Managed Service for Apache Spark 整合」。 |
| Looker (Google Cloud Core) (預覽版) | 您可以使用資料沿襲功能,以視覺化方式呈現 BigQuery 來源的 Looker (Google Cloud Core) 中繼資料。您必須在 Looker (Google Cloud Core) 資源層級和資料歷程服務層級啟用資料歷程。詳情請參閱「使用 Dataplex Universal Catalog 追蹤資料歷程」。 |
| Vertex AI | 系統會自動為 Vertex AI 構件和參數啟用資料沿襲功能,例如模型、資料集、管道範本和元件。管道的沿襲包括促成管道建立的因素,以及之後衍生的構件和中繼資料。 詳情請參閱「追蹤管道構件的歷程」。 |
對費用的影響
在專案中啟用 Data Lineage API 時,請先查看對帳單費用的影響,因為 Data Lineage API 是以專案為單位啟用 (詳情請參閱上一節)。如要進一步瞭解資料歷程的計費方式,請參閱「Dataplex Universal Catalog 定價」。
對於 BigQuery Omni,沿襲處理作業會分配至特定區域,費用則取決於執行處理作業的區域。
資料歷程法規遵循
- 資料沿襲會記錄資料移動的中繼資料,但不會擷取資料本身。如要進一步瞭解中繼資料包含哪些欄位,請參閱「資料歷程資訊模型」和「資料歷程 API 參考資料」。
- Dataplex Universal Catalog 的資料歷程功能支援 VPC-SC。
- Dataplex Universal Catalog 無法使用客戶自行管理的加密金鑰,保護收集到的歷程中繼資料。
資料歷程限制
在沿襲圖中選取節點時,如果出現下列情況,節點詳細資料側邊面板會是空白:
- 資源位於其他機構,或
- 使用者不是資源所屬機構的成員。