關於資料歷程擷取控制項

如要管理費用和治理政策，您可以啟用或停用特定 Google Cloud 服務的資料歷程擷取功能。舉例來說，您可以針對不需要歷程追蹤的開發專案或大量工作負載，停用歷程收集功能。

支援的服務整合

下表列出支援資料歷程擷取控制項的整合項目：

整合作業名稱 支援攝入控制 預設值 整合作業詳細資料
Managed Service for Apache Spark：Apache Spark 叢集 是 已啟用 使用 Spark 資料歷程
Managed Service for Apache Spark：Apache Hive 叢集 是 已啟用 啟用 Hive 資料歷程
Managed Service for Apache Spark：無伺服器部署 是 已啟用 搭配使用資料歷程與 Managed Service for Apache Spark
BigQuery 是 已啟用 追蹤 BigQuery 資料表的歷程
Managed Service for Apache Airflow 是 已啟用 使用 Knowledge Catalog 追蹤資料歷程
Looker (Google Cloud Core) 是 (預先發布版) 已啟用 Looker Core 資料歷程
Cloud Data Fusion 否 已啟用 在 Knowledge Catalog 中查看歷程
Dataflow 否 已從 Dataflow 端停用 在 Dataflow 使用資料歷程
Vertex AI Pipelines 否 已啟用 追蹤管道構件的歷程

資料歷程擷取控制項的運作方式

您可以在組織、資料夾和專案層級控管資料擷取作業，並將這些設定與服務專屬設定結合，精細控管資料歷程擷取作業。

Knowledge Catalog 會從專案開始，依序評估資料夾和組織的資源階層結構，判斷有效的設定。在向上遍歷過程中，第一個在任何層級明確設定的設定會生效。

  • 如果您在專案層級設定，Knowledge Catalog 就會使用該設定。
  • 如果專案層級未設定任何設定，Knowledge Catalog 會使用最接近的上層資料夾設定，並明確設定。
  • 如果未在專案或資料夾層級設定，Knowledge Catalog 會使用組織層級的設定。
  • 如果未在任何層級設定，Knowledge Catalog 會使用系統預設值進行整合。

如要大量管理擷取控制項，請按照階層式服務啟用規則，為資料夾或組織中的所有專案啟用 Data Lineage API。啟用 Data Lineage API 後，您可以針對組織、資料夾或專案，精細控管各項服務整合的資料歷程擷取作業。

單一服務整合的資料擷取設定運作方式

以下情境說明 Knowledge Catalog 如何解析資源階層中單一服務的歷程擷取設定。

假設組織 test-org 具有下列 Managed Service for Apache Spark 歷程設定：

  • 機構「test-org」：已啟用
    • 資料夾 folder-a：已停用
      • 專案 project-a：未設定
    • 資料夾 folder-b：已啟用
      • 專案 project-b：已停用

在這個情境中，適用下列設定：

  • project-a 的歷程擷取功能已停用。Knowledge Catalog 會從 project-a 開始評估，找不到設定後，會向上移至 folder-a，並套用 folder-a 的「停用」設定。
  • project-b 的歷程擷取功能已停用。Knowledge Catalog 會從 project-b 開始評估，並套用其「停用」設定，覆寫 folder-b 和 test-org 的設定。

多服務整合的資料擷取設定運作方式

以下情境說明 Knowledge Catalog 如何獨立解析資源階層中多項服務的設定。

假設組織 test-org 在多項服務整合中，具有下列歷程設定：

  • 機構 test-org
    • Managed Service for Apache Spark：已啟用
    • 資料夾 folder-a
      • BigQuery：已啟用
      • 專案 project-a
        • BigQuery：已停用
        • Managed Service for Apache Airflow：已啟用
      • 專案 project-b：未設定

在這種情況下，Knowledge Catalog 會在資源階層中獨立評估各項服務整合：

  • 針對 project-a：
    • Managed Service for Apache Spark 系列擷取功能已啟用。 Knowledge Catalog 會從 project-a 開始評估，找不到 Managed Service for Apache Spark 的設定，因此會向上移至 folder-a (未設定)，並套用 test-org 的「已啟用」設定。
    • BigQuery 歷程擷取功能已停用。 Knowledge Catalog 會套用明確的專案層級設定，覆寫 folder-a 的「已啟用」設定。
    • Managed Service for Apache Airflow 系列產品擷取功能已啟用。 Knowledge Catalog 會套用明確的專案層級設定。
  • 針對 project-b：
    • Managed Service for Apache Spark 歷程擷取功能已啟用 (沿用自 test-org)。
    • BigQuery 歷程擷取功能已啟用 (繼承自 folder-a)。
    • Managed Service for Apache Airflow 歷程擷取作業會使用系統預設值 (在 Data Lineage API 啟用時，預設為「啟用」)，因為階層中的任何層級都未設定明確設定。

後續步驟