使用 Knowledge Catalog 追蹤資料歷程

本頁說明如何使用 Knowledge Catalog，追蹤 Looker (Google Cloud Core) 執行個體的資料歷程。

資料歷程是指追蹤資料在系統中的流動情形。將 Looker (Google Cloud 核心) 與 Knowledge Catalog 整合後，您就能以視覺化方式呈現資料的端對端歷程，包括從 BigQuery 中的來源，透過 Looker 語意層 (LookML 檢視區塊和探索) 到資訊主頁和 Look 中的下游使用情形。

資料工程師和管理員可透過這項資訊執行影響分析。舉例來說，在捨棄 BigQuery 資料表中的資料欄之前，您可以查看沿襲圖，瞭解這項變更會導致哪些 Looker 資訊主頁無法正常運作。

事前準備

如要在 Looker (Google Cloud Core) 中使用資料歷程功能，必須符合下列必要條件：

  1. Looker (Google Cloud Core)：Looker (Google Cloud Core) 執行個體的所有版本類型都支援資料沿襲。Looker (原始版) 執行個體不會與 Knowledge Catalog 整合。
  2. 必要權限：如要查看歷程圖，您必須具備下列 IAM 角色：
    • 裝載 Looker (Google Cloud Core) 執行個體的專案中的 Looker 結構定義檢視器 (roles/looker.schemaViewer)
    • Dataplex 檢視者 (roles/dataplex.viewer) 或同等權限，可查看 Knowledge Catalog 資產
    • 資料歷程檢視者 (roles/datalineage.viewer) 讀取歷程資料

啟用資料歷程

如要啟用資料沿襲，請完成下列各項步驟：

  1. 為 Looker (Google Cloud Core) 啟用 Knowledge Catalog 整合功能：在 Google Cloud 控制台中，Looker (Google Cloud Core) 執行個體與 Knowledge Catalog 的整合功能預設為啟用。如果整合功能已停用，請重新啟用。如需操作說明，請參閱「啟用整合功能」。
  2. 在 Looker 中啟用 Knowledge Catalog 歷程預先發布版功能：在 Looker (Google Cloud Core) 執行個體的「管理」面板中，「預先發布版功能」頁面預設會停用「Knowledge Catalog 歷程」預先發布版功能。
  3. 啟用 Data Lineage API：您必須在任何 Google Cloud 專案中啟用 Data Lineage API (datalineage.googleapis.com)，這些專案會代管 Looker (Google Cloud Core) 執行個體和 BigQuery 資料。

    啟用 Data Lineage API

  4. 啟用服務層級沿革擷取： Ensure已啟用沿革和 Looker (Google Cloud Core) 服務層級整合。服務層級沿襲會遵循下列預設狀態：
    • 為避免日後產生價格影響，如果專案在資料歷程 API 預先發布版日期時已啟用該 API，且至少代管一個 Looker (Google Cloud Core) 執行個體，系統預設會停用 Looker (Google Cloud Core) 服務層級歷程擷取功能。
    • 如果專案已啟用 Data Lineage API，且您是在這項功能預先發布日期後建立 Looker (Google Cloud Core) 執行個體，系統預設會啟用服務層級的歷程資料擷取功能。

如要查看 Google Cloud 專案的沿襲設定，請參閱「取得目前設定」說明文件。如果與 Looker (Google Cloud Core) 的整合功能已停用，指令會傳回類似下列內容的輸出結果：

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

回應中的專案 ID 會反映要求中的 ID。etag 欄位是由伺服器產生的檢查碼，以目前的設定值為準。

查看資料歷程

啟用整合功能並完成初始同步 (最多可能需要 24 小時) 後，您就能在 Knowledge Catalog 控制台中查看歷程。

  1. 前往 Google Cloud 控制台的「Knowledge Catalog」頁面。

    前往 Knowledge Catalog

  2. 按一下左側導覽窗格中的「搜尋」。
  3. 搜尋 BigQuery 資料表或 Looker (Google Cloud Core) 資產 (例如資訊主頁或探索)。
    • 您可以使用「篩選器」面板，依序篩選「系統」 >「Looker」。
  4. 按一下資產名稱，開啟詳細資料頁面。
  5. 按一下「歷程」分頁標籤。

歷程圖會將資產顯示為中央節點，左側為上游來源，右側為下游消費者。

解讀歷程圖

歷程圖由「節點」和「連結」組成：

  • 節點：代表資料資產。支援的 Looker (Google Cloud Core) 資產包括：
    • Looker 資訊主頁
    • Looker 資訊主頁元素 (圖塊)
    • Looker Look
    • LookML 探索
    • LookML 檢視
  • 連結：代表資料流程。舉例來說，從 BigQuery 資料表到 LookML 檢視區塊的連結，表示該檢視區塊會從該資料表選取資料。

找出資產擁有者

如要找出可能受變更影響的下游資產擁有者，請按照下列步驟操作：

  1. 在沿襲圖中，按一下資產的節點 (例如 Looker 資訊主頁)。
  2. 畫面右側會開啟資訊面板。
  3. 找到「Aspects」(層面) 部分，找出「Owner」(擁有者) (電子郵件地址)。

篩選歷程清單

在沿襲的「清單」檢視畫面中，您可以依屬性名稱或值篩選實體。舉例來說，複雜的 LookML 模型可能會產生大型歷程圖，其中包含許多中繼實體。如要著重於業務影響，請按照下列步驟依實體類型篩選：

  1. 在「歷程」分頁中，切換至「清單」檢視畫面。
  2. 在工具列中找到「篩選」選項。
  3. 在「實體」篩選器中，輸入「Looker 資訊主頁」和「Looker Look」，篩除「LookML 檢視區塊」和「Looker 探索」等中繼類型。

實體清單會更新，只顯示所選資產類型，方便您找出面向使用者的內容。

限制

在預先發布期間，Looker (Google Cloud Core) 歷程整合功能有下列限制：

  • 資料來源：在預覽版中，歷程記錄僅支援 BigQuery 資料來源。
  • 精細度：系統會在物件層級 (資料表、檢視區塊、探索、資訊主頁) 提供歷程記錄。系統不支援資料欄層級的沿襲。
  • 延遲：沿襲資料並非即時資料。同步程序通常需要四小時。不過，視 Looker 中繼資料匯出和歷程資料用量的時間而定，同步作業最多可能需要八小時。在 Looker 或 BigQuery 中進行的變更可能需要一段時間才會顯示在歷程圖中。
  • 複雜的 SQL：以複雜的自訂 SQL 定義的 LookML (例如 Liquid 範本、具有複雜聯結的衍生資料表) 可能無法完整剖析，導致節點中斷連線。

定價

在預先發布期間，使用這項整合服務的資料歷程功能不會產生費用。

資料歷程正式發布後，您就需要支付相關費用。為避免日後產生價格影響，如果專案在資料歷程 API 預先發布版日期時已啟用該 API，且至少代管一個 Looker (Google Cloud Core) 執行個體，系統預設會停用 Looker (Google Cloud Core) 歷程擷取功能。

詳情請參閱 Knowledge Catalog 定價頁面。

後續步驟