使用 Knowledge Catalog 追蹤資料歷程

本頁面說明如何使用 Knowledge Catalog 追蹤 Looker (Google Cloud Core) 執行個體的資料歷程。

資料歷程是指追蹤資料在系統中的流向。將 Looker (Google Cloud Core) 與 Knowledge Catalog 整合後，您就能以視覺化方式呈現資料的端對端歷程，從 BigQuery 中的來源，到 Looker 語意層 (LookML 檢視表和探索)，再到下游的資訊主頁、Look 和 AI 或資料代理。

這項功能可提供雙向歷程追蹤，用於資料治理、影響分析和稽核工作流程：

  • 下游影響分析：在變更結構定義或模型前，預測哪些資訊主頁、探索和下游消費者會受到影響。舉例來說，在 BigQuery 資料表中捨棄資料欄前，您可以查看歷程圖，瞭解哪些 Looker 資訊主頁可能會中斷。
  • 上游資料稽核：追蹤高階主管資訊主頁和 Look 圖表中顯示指標的來源、轉換和監管鏈。

事前準備

如要搭配 Looker (Google Cloud Core) 使用資料歷程功能，必須符合下列先決條件：

  1. Looker (Google Cloud Core)：所有版本類型的 Looker (Google Cloud Core) 執行個體都支援資料歷程。Looker (原始) 執行個體未與 Knowledge Catalog 整合。

  2. 必要權限：如要查看歷程圖，您必須具備下列 IAM 角色：

    • 在託管 Looker (Google Cloud Core) 執行個體的專案中，具備 Looker 結構定義檢視者 (roles/looker.schemaViewer) 角色。查看歷程圖時，必須具備這個角色，才能查看側邊面板中填入的 Looker (Google Cloud Core) 專屬中繼資料。

    • Dataplex Catalog 檢視者 (roles/dataplex.catalogViewer) 或同等權限，可查看 Knowledge Catalog 資產

    • 資料歷程檢視者 (roles/datalineage.viewer) 可讀取歷程資料

啟用資料歷程

如要啟用資料歷程，請完成下列步驟：

  1. 啟用 Looker (Google Cloud Core) 的 Knowledge Catalog 整合功能： Google Cloud 控制台預設會啟用 Looker (Google Cloud Core) 執行個體與 Knowledge Catalog 的整合功能。如果整合功能已停用，請重新啟用。如需操作說明，請參閱「啟用整合功能」。
  2. 在 Looker 中啟用 Knowledge Catalog 歷程預先發布版功能：在 Looker (Google Cloud Core) 執行個體的「管理」面板中，預先發布版功能頁面預設會停用 Knowledge Catalog 歷程預先發布版功能。
  3. 啟用 Data Lineage API：您必須在託管 Looker (Google Cloud Core) 執行個體和 BigQuery 資料的所有 Google Cloud 專案中，啟用 Data Lineage API (datalineage.googleapis.com)。

    啟用 Data Lineage API

  4. 啟用服務層級歷程擷取功能： Ensure已啟用歷程和 Looker (Google Cloud Core) 服務層級整合功能。服務層級歷程遵循下列預設狀態：
    • 為避免日後產生費用，如果專案在本功能預先發布版推出時，已啟用 Data Lineage API 並託管至少一個 Looker (Google Cloud Core) 執行個體，系統會預設停用 Looker (Google Cloud Core) 服務層級歷程擷取功能。
    • 如果專案已啟用 Data Lineage API，且 Looker (Google Cloud Core) 執行個體是在這項功能的預先發布日期後建立，則預設會啟用服務層級歷程擷取功能。

如要查看 Google Cloud 專案的歷程設定，請參閱「取得目前設定」說明文件。如果與 Looker (Google Cloud Core) 的整合功能已停用，指令會傳回類似下列內容的輸出結果：

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

回應中的專案 ID 會反映要求中的 ID。etag 欄位是伺服器根據設定目前的值產生的核對和。

查看資料歷程

啟用整合功能並完成初始同步作業後 (最多可能需要 24 小時)，即可在 Knowledge Catalog 控制台查看歷程。

  1. 前往 Google Cloud 控制台的「Knowledge Catalog」頁面。

    前往 Knowledge Catalog

  2. 按一下左側導覽窗格中的「搜尋」。
  3. 搜尋 BigQuery 資料表或 Looker (Google Cloud Core) 資產 (例如資訊主頁或探索)。
    • 您可以使用「篩選器」面板，依序選取「系統」 >「Looker」來篩選。
  4. 按一下資產名稱，開啟詳細資料頁面。
  5. 點選「歷程」分頁標籤。

歷程圖會將資產顯示為中心節點，上游來源位於左側，下游消費者位於右側。這個雙向版面配置可讓您評估右側的下游影響，或追蹤左側的上游來源和來源資料表。

解讀歷程圖

歷程圖由「節點」和「連結」組成：

  • 節點：代表資料資產。支援的 Looker (Google Cloud Core) 資產包括：
    • Looker 資訊主頁
    • Looker 資訊主頁元素 (圖塊)
    • Looker Look
    • LookML 探索
    • LookML 檢視表
  • 連結：代表資料流程。舉例來說，從 BigQuery 資料表到 LookML 檢視表的連結，表示該檢視表會從該資料表選取資料。

找出資產擁有者

如要找出可能受變更影響的下游資產擁有者，請按照下列步驟操作：

  1. 在歷程圖中，點選資產節點 (例如 Looker 資訊主頁)。
  2. 資訊面板隨即會在畫面右側開啟。
  3. 在「Aspects」部分，找出「Owner」 (電子郵件地址)。

篩選歷程清單

在歷程的「List」(清單) 檢視畫面中，您可以依屬性名稱或值篩選實體。舉例來說，複雜的 LookML 模型可能會產生大型譜系圖，其中包含許多中繼實體。如要著重於業務影響，請按照下列步驟，依實體類型篩選：

  1. 在「歷程」分頁中，切換至「清單」檢視畫面。
  2. 在工具列中找到「篩選器」選項。
  3. 在「實體」篩選器中，輸入「Looker 資訊主頁」和「Looker Look」，篩除「LookML 檢視表」和「Looker 探索」等中繼類型。

實體清單會更新，只顯示所選素材資源類型，方便您找出面向使用者的內容。

限制

Looker (Google Cloud Core) 歷程整合功能在預先發布版期間有下列限制：

  • 資料來源：在預先發布版中，歷程僅支援 BigQuery 資料來源。
  • 精細程度：歷程資訊是以物件層級 (資料表、檢視表、探索、資訊主頁) 提供。不支援資料欄層級歷程。
  • 延遲時間：歷程資料並非即時。同步處理程序通常需要四小時。不過，視 Looker 中繼資料匯出和歷程資料消耗的時間而定，同步處理作業最多可能需要八小時。在 Looker 或 BigQuery 中所做的變更，可能需要一段時間才會顯示在歷程圖中。
  • 複雜的 SQL：如果 LookML 是以複雜的自訂 SQL 定義 (例如 Liquid 範本、具有複雜彙整的衍生資料表)，可能無法完整剖析，導致節點中斷連結。

定價

在預先發布版期間，使用這項整合功能時，資料歷程功能不會產生費用。

資料歷程正式發布後，就會開始計費。為避免日後產生費用，如果專案在本功能預先發布版推出時，已啟用 Data Lineage API，且託管至少一個 Looker (Google Cloud Core) 執行個體，系統會預設停用 Looker (Google Cloud Core) 歷程擷取功能。

詳情請參閱 Knowledge Catalog 定價頁面。

後續步驟