使用知識目錄管理 Looker (Google Cloud Core) 資源

您可以使用 Knowledge Catalog 管理 Looker (Google Cloud Core) 執行個體的中繼資料。管理中繼資料有助於控管資料，並做出明智決策。

Knowledge Catalog 是 Data Catalog 平台，可儲存、管理及提供中繼資料存取權。這項服務會為 Looker (Google Cloud Core) 的正式版 LookML、LookML 專案和資訊主頁中繼資料建立索引。

這項整合功能可讓您在單一檢視畫面中查看資料資產及其關係，包括資料歷程。使用 Knowledge Catalog 時，您可以執行影響分析、資料探索和變更管理，將資料整合至作業工作流程，並找出資料的新用途。

Knowledge Catalog 會從 Looker 擷取多個實體層級，包括：

  • Looker 執行個體：包括執行個體 ID、網址和相關資訊主頁
  • 代理：包括建立者、說明和資料來源
  • 資訊主頁：包括名稱、版面配置、篩選器和相關資訊主頁元素
  • 資訊主頁元素：包括類型、查詢、模型和探索
  • 探索：包括標籤、預設查詢、外鍵、彙整條件 (sql_on、relationship 和 type)、篩選器 (always_filter、conditionally_filter、access_filter、sql_always_where 和 sql_always_having)、含有維度和測量指標定義的結構定義，以及同義詞
  • Look：包括創作者專案、探索、模型和欄位
  • LookML 資訊主頁：包括說明、資訊主頁名稱、版面配置、篩選器和相關 LookML 資訊主頁元素
  • LookML 資訊主頁元素：包括說明、查詢、合併查詢
  • LookML 專案：包括說明和相關模型
  • 模型：包括路徑、專案網址、連線，以及相關檢視表、探索和 LookML 資訊主頁
  • 檢視表：包括衍生資料表、叢集鍵、主鍵，以及包含維度和測量定義的結構定義

Knowledge Catalog 和 Looker (Google Cloud Core) 整合也代表已定義的關係，包括：

  • reference 個項目連結，代表 Looker 物件之間的關係
  • schema-join 個代表主鍵和外鍵關聯的項目連結

整合功能的運作方式

Looker 和 Knowledge Catalog 整合功能會使用第一方連接器擷取中繼資料。Looker (Google Cloud 核心) 會將 LookML 中繼資料發布至區域 Cloud Storage 存放區，供 Knowledge Catalog 透過即時同步程序使用。

根據預設，資料會自動從 Looker (Google Cloud 核心) 傳輸至 Knowledge Catalog，不需變更設定。Looker (Google Cloud 核心) 會使用內部服務執行即時同步。

更新 LookML 模型並推送至正式環境時，系統會自動將重要中繼資料同步至 Knowledge Catalog。這類中繼資料包含檢視表和探索詳細資料、欄位定義和模型資訊。同樣地，資訊主頁中繼資料 (包括標題、擁有權和使用統計資料) 也會顯示在目錄中。

將 Knowledge Catalog 與 Looker 搭配使用的時機

使用 Knowledge Catalog 探索及瞭解 Looker 中繼資料。目錄可協助您執行下列活動：

  • AI 和資料代理準確度：使用已建立索引的 LookML 模型、探索和檢視表做為語意定義。根據 Knowledge Catalog 中的 Looker 項目建立基準查詢，確保 AI 代理遵循官方商業邏輯 (經認證的測量指標、維度和有效彙整路徑)。
  • 端對端歷程 (影響分析和來源)：使用資料歷程，以視覺化方式呈現資料在資料來源 (例如 BigQuery) 和 Looker 資產之間的雙向流動：
    • 下游影響分析：在變更結構定義或模型前，預測哪些資訊主頁和探索會受到影響。
    • 上游資料稽核：稽核主管資訊主頁和 Look 圖表中顯示的指標來源、轉換和監管鏈。
  • 探索及整合資產：搜尋貴組織中經過認證的資訊主頁、探索和檢視表，避免重複建立報表和資料模型。

您也可以使用 Knowledge Catalog，將切面附加至 Looker 中繼資料項目，藉此管理中繼資料。將切面附加至 Looker 資產，即可為資產新增業務中繼資料，並依據中繼資料搜尋資產。

所需權限

如要取得使用 Knowledge Catalog 和 Looker (Google Cloud Core) 整合功能所需的權限，請要求管理員在 Looker (Google Cloud Core) 執行個體所在的專案，授予您下列 IAM 角色：

  • 查看 Knowledge Catalog 資源：Dataplex Catalog 檢視者 (roles/dataplex.catalogViewer)

  • 如要存取 Knowledge Catalog 中的 Looker (Google Cloud Core) 中繼資料：Looker 結構定義檢視者 (roles/looker.schemaViewer)

    • Looker 結構定義檢視者預先定義角色具備 looker.schemas.view 權限，可存取 Knowledge Catalog 中的 Looker (Google Cloud Core) 中繼資料。

  • 如要停用或啟用 Knowledge Catalog 與 Looker (Google Cloud Core) 之間的整合功能：Looker 管理員 (roles/looker.admin)

  • 如要查看資料歷程圖：資料歷程檢視者 (roles/datalineage.viewer)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

啟用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能

Looker (Google Cloud Core) 執行個體預設會啟用 Knowledge Catalog。如要停用整合功能，請參閱本說明文件頁面的「停用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能」一節。

如果執行個體已停用整合功能，而您想啟用，請完成下列步驟：

主控台

  1. 啟用 Dataplex API。如要查看擷取的中繼資料，您必須在託管 Looker (Google Cloud Core) 執行個體的 Google Cloud 專案中，啟用 Cloud Dataplex API (dataplex.googleapis.com)。

    啟用 Dataplex API

  2. 在執行個體「Instance」(執行個體) 頁面的「Details」(詳細資料) 分頁中，按一下「Edit」(編輯)。
  3. 展開「Knowledge Catalog integration」(Knowledge Catalog 整合) 專區。
  4. 取消勾選「Opt out of Knowledge Catalog integration」(停用 Knowledge Catalog 整合功能) 核取方塊。
    • 注意：啟用這項設定後，系統會一併啟用中繼資料擷取和資料歷程功能 (如果已啟用 Data Lineage API)。
  5. 按一下 [儲存]。

gcloud

請務必在託管 Looker (Google Cloud Core) 執行個體的 Google Cloud 專案中啟用 Dataplex API。

使用 gcloud looker instances update 指令並加上 --catalog-integration-enabled 旗標，即可啟用整合功能：

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

將 INSTANCE_NAME 替換為 Looker (Google Cloud Core) 執行個體名稱。

啟用整合功能後，Looker 資料最多需要一天才會顯示在 Knowledge Catalog。

搜尋 Looker 資產

如要在 Knowledge Catalog 查看 Looker (Google Cloud 核心) 資料，必須先啟用 Dataplex API。如要取得啟用 API 所需的權限，您必須具備 Service Usage 管理員 (roles/serviceusage.serviceUsageAdmin) IAM 角色。

啟用 Dataplex API

在 Google Cloud 控制台，使用 Knowledge Catalog 的「Search」(搜尋) 頁面搜尋 Looker (Google Cloud 核心) 資產。

前往「Search」(搜尋) 頁面

在「Filters」(篩選器) 面板中，您可以使用「Project」(專案)、「Systems」(系統) 和「Type aliases」(類型別名) 區段，篩選 Looker (Google Cloud core) 資產。在「Systems」(系統) 部分，您可以篩選「Looker」。在「Type aliases」中，您可以篩選搜尋結果，找出特定類型的資產。

如果將「Systems」(系統) 篩選器設為「Looker」， 則可在 「Type aliases」(類型別名) 區段中選取下列一或多個選項，篩選特定類型的 Looker 資產：

  • 代理
  • 資訊主頁
  • 資訊主頁元素
  • 探索
  • 執行個體
  • Look 圖表
  • LookML 專案
  • 模型
  • 查看
  • 其他

您也可以使用關鍵字或自然語言語法，直接在搜尋欄位中輸入搜尋查詢。舉例來說，如要查看所有 Looker 資產，請輸入 system=Looker。如要查看所有 Looker 資訊主頁，請輸入 system=Looker AND type=dashboard。

您可以搭配 type 限定詞使用下列值：

  • agent
  • dashboard
  • dashboard_element
  • explore
  • instance
  • look
  • lookml_project
  • model
  • view

您也可以使用 lookupEntryLinks 方法，搜尋與 Looker 相關的 BigQuery 項目。reference 項目連結代表從 BigQuery 資料表項目到 Looker 檢視表項目的連結。

如要進一步瞭解如何搜尋資源，請參閱「在 Knowledge Catalog 中搜尋資源」。如要進一步瞭解可在搜尋欄位中使用的運算式，請參閱「Knowledge Catalog 的搜尋語法」。

停用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能

如要停用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能，請完成下列步驟。

主控台

  1. 在執行個體「Instance」(執行個體) 頁面的「Details」(詳細資料) 分頁中，按一下「Edit」(編輯)。
  2. 展開「Knowledge Catalog integration」(Knowledge Catalog 整合) 專區。
  3. 勾選「Opt out of Knowledge Catalog integration」(停用 Knowledge Catalog 整合功能) 核取方塊。
    • 注意：停用這項設定後，中繼資料擷取和資料歷程功能 (如果已啟用 Data Lineage API) 都會停用。
  4. 按一下 [儲存]。

gcloud

使用 gcloud looker instances update 指令並加上 --no-catalog-integration-enabled 旗標，即可啟用整合功能：

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

將 INSTANCE_NAME 替換為 Looker (Google Cloud Core) 執行個體名稱。

如果啟用後又停用整合功能，Looker 中繼資料仍會保留在 Knowledge Catalog，但不會更新。

VPC Service Controls

Looker (Google Cloud Core) 與 Knowledge Catalog 的整合功能支援 VPC Service Controls。

如果 Looker (Google Cloud Core) 執行個體或 Knowledge Catalog 資源位於 VPC Service Controls 服務範圍內，請務必將 Dataplex API (dataplex.googleapis.com) 設為範圍內的受限制服務。

定價

在 Knowledge Catalog 儲存 Looker (Google Cloud 核心) 技術中繼資料，不需支付任何費用。API 呼叫和額外的業務中繼資料擴充，則適用標準 Knowledge Catalog 定價。詳情請參閱 Knowledge Catalog 定價頁面。

後續步驟