關於資料產品

Knowledge Catalog (原稱 Dataplex Universal Catalog) 的資料產品可讓您將相關目錄資產，包裝成單一精選單位，解決特定業務問題。接著，您可以新增背景資訊和合約，協助資料消費者探索、評估及要求自助式存取可靠資料。

主要功能

資料產品提供下列主要功能：

  • 將目錄資產整理成邏輯單元，解決特定業務問題，並加快取得洞察資料。
  • 發布資料資產時，請提供背景資訊，包括說明、說明文件和面向。
  • 透過合約建立信任，讓資料生產者向資料消費者提供保證。
  • 提供自助式工作流程，讓資料消費者評估資料產品並存取資料。

基本概念

本節說明與資料產品相關的重要概念和術語。

資料產品

資料產品是精選的資料資產邏輯群組，經過正式封裝，可供探索、信任及存取，用於解決特定業務問題。

資產

指向實體資料資源的指標，例如 BigQuery 資料集、資料表或檢視表。資料產品包含一或多項資產。

存取權群組

存取權群組可簡化資料產品的權限管理。這些角色會將容易使用的角色 (例如 Reader 或 Analyst) 對應至基礎 Google 群組或服務帳戶。這種抽象化機制可讓資料產品擁有者在概念層級管理存取權，並協助資料產品消費者要求適當的存取層級。

  • 資料產品擁有者可以設定存取權群組，並視需要指派預設 IAM 角色，該角色會自動套用至資料產品中所有支援的資產。如果未指派預設角色，擁有者可以直接將特定 IAM 角色指派給資產。

  • 資料產品用戶會透過這些群組要求資料產品的存取權。

資料產品擁有者或資料產生者

負責建立及管理資料產品的個人或團隊。包括管理品質、存取權和說明文件。

資料產品消費者

使用資料產品生成洞察資料的個人、團隊或 AI 代理。

合約

資料產品擁有者與消費者之間的協議。這項協議會定義資料提供和使用方式的具體條款 (例如更新時間表和品質標準)，明確規範雙方期望。

用途範例

假設資料科學家要分析電子商務業務，他們的目標是找出各流量來源的平均訂單價值 (AOV)，並瞭解使用者年齡與訂單大小之間是否有關聯。為此，他們需要合併多個資料表的資料，例如 order_details、user_traffic 和 user_demographics。

在傳統設定中，這項程序會造成摩擦。為了生成洞察資料，資料科學家必須先在組織龐大的資料環境中找出正確的資料表，然後聯絡各個資料擁有者，說明存取要求，並等待核准。

有了資料產品，資料擁有者就能將相關資產包裝成名為「電子商務業務資料」的單一產品，簡化這項體驗。這個套件包含下列項目：

  • 資產

    • BigQuery 資料表 order_details 和 user_traffic (包含歷來訂單資料和流量來源)
    • BigQuery 檢視表 user_demographics (提供使用者詳細資料，不含 PII)

  • 存取群組

    • 預先定義 Reader 和 Writer 群組，簡化存取要求

  • 合約

    • 定義資料更新頻率的合約 (例如每週太平洋標準時間上午 8:00)

  • 背景資訊

    • 提供查詢範例和其他詳細資料的說明文件
    • 用於描述資料敏感度的其他中繼資料

資料科學家現在可以將這項資料產品視為單一邏輯單元，這讓他們能自信地生成洞察資料，回答「每個流量來源的平均訂單價值是多少？」等問題，最終找出哪些來源能帶來最高價值的顧客。

資料產品使用者流程

Knowledge Catalog 的資料產品生命週期包含兩項主要使用者歷程：資料產品擁有者 (或生產者) 建立及管理資料，以及資料產品消費者探索及使用資料。

資料產品擁有者歷程

這項歷程著重於封裝、保護及管理資料產品，確保資料產品值得信賴且可供存取。

  • 建立：定義資料產品並加入資產。這包括下列動作：

    • 設定專屬名稱、專案、區域和說明。
    • 新增資產，例如 BigQuery 資料表、資料集或檢視表。
    • 設定存取權群組 (例如 Analyst 或 Reader)，並對應至基礎 Google 群組或服務帳戶，簡化權限管理。
    • 您也可以視需要為存取權群組指派預設 IAM 角色，自動授予資料產品中所有支援資產的權限。
    • 將特定資產的必要 IAM 角色指派給這些存取權群組。
    • 新增合約 (系統層面)，正式傳達商定的資料更新頻率和門檻。

    詳情請參閱「建立資料產品」。

  • 管理：更新資料產品並確保可供探索。這包括下列動作：

    • 更新基本詳細資料、資產、權限和補充層面 (中繼資料)，以及 RTF 格式說明文件。
    • 授予用戶權限，讓他們探索及要求存取資料產品。

    詳情請參閱「管理資料產品」。

資料產品消費者歷程

這項歷程著重於快速找到可信資料，並取得必要的使用權限。

  • 探索：找出與特定業務問題相關的可靠資料。這包括下列動作：

    • 使用Knowledge Catalog 搜尋功能，輸入關鍵字或自然語言，找出封裝的資料產品。
    • 查看資料產品的總覽、資產、合約和其他層面，判斷是否適合使用。

    詳情請參閱「搜尋資料產品」。

  • 要求存取權：向資料產品擁有者要求資料存取權限。

    詳情請參閱「要求資料產品存取權」。

  • 使用：存取基礎資產，生成洞察資料。這項作業包含下列動作：

    • 獲得核准後，即可存取產品和相關資產。舉例來說，如果資產是 BigQuery 資料表，您可以前往 BigQuery Studio 直接查詢資料。

    • 如果應用程式和開發工作流程是在Google Cloud外部運作，您可以使用外部中繼資料閘道公開資料產品。詳情請參閱「使用 Knowledge Catalog 遠端 MCP 伺服器」。

    詳情請參閱「使用資料產品」。

支援的素材資源

資料產品可以由一或多項資料資產組成。支援下列資料資產：

  • BigQuery 資料集
  • BigQuery 資料表
  • BigQuery 檢視表
  • BigQuery 處理常式
  • BigQuery 模型
  • BigQuery 外部資料表
  • Gemini Enterprise Agent Platform 資料集
  • Gemini Enterprise Agent Platform 模型
  • Cloud Storage 值區
  • Iceberg REST 目錄
  • Iceberg REST 目錄命名空間
  • Iceberg REST 目錄資料表
  • Looker (Google Cloud Core) 資訊主頁
  • Looker (Google Cloud Core) 資訊主頁元素
  • Looker (Google Cloud Core) 圖表
  • Looker (Google Cloud Core) 探索
  • Looker (Google Cloud Core) LookML 專案
  • Looker (Google Cloud Core) LookML 模型
  • Looker (Google Cloud Core) LookML 檢視表

限制

  • 位置：資料產品及其基礎資產必須位於相同的Google Cloud 位置。
  • BigQuery 模型：如要管理資料產品中 BigQuery 模型的存取權，請將 IAM 條件套用至上層資料集的 IAM 政策。共用 BigQuery 模型時，須遵守 IAM 條件限制。

  • Looker (Google Cloud Core) 資產：在資料產品中使用 Looker (Google Cloud Core) 資產時，有下列限制：

    • 不支援服務帳戶：Looker (Google Cloud Core) 的 Google 群組鏡像功能僅支援人類使用者身分。在 Looker (Google Cloud Core) 資產上設定的存取權群組，不得包含服務帳戶主體。
    • 不支援預設存取群組 IAM 角色：在存取群組層級指派的預設 IAM 角色不會套用至 Looker (Google Cloud Core) 資產，並會標示為 unsupported。您必須在每個 Looker (Google Cloud Core) 資產上，明確設定存取權群組權限。
    • 在 Looker (Google Cloud Core) 中手動同步處理權限：在資料產品中，為 Looker (Google Cloud Core) 資產設定的角色名稱，是提供給消費者的資訊預留位置。資料產生者必須在 Looker (Google Cloud Core) 執行個體中，手動設定及維護鏡像群組的資料夾存取層級和 Looker 角色。

  • 配額和限制：如需 API 頻率限制和容量配額的完整清單，請參閱「資料產品 API 要求的配額」。

  • 不支援可用區 bucket。

後續步驟