在資料網格中,自助式資料平台可讓使用者自主建構、共用及使用資料產品,從資料中產生價值。為充分發揮這些優勢,建議您在自助式資料平台中提供本文件所述的功能。
本文件屬於系列文章,說明如何在 Google Cloud實作資料網格。並假設您已閱讀並熟悉「使用 Google Cloud建構現代分散式資料網格」和「資料網格的架構與功能」中說明的概念。
這個系列包含以下部分:
- 資料網格的架構與功能
- 為資料網格設計自助式資料平台 (本文件)
- 在資料網格中建構資料產品
- 在資料網格中探索及使用資料產品
資料平台團隊通常會建立中央自助式資料平台,如本文件所述。這個團隊會建構解決方案和元件,供網域團隊 (資料產生者和資料消費者) 用於建立及使用資料產品。網域團隊代表資料網格的功能部分。建構這些元件後,資料平台團隊就能提供流暢的開發體驗,並降低建構、部署及維護安全且可互通資料產品的複雜度。
最終,資料平台團隊應讓網域團隊能更快速地移動。這類平台提供有限的工具,可滿足網域團隊的需求,進而提高團隊效率。資料平台團隊提供這些工具,可減輕領域團隊自行建構及尋找這些工具的負擔。工具選項應可根據不同需求自訂,而非強迫資料網域團隊採用不靈活的工作方式。
資料平台團隊不應專注於為資料管道自動化調度管理工具,或持續整合和持續部署 (CI/CD) 系統建構自訂解決方案。CI/CD 系統等解決方案可做為代管雲端服務 (例如 Cloud Build) 使用。使用代管雲端服務可減輕資料平台團隊的作業負擔,讓他們專注於資料網域團隊 (平台使用者) 的特定需求。營運負擔減輕後,資料平台團隊就能投入更多時間,滿足資料領域團隊的特定需求。
架構
下圖說明自助式資料平台的架構元件。圖中也顯示這些元件如何支援團隊,在資料網格中開發及使用資料產品。
如上圖所示,自助式資料平台提供下列功能:
平台解決方案:這類解決方案包含可組合的元件,用於佈建 Google Cloud 專案和資源,使用者可選取並組合這些元件,以滿足特定需求。平台使用者不必直接與元件互動,而是與平台解決方案互動,協助他們達成特定目標。資料網域團隊應設計平台解決方案,解決常見的痛點和摩擦,避免資料產品開發和使用速度變慢。舉例來說,加入資料網格的資料網域團隊可以使用基礎架構即程式碼 (IaC) 範本。使用 IaC 範本,即可快速建立一組Google Cloud 專案,並啟用標準 Identity and Access Management (IAM) 權限、網路、安全性政策和相關 Google CloudAPI,用於開發資料產品。建議您為每項解決方案提供說明文件,例如「入門指南」和程式碼範例。資料平台解決方案及其元件必須預設為安全且符合法規。
通用服務:這些服務提供資料產品探索、管理、共用和觀測功能。這些服務可協助資料消費者信任資料產品,也是資料生產者向資料消費者提醒資料產品問題的有效方式。
資料平台解決方案和常見服務可能包括:
- IaC 範本,用於設定基礎資料產品開發工作區環境,包括:
- IAM
- 記錄和監控
- 網路
- 安全性與法規遵循防護措施
- 標記資源以歸屬帳單
- 資料產品儲存、轉換和發布
- 資料產品註冊、編目和中繼資料標記
- IaC 範本遵循組織安全防護機制和最佳做法,可用於將 Google Cloud 資源部署至現有的資料產品開發工作區。
- 應用程式和資料管道範本,可用於啟動新專案,或做為現有專案的參考。這類範本包括:
- 使用常見的程式庫和框架
- 與平台記錄、監控和觀測能力工具整合
- 建構及測試工具
- 設定管理
- 用於部署作業的封裝和 CI/CD 管道
- 憑證的驗證、部署和管理
- 提供資料產品觀測能力和治理的常見服務,包括:
- 運作時間檢查,顯示資料產品的整體狀態。
- 自訂指標,提供資料產品的實用指標。
- 中央團隊提供營運支援,在資料產品發生異動時,通知使用該產品的資料消費者團隊。
- 產品評量表,顯示資料產品的成效。
- 用於探索資料產品的中繼資料目錄。
- 一組集中定義的運算政策,可全域套用至整個資料網格。
- 資料市集,方便各領域團隊共用資料。
使用 IaC 範本建立平台元件和解決方案:討論 IaC 範本在公開及部署資料產品方面的優勢。「提供通用服務」說明為何應向領域團隊提供由資料平台團隊建構及管理的通用基礎架構元件。
使用 IaC 範本建立平台元件和解決方案
資料平台團隊的目標是設定自助式資料平台,從資料中發掘更多價值。為了建構這些平台,他們會建立並提供經過審查、安全且可自助服務的基礎架構範本給領域團隊。網域團隊會使用這些範本部署資料開發和資料使用環境。IaC 範本可協助資料平台團隊達成這項目標,並實現規模化。使用經過審查且值得信賴的 IaC 範本,可讓網域團隊重複使用現有的 CI/CD 管道,簡化資源部署程序。這種做法可讓領域團隊快速上手,並在資料網格中提高工作效率。
您可以使用 IaC 工具建立 IaC 範本。雖然 IaC 工具有多種,包括 Cloud Config Connector、Pulumi、Chef 和 Ansible,但本文提供的是 Terraform 型 IaC 工具的範例。Terraform 是開放原始碼 IaC 工具,可讓資料平台團隊有效率地建立可組合的平台元件和Google Cloud 資源解決方案。資料平台團隊使用 Terraform 編寫程式碼,指定所選的最終狀態,並讓工具找出達成該狀態的方法。這種宣告式方法可讓資料平台團隊將基礎架構資源視為不可變的構件,以便在不同環境中部署。此外,這也有助於降低已部署資源與原始碼控制中宣告程式碼之間不一致的風險 (稱為設定偏移)。如果臨時手動變更基礎架構,導致設定偏差,就無法安全且重複地將 IaC 元件部署至正式環境。
可組合平台元件的常見 IaC 範本包括使用 Terraform 模組部署資源,例如 BigQuery 資料集、Cloud Storage bucket 或 Cloud SQL 資料庫。Terraform 模組可以組合成端對端解決方案,用於部署完整的 Google Cloud 專案,包括使用可組合模組部署的相關資源。如需 Terraform 模組範例,請參閱「 Google Cloud的 Terraform 藍圖」。
根據預設,每個 Terraform 模組都應符合貴組織使用的安全防護措施和法規遵循政策。這些防護措施和政策也可以用程式碼表示,並使用自動化法規遵循驗證工具 (例如 Google Cloud政策驗證工具) 自動執行。
貴組織應持續測試平台提供的 Terraform 模組,並使用相同的自動化法規遵循護欄,將變更推送至正式環境。
如要讓對 Terraform 經驗不多的網域團隊能找到並使用 IaC 元件和解決方案,建議您使用 Service Catalog 等服務。如果使用者有大量自訂需求,應允許他們使用現有解決方案所用的相同可組合 Terraform 範本,建立自己的部署解決方案。
使用 Terraform 時,建議您遵循使用 Terraform 的最佳做法中列出的 Google Cloud最佳做法。
為說明如何使用 Terraform 建立平台元件,以下各節將舉例說明如何使用 Terraform 公開使用介面及使用資料產品。
公開使用介面
資料產品的消費介面是一組資料品質和作業參數保證,由資料領域團隊提供,可讓其他團隊探索及使用其資料產品。每個使用介面也包含產品支援模型和產品說明文件。資料產品可能具有不同類型的消費介面,例如 API 或串流,如「在資料網格中建構資料產品」所述。最常見的消費介面可能是 BigQuery 授權資料集、授權檢視表或授權函式。這個介面會公開唯讀虛擬資料表,以查詢資料網格的形式呈現。介面不會授予檢視者讀取的權限,讓使用者直接存取基礎資料。
Google 提供用於建立授權檢視表的 Terraform 模組範例,可讓您建立授權檢視表,而不必授予團隊基礎授權資料集的權限。這個 Terraform 模組中的下列程式碼會對 dataset_id 授權檢視表授予這些 IAM 權限:
module "add_authorization" {
source = "terraform-google-modules/bigquery/google//modules/authorization"
version = "~> 4.1"
dataset_id = module.dataset.bigquery_dataset.dataset_id
project_id = module.dataset.bigquery_dataset.project
roles = [
{
role = "roles/bigquery.dataEditor"
group_by_email = "ops@mycompany.com"
}
]
authorized_views = [
{
project_id = "view_project"
dataset_id = "view_dataset"
table_id = "view_id"
}
]
authorized_datasets = [
{
project_id = "auth_dataset_project"
dataset_id = "auth_dataset"
}
]
}
如果您需要授予使用者多個檢視表的存取權,則為每個授權檢視表授予存取權可能會耗費時間,且更難維護。您可以使用授權資料集,自動授權在授權資料集中建立的任何檢視表,而不必建立多個授權檢視表。
使用資料產品
在大多數數據分析用途中,消耗模式取決於使用資料的應用程式。集中提供的消費環境主要用於資料探索,然後才會在消費應用程式中使用資料。如「在資料網格中探索及使用產品」一文所述,SQL 是最常用於查詢資料產品的方法。因此,資料平台應為資料消費者提供 SQL 應用程式,以便探索資料。
視數據分析用途而定,您或許可以使用 Terraform 為資料消費者部署使用環境。舉例來說,資料科學是資料消費者的常見用途。您可以使用 Terraform 部署 Gemini Enterprise Agent Platform 使用者自行管理的筆記本,做為資料科學開發環境。資料消費者可以透過資料科學筆記本,使用憑證登入資料網格,探索有權存取的資料,並根據這些資料開發機器學習模型。
如要瞭解如何使用 Terraform 在 Google Cloud上部署及保護筆記本環境,請參閱「在企業中建構及部署生成式 AI 和機器學習模型」。
提供一般服務
除了自助式 IaC 元件和解決方案外,資料平台團隊也可能負責建構及營運多個資料網域團隊使用的通用共用平台服務。共用平台服務的常見例子包括自行託管的第三方軟體,例如商業智慧視覺化工具或 Kafka 叢集。在 Google Cloud中,資料平台團隊可能會選擇代表資料網域團隊管理 Knowledge Catalog 和 Cloud Logging 記錄檔接收器等資源。為資料網域團隊管理資源,可讓資料平台團隊在整個組織中,集中管理及稽核政策。
以下各節說明如何使用 Knowledge Catalog,在 Google Cloud的資料網格中集中管理及治理資料,以及如何在資料網格中實作資料觀測能力功能。
使用 Knowledge Catalog 治理資料
Knowledge Catalog 提供資料管理平台,可協助您在涵蓋整個組織的資料網格中,建構獨立的資料網域。Knowledge Catalog 可讓您集中控管及監控各網域的資料。
組織可透過 Knowledge Catalog,將資料 (支援的資料來源) 和相關構件 (例如程式碼、筆記本和記錄) 按照邏輯彙整至代表資料網域的 Knowledge Catalog 湖泊。在下圖中,銷售網域使用 Knowledge Catalog 將資產 (包括資料品質指標和記錄) 整理至 Knowledge Catalog 區域。

如上圖所示,Knowledge Catalog 可用於管理下列資產的網域資料:
- Knowledge Catalog 可讓資料網域團隊在名為 Knowledge Catalog 湖泊的邏輯群組中,一致管理資料資產。資料網域團隊可以在同一個 Knowledge Catalog 湖泊中整理 Knowledge Catalog 資產,不必實際移動資料或將資料儲存至單一儲存系統。Knowledge Catalog 資產可參照 Cloud Storage bucket 和 BigQuery 資料集,這些資料集儲存在多個 Google Cloud 專案中,而非包含 Knowledge Catalog 湖泊的Google Cloud 專案。Knowledge Catalog 資產可以是結構化或非結構化資料,也可以儲存在分析資料湖泊或資料倉儲中。圖中有銷售、供應鏈和產品領域的資料湖泊。
- 資料網域團隊可透過 Knowledge Catalog 儲存區,在同一個 Knowledge Catalog 湖泊中,進一步將資料資產整理成較小的子群組,並新增結構來擷取子群組的重要層面。舉例來說,Knowledge Catalog 區域可用於將資料產品中的相關資料資產分組。將資料資產分組至單一 Knowledge Catalog 區域,資料網域團隊就能將該區域視為單一資料產品,一致管理存取權政策和資料治理政策。圖中有實體銷售、線上銷售、供應鏈倉儲和產品的資料可用區。
組織可透過 Knowledge Catalog 湖泊和可用區,根據業務背景資訊統整分散各處的資料。這種安排是管理中繼資料、設定治理政策和監控資料品質等活動的基礎。這類活動可讓組織大規模管理分散式資料,例如在資料網格中。
資料觀測能力
每個資料網域都應實作專屬的監控和警告機制,最好採用標準化方法。每個網域都可以套用「服務監控的概念」一文所述的監控做法,並對資料網域進行必要調整。觀測能力是個大主題,不在本文件討論範圍內。本節僅說明在資料網格實作中實用的模式。
如果產品有多個資料消費者,及時向每位消費者提供產品狀態資訊,可能會造成營運負擔。基本解決方案 (例如手動管理電子郵件發布) 通常容易出錯。這類資訊有助於通知消費者預定的停機時間、即將推出的產品和淘汰作業,但無法提供即時作業感知。
中央服務在監控資料網格中產品的健康狀態和品質方面,扮演著重要角色。雖然觀測能力功能並非成功實作資料網格的必要條件,但實作這類功能可提高資料產生者和消費者的滿意度,並降低整體營運和支援成本。下圖顯示以 Cloud Monitoring 為基礎的資料網格觀測能力架構。
以下各節將說明圖中顯示的元件:
- 運作時間檢查:顯示資料產品的整體狀態。
- 自訂指標:提供資料產品的實用指標。
- 中央資料平台團隊提供營運支援,在資料產品有異動時,提醒使用這些產品的資料消費者。
- 產品評量表和資訊主頁,顯示資料產品的成效。
運作時間檢查
資料產品可以建立簡單的自訂應用程式,用於執行運作時間檢查。這些檢查可做為產品整體狀態的高階指標。舉例來說,如果資料產品團隊發現產品的資料品質突然下降,可以將該產品標示為不健康。如果資料消費者的衍生產品仰賴上游資料產品中的資料持續可用,那麼接近即時的運作時間檢查就特別重要。資料生產者應建立運作時間檢查,包括檢查上游依附元件,以便向資料消費者提供產品健康狀態的準確資訊。
資料消費者可以在處理過程中加入產品運作時間檢查。舉例來說,如果 Composer 工作會根據資料產品提供的資料產生報表,則可先驗證產品是否處於「執行中」狀態。建議您讓運作時間檢查應用程式在 HTTP 回應的訊息內文中,傳回結構化酬載。這個結構化酬載應指出是否有問題、以人類可讀的形式說明問題的根本原因,並盡可能提供預估的服務還原時間。這個結構化酬載也能提供更精細的產品狀態資訊。舉例來說,其中可以包含授權資料集中每個檢視表的健康資訊,並以產品形式公開。
自訂指標
資料產品可採用各種自訂指標來評估實用性。資料產品團隊可以將這些自訂指標發布至指定的特定領域 Google Cloud 專案。如要為所有資料產品建立統一的監控體驗,可以授予中央資料網格監控專案存取這些特定領域專案的權限。
每種資料產品消費介面都有不同的指標,用來衡量其效用。指標也可以是特定業務領域專屬。舉例來說,透過檢視表或 Storage Read API 公開的 BigQuery 資料表指標可能如下:
- 資料列數量。
- 資料更新間隔 (以測量時間前的秒數表示)。
- 資料品質分數。
- 可用資料。這項指標可以指出資料是否可供查詢。另一個方法是使用本文稍早提到的運作時間檢查。
這些指標可視為特定產品的服務水準指標 (SLI)。
如果是資料串流 (以 Pub/Sub 主題的形式實作),這份清單可以是標準 Pub/Sub 指標,可透過主題取得。
由中央資料平台團隊提供營運支援
中央資料平台團隊可以公開自訂資訊主頁,向資料消費者顯示不同層級的詳細資料。簡單的狀態資訊主頁會列出資料網格中的產品,以及這些產品的運作時間狀態,可協助回答多項使用者要求。
中央團隊也可以做為通知發布中心,通知資料消費者他們使用的資料產品中發生的各種事件。一般來說,這個中心是透過建立警告政策來建立。集中管理這項功能,可減少各資料產生者團隊必須執行的工作。建立這些政策時,不需要具備資料網域知識,而且應有助於避免資料使用瓶頸。
資料網格監控的理想最終狀態,是資料產品標記範本在產品可用時,公開產品支援的 SLI 和服務水準目標 (SLO)。接著,中央團隊可以使用 Monitoring API 透過服務監控功能,自動部署對應的警告。
產品評量表
資料網格中的四項功能可定義條件,為資料產品建立評量表,做為中央管理協議的一部分。這些評量表可做為資料產品成效的客觀評估依據。
用於計算評量表的許多變數,都是資料產品符合服務等級目標的時間百分比。實用的條件包括正常運作時間百分比、平均資料品質分數,以及資料更新間隔不低於門檻的產品百分比。如要使用 Prometheus 查詢語言 (PromQL) 自動計算這些指標,中央監控專案的自訂指標和運作時間檢查結果應已足夠。
後續步驟
- 進一步瞭解 BigQuery。
- 瞭解 Dataplex。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。