部署企業資料管理和分析平台

Last reviewed 2025-04-04 UTC

企業資料管理和分析平台提供一個安全區，您可以在其中儲存、分析及操控私密資訊，同時維持安全控管。您可以使用企業資料網格架構，在 Google Cloud 上部署資料管理和分析平台。這個架構可在混合式環境中運作，其中 Google Cloud 元件會與現有的地端部署元件和作業程序互動。

企業資料網格架構包含下列項目：

• GitHub 存放區，其中包含一組 Terraform 設定、指令碼和程式碼，用於建構下列項目：
  • 這項治理專案可讓您使用 Google 實作的雲端資料管理功能 (CDMS) 關鍵控管架構。
  • 支援互動式和正式環境工作流程的資料平台範例。
  • 資料平台中的生產端環境，支援多個資料網域。資料網域是資料元素的邏輯分組。
  • 資料平台中的消費者環境，可支援多項消費者專案。
  • 這項資料移轉服務使用 Workload Identity Federation 和 Tink 加密程式庫，協助您以安全的方式將資料移轉至 Google Cloud 。
  • 包含擷取、非機密和機密專案的資料網域範例。
  • 資料存取系統範例，可讓資料消費者要求存取資料集，並讓資料擁有者授予這些資料集的存取權。範例也包含工作流程管理工具，可據此變更這些資料集的 IAM 權限。
• 架構、設計、安全控管機制和作業程序指南，您可以使用這個架構來實作 (本文件)。

企業資料網格架構的設計與企業基礎藍圖相容。企業基礎藍圖提供這項架構依賴的多項基礎層級服務，例如虛擬私有雲網路和記錄。如果您的Google Cloud 環境提供必要功能，則不需部署企業基礎藍圖，即可部署這個架構。

本文件適用於雲端架構師、資料科學家、資料工程師和資安架構師，他們可以運用這個架構，在 Google Cloud上建構及部署全方位的資料服務。本文假設您熟悉資料網格、 Google Cloud資料服務，以及 Google Cloud CDMC 架構實作的概念。

架構

企業資料網格架構採用分層方法，提供資料擷取、資料處理和治理功能。這個架構旨在透過 CI/CD 工作流程部署及控管。下圖顯示這個架構部署的資料層與環境中其他層的關係。

這張圖表包含下列項目：

• Google Cloud 基礎架構提供靜態資料加密和傳輸中資料加密等安全防護功能，以及運算和儲存空間等基本建構模塊。
• 企業基礎提供身分、網路、記錄、監控和部署系統等資源基準，讓您能採用 Google Cloud 處理資料工作負載。
• 資料層提供多種功能，例如資料擷取、資料儲存庫、資料存取控管、資料治理、資料監控和資料共用。
• 應用程式層代表使用資料層資產的各種不同應用程式。
• CI/CD 提供工具，可自動佈建、設定、管理及部署基礎架構、工作流程和軟體元件。這些元件可協助您確保部署作業一致、可靠且可稽核，盡可能減少人為錯誤，並加快整體開發週期。

為展示資料環境的使用方式，架構包含範例資料工作流程。樣本資料工作流程會引導您完成下列程序：資料治理、資料擷取、資料處理、資料共用和資料使用。

重要架構決策

下表彙整架構的高階決策。

決策領域	決定
Google Cloud 架構
資源階層結構	這個架構採用企業基礎藍圖中的資源階層。
網路	這個架構包含一個範例資料移轉服務，該服務使用 Workload Identity Federation 和 Tink 程式庫。
角色和 IAM 權限	這個架構包含區隔的資料生產者角色、資料消費者角色、資料治理角色和資料平台角色。
通用資料服務
中繼資料	這個架構使用 Knowledge Catalog 管理資料中繼資料。
集中管理政策	為管理政策，架構會使用 Google Cloud實作的 CDMC 架構。
資料存取權管理	為控管資料存取權，架構包含獨立程序，要求資料消費者向資料擁有者要求資料資產存取權。
資料品質	這個架構使用 Cloud Data Quality Engine，定義並執行指定資料表資料欄的資料品質規則，並根據正確性和完整性等指標評估資料品質。
資料安全性	這個架構使用標記、加密、遮蓋、權杖化和 IAM 控制項，提供資料安全性。
資料網域
資料環境	這個架構包含三個環境。其中兩個環境 (非正式環境和正式環境) 是由管道驅動的作業環境。其中一個環境 (開發) 是互動式環境。
資料擁有者	資料擁有者會擷取、處理、公開及授予資料資產的存取權。
資料使用者	資料使用者要求存取資料資產。
新手上路和作業
管道	這個架構會使用下列管道部署資源： 基礎管道 基礎架構管道 構件管道 Service Catalog 管道
存放區	每個管道都使用獨立的存放區，以便區分責任。
處理流程	這項程序要求對正式環境的變更必須包含提交者和核准者。
Cloud 作業
資料產品評量表	報表引擎會產生資料產品評量表。
Cloud Logging	這個架構使用企業基礎藍圖中的記錄基礎架構。
Cloud Monitoring	這個架構採用企業基礎藍圖中的監控基礎架構。

身分：將角色對應至群組

資料網格會運用企業基礎藍圖現有的身分生命週期管理、授權和驗證架構。使用者不會直接獲派角色，而是透過群組指派 IAM 角色和權限。建立專案時，系統會透過基礎架構管道指派 IAM 角色和權限。

資料網格會將群組與四個主要領域之一建立關聯：基礎架構、資料治理、網域型資料產生者和網域型消費者。

這些群組的權限範圍如下：

• 基礎架構群組的權限範圍是整個資料網格。
• 資料治理群組的權限範圍是資料治理專案。
• 以網域為基礎的生產者和消費者權限，範圍僅限於其資料網域。

下表列出這項資料網格實作中使用的各種角色，以及相關聯的權限。

基礎架構

群組	說明	角色
[e-mail]	資料網格的整體管理員	roles/owner (資料平台)

資料治理

群組	說明	角色
[e-mail]	資料治理專案的管理員	資料治理專案的 roles/owner
[e-mail]	建構及維護資料治理元件的開發人員	資料治理專案中的多個角色，包括 roles/viewer、BigQuery 角色和 Knowledge Catalog 角色
[e-mail]	資料治理資訊的讀者	roles/viewer
[e-mail]	管理專案的安全性管理員	roles/orgpolicy.policyAdmin和roles/iam.securityReviewer
[e-mail]	有權使用切面類型的群組	roles/dataplex.aspectTypeUser
[e-mail]	有權使用切面類型和新增切面的群組	roles/dataplex.aspectTypeUser和roles/dataplex.catalogEditor
[e-mail]	Security Command Center 通知的服務帳戶群組	無，這是成員資格群組，系統會以這個名稱建立服務帳戶，並授予必要權限。

網域資料產生者

群組	說明	角色
gcp-dm-{data_domain_name}[e-mail]	特定資料網域的管理員	資料網域專案的 roles/owner
gcp-dm-{data_domain_name}[e-mail]	在資料網域中建構及維護資料產品的開發人員	資料網域專案的多個角色，包括 roles/viewer、BigQuery 角色和 Cloud Storage 角色
gcp-dm-{data_domain_name}[e-mail]	資料網域資訊的讀取者	roles/viewer
gcp-dm-{data_domain_name}-metadata-editors@{var.domain}	Knowledge Catalog 項目的編輯者	可編輯 Knowledge Catalog 項目的角色
gcp-dm-{data_domain_name}[e-mail]	資料網域的資料監管者	管理中繼資料和資料治理的角色

網域資料消費者

群組	說明	角色
gcp-dm-consumer-{project_name}[e-mail]	特定用戶專案的管理員	消費者專案的 roles/owner
gcp-dm-consumer-{project_name}[e-mail]	在消費者專案中工作的開發人員	消費者專案的多個角色，包括 roles/viewer 和 BigQuery 角色
gcp-dm-consumer-{project_name}[e-mail]	用戶專案資訊的讀取者	roles/viewer

組織架構

為了區分正式作業和正式資料，這個架構使用不同的環境來開發及發布工作流程。正式環境作業包括工作流程的管理、可追溯性和可重複性，以及工作流程結果的可稽核性。正式環境資料是指貴組織運作時可能需要的機密資料。所有環境都設有安全控管機制，可讓您擷取及操作資料。

為協助資料科學家和工程師，架構包含互動式環境，開發人員可直接使用環境，並透過精選解決方案目錄新增服務。作業環境是由管道驅動，這些管道具有編碼架構和設定。

這個架構以企業基礎藍圖的組織結構為基礎，部署資料工作負載。下圖顯示企業資料網格架構中使用的頂層資料夾和專案。

下表說明架構中的頂層資料夾和專案。

資料夾	元件	說明
common	prj-c-artifact-pipeline	包含用於建構架構程式碼構件的部署管道。
	prj-c-service-catalog	包含 Service Catalog 用於在互動式環境中部署資源的基礎架構。
	prj-c-datagovernance	包含 Google Cloud實作 CDMC 架構時使用的所有資源。
development	fldr-d-dataplatform	包含資料平台的專案和資源，用於以互動模式開發用途。
non-production	fldr-n-dataplatform	包含資料平台的專案和資源，用於測試您想在作業環境中部署的用途。
production	fldr-p-dataplatform	包含資料平台的專案和資源，可部署至正式環境。

資料平台資料夾

資料平台資料夾包含所有資料層元件和部分 CDMC 資源。此外，資料平台資料夾和資料治理專案包含 CDMC 資源。下圖顯示在資料平台資料夾中部署的資料夾和專案。

每個資料平台資料夾都包含環境資料夾 (正式環境、非正式環境和開發環境)。下表說明各資料平台資料夾中的資料夾。

資料夾	說明
製作人	包含資料網域。
使用者	包含用戶專案。
資料領域	包含與特定網域相關聯的專案。

Producers 資料夾

每個生產者資料夾都包含一或多個資料網域。資料網域是指具有共同意義、用途或業務情境的資料元素邏輯分組。資料網域可讓您分類及整理組織內的資料資產。下圖顯示資料網域的結構。這個架構會為每個環境，在資料平台資料夾中部署專案。

下表說明在各環境的資料平台資料夾中部署的專案。

專案	說明
擷取	擷取專案會將資料擷取至資料網域。這個架構提供範例，說明如何將資料串流至 BigQuery、Cloud Storage 和 Pub/Sub。擷取專案也包含 Dataflow 和 Managed Service for Apache Airflow 的範例，可用來自動調度管理擷取資料的轉換和移動作業。
非機密	非機密專案包含已去識別化的資料。您可以遮蓋、容器化、加密、權杖化或模糊處理資料。使用政策標記控管資料呈現方式。
機密	機密專案包含明文資料。您可以透過 IAM 權限控管存取權。

消費者資料夾

消費者資料夾包含消費者專案。消費者專案提供一種機制，可根據所需的信任邊界區隔資料使用者。每項專案都會指派給不同的使用者群組，而群組則會依專案獲派所需資料資產的存取權。您可以使用消費者專案，收集、分析及擴充群組資料。

通用資料夾

一般資料夾包含不同環境和專案使用的服務。本節說明新增至通用資料夾的功能，可啟用企業資料網格。

CDMC 架構

這個架構使用 CDMC 架構進行資料治理。資料治理函式位於一般資料夾的資料治理專案中。下圖顯示 CDMC 架構的元件。圖中的數字代表 Google Cloud服務處理的主要控管機制。

下表說明企業資料網格架構使用的 CDMC 架構元件。

CDMC 元件	Google Cloud 服務	說明
存取權和生命週期元件
金鑰管理	Cloud KMS	這項服務可安全管理用於保護機密資料的加密金鑰。
記錄管理員	Cloud Run	這類應用程式會完整記錄資料處理活動，確保組織能追蹤及稽核資料使用情形。
封存政策	BigQuery	包含資料儲存政策的 BigQuery 資料表。
授權	BigQuery	BigQuery 資料表，用於儲存可存取機密資料的人員資訊。這張資料表可確保只有授權使用者能根據角色和權限存取特定資料。
掃描元件
資料遺失	Sensitive Data Protection	用於檢查資產是否含有機密資料的服務。
DLP 發現項目	BigQuery	BigQuery 資料表，用於分類資料平台中的資料。
政策	BigQuery	BigQuery 資料表，其中包含一致的資料治理做法 (例如資料存取類型)。
匯出帳單	BigQuery	儲存從 Cloud Billing 匯出的費用資訊，以便分析與資料資產相關的費用指標。
Cloud Data Quality Engine	Cloud Run	對資料表和資料欄執行資料品質檢查的應用程式。
資料品質發現項目	BigQuery	BigQuery 資料表，記錄定義的資料品質規則與資料資產實際品質之間的差異。
報表元件
排程器	Cloud Scheduler	這項服務可控管 Cloud 資料品質 Engine 的執行時間，以及 Sensitive Data Protection 檢查的執行時間。
報表引擎	Cloud Run	這個應用程式會產生報表，協助追蹤及評估 CDMC 架構控管機制的遵循情況。
發現項目和資產	BigQuery 和 Pub/Sub	BigQuery 報表，列出資料管理控制項中的差異或不一致之處，例如缺少層面、分類錯誤或儲存位置不符合規範。
代碼匯出	BigQuery	BigQuery 資料表，內含從 Knowledge Catalog 擷取的切面資訊。
其他元件
政策管理	組織政策服務	這項服務可定義及強制執行資料儲存地理位置的限制。
以屬性為基礎的存取權政策	Access Context Manager	這項服務可定義及強制執行精細、以屬性為基礎的存取政策，確保只有來自許可位置和裝置的授權使用者，才能存取機密資訊。
中繼資料	Knowledge Catalog	這項服務會儲存資料網格中，使用中資料表的中繼資料資訊。
Tag Engine	Cloud Run	在 Knowledge Catalog 中，將切面新增至 BigQuery 資料表項目的應用程式。
CDMC 報告	數據分析	資訊主頁：可讓分析師查看 CDMC 架構引擎產生的報表。

CDMC 實作

下表說明架構如何實作 CDMC 架構中的重要控管措施。

CDMC 控制項需求	實作
資料控管法規遵循	報表引擎會偵測不符合規定的資料資產，並將發現項目發布至 Pub/Sub 主題。這些發現項目也會載入 BigQuery，以便使用數據分析製作報表。
遷移和雲端生成的資料皆已建立資料擁有權	Knowledge Catalog 會自動從 BigQuery 擷取技術中繼資料。Tag Engine 會從參照資料表套用業務中繼資料層面，例如擁有者名稱和機密程度，確保所有機密資料都加上擁有者資訊，以符合法規。這項自動化程序會識別敏感資料，並加上適當的擁有者資訊標籤，協助提供資料治理和法規遵循功能。
資料來源和使用方式由自動化技術管理及支援	Knowledge Catalog 會為資料資產加上切面註解，並在切面中加入 is_authoritative 標記，藉此將資料資產分類為權威來源。Knowledge Catalog 會自動將這項資訊和技術中繼資料儲存在資料登錄檔中。報表引擎和標記引擎可使用 Pub/Sub，驗證及回報權威來源的資料註冊。
管理資料主權和跨境資料移動	組織政策服務定義資料資產允許的儲存區域，Access Context Manager 則根據使用者位置限制存取權。Knowledge Catalog 會將核准的儲存位置儲存為中繼資料切面。報表引擎會將這些層面與 BigQuery 中資料資產的實際位置進行比較，並使用 Pub/Sub 將任何差異發布為發現項目。如果資料儲存或存取方式不符合定義的政策，Security Command Center 會產生安全漏洞發現項目，提供額外的監控機制。
資料目錄已實作、使用且可互通	Knowledge Catalog 會儲存及更新所有 BigQuery 資料資產的技術中繼資料，有效建立持續同步的 Data Catalog。Knowledge Catalog 會確保任何新增或修改的資料表和檢視表，都會立即新增至目錄，維持最新的資料資產清單。
定義及使用資料分類	Sensitive Data Protection 會檢查 BigQuery 資料，並識別機密資訊類型。接著，系統會根據分類參考表對這些發現項目進行排名，並在 Knowledge Catalog 中，將最高機密等級指派為資料欄和資料表層級的面向。每當新增資料資產或修改現有資料資產時，Tag Engine 都會更新 Knowledge Catalog 的機密程度切面，藉此管理這項程序。這項程序可確保系統根據機密程度持續更新資料分類，您可以使用 Pub/Sub 和整合式報表工具監控及回報。
資料授權會受到管理、強制執行和追蹤	BigQuery 政策標記可控管資料欄層級的機密資料存取權，確保只有獲派政策標記的授權使用者，才能存取特定資料。IAM 管理資料倉儲的整體存取權，Knowledge Catalog 則儲存敏感度分類。系統會定期檢查，確保所有機密資料都有對應的政策標記，並透過 Pub/Sub 回報任何不一致之處，以便修正。
管理資料的存取、使用和結果，確保符合道德規範	提供者和消費者的資料共用協議會儲存在專屬的 BigQuery 資料倉儲中，以控管使用目的。Knowledge Catalog 會使用供應商協議資訊標記資料資產，而消費者協議則會連結至 IAM 繫結，用於存取控管。查詢標籤會強制執行使用目的，要求使用者在查詢機密資料時指定有效目的，並根據他們在 BigQuery 中的授權進行驗證。BigQuery 的稽核追蹤記錄會追蹤所有資料存取活動，確保符合資料共用協議。
資料安全無虞，控管機制有憑有據	Google 預設的靜態資料加密功能可保護儲存在磁碟上的資料。Cloud KMS 支援客戶自行管理的加密金鑰 (CMEK)，可強化金鑰管理。BigQuery 會實施資料欄層級的動態資料遮蓋，以便去識別化，並支援在資料擷取期間進行應用程式層級的去識別化。Knowledge Catalog 會儲存中繼資料切面，用於對資料資產套用的加密和去識別化技術。自動檢查可確保加密和去識別化方法符合預先定義的安全政策，並使用 Pub/Sub 將任何差異回報為發現項目。
已定義並實施資料隱私權架構	Knowledge Catalog 會使用包含影響評估相關資訊 (例如主體位置和評估報告連結) 的切面，為機密資料資產加上註解。Tag Engine 會根據資料機密程度和 BigQuery 中的政策資料表，套用這些面向。政策資料表會根據資料和主體所在位置，定義評估需求。這項自動化程序可持續監控及回報影響評估規定的遵循情況，確保在必要時執行資料保護影響評估 (DPIA) 或保護影響評估 (PIA)。
規劃及管理資料生命週期	Knowledge Catalog 會使用資料保留政策標記資料資產，指定保留期限和到期動作 (例如封存或清除)。Record Manager 會根據定義的面向，清除或封存 BigQuery 資料表，自動強制執行這些政策。這項強制執行措施可確保遵守資料生命週期政策，並符合資料保留規定，同時使用 Pub/Sub 偵測及回報任何差異。
管理資料 品質	Cloud Data Quality Engine 會定義並執行指定資料表資料欄的資料品質規則，根據正確性和完整性等指標評估資料品質。這些檢查的結果 (包括成功百分比和門檻) 會以切面的形式儲存在 Knowledge Catalog。儲存這些結果後，即可持續監控及回報資料品質，並使用 Pub/Sub 將任何問題或偏離可接受門檻的情況發布為發現項目。
建立並套用成本管理原則	Knowledge Catalog 會儲存資料資產的費用相關指標，例如查詢費用、儲存費用和資料輸出費用，這些費用是根據從 Cloud Billing 匯出至 BigQuery 的帳單資訊計算得出。儲存費用相關指標可全面追蹤及分析費用，確保符合費用政策並有效運用資源，並透過 Pub/Sub 回報任何異常狀況。
瞭解資料來源和歷程	Knowledge Catalog 內建的資料歷程功能可追蹤資料資產的來源和歷程，以視覺化方式呈現資料流程。此外，資料擷取指令碼會識別資料的原始來源，並將其記錄為 Knowledge Catalog 中的一個面向，提高資料來源的可追溯性。

資料存取權管理

架構的資料存取權是透過獨立程序控管，將作業控管 (例如執行 Dataflow 工作) 與資料存取控管分開。使用者對 Google Cloud 服務的存取權是由環境或作業考量定義，並由雲端工程群組佈建及核准。使用者對 Google Cloud 資料資產 (例如 BigQuery 資料表) 的存取權涉及隱私權、法規或管理問題，須遵守生產方和使用方之間的存取協議，並透過下列程序控管。下圖顯示如何透過不同軟體元件的互動，佈建資料存取權。

如上圖所示，資料存取權的新進人員訓練是由下列程序處理：

• Knowledge Catalog 會收集雲端資料資產並建立目錄。
• 工作流程管理員會從 Knowledge Catalog 擷取資料資產。
• 資料擁有者已加入工作流程管理工具。

資料存取權管理機制的運作方式如下：

1. 資料消費者要求特定資產。
2. 資產的資料擁有者會收到要求通知。
3. 資料擁有者核准或拒絕要求。
4. 如果要求獲准，工作流程管理員會將群組、資產和相關聯的標記傳遞給 IAM 對應工具。
5. IAM 對應工具會將工作流程管理員標記轉譯為 IAM 權限，並授予指定群組資料資產的 IAM 權限。
6. 當使用者想存取資料資產時，IAM 會根據群組權限，評估是否允許存取 Google Cloud 資產。
7. 如果允許，使用者就能存取資料資產。

網路

資料安全性程序會從來源應用程式啟動，該應用程式可能位於地端部署環境，或目標Google Cloud 專案以外的其他環境。在進行任何網路傳輸之前，這個應用程式會使用 Workload Identity Federation，安全地向 Google Cloud API 驗證自身身分。並使用這些憑證與 Cloud KMS 互動，取得或包裝必要金鑰，然後運用 Tink 程式庫，根據預先定義的範本，對機密資料酬載執行初始加密和去識別化。

保護資料酬載後，必須將酬載安全地轉移至 Google Cloud 擷取專案。如果是地端部署應用程式，您可以使用 Cloud Interconnect 或 Cloud VPN。在Google Cloud 網路中，使用 Private Service Connect 將資料轉送至目標專案虛擬私有雲網路中的擷取端點。Private Service Connect 可讓來源應用程式使用私人 IP 位址連線至 Google API，確保流量不會公開至網際網路。

整個網路路徑和 ingestion 專案中的目標 ingestion 服務 (Cloud Storage、BigQuery 和 Pub/Sub)，都受到 VPC Service Controls 範圍保護。這個 perimeter 會強制執行安全邊界，確保來自來源的受保護資料，只能擷取至該特定專案中授權的Google Cloud 服務。

記錄

這個架構使用企業基礎藍圖提供的 Cloud Logging 功能。

管道

企業資料網格架構會使用一系列管道，佈建基礎架構、自動化調度管理、資料集、資料管道和應用程式元件。架構的資源部署管道使用 Terraform 做為基礎架構即程式碼 (IaC) 工具，並使用 Cloud Build 做為 CI/CD 服務，將 Terraform 設定部署至架構環境。下圖顯示管道之間的關係。

基礎管道和基礎架構管道是企業基礎藍圖的一部分。下表說明管道的用途，以及管道佈建的資源。

管道	佈建者	資源
基礎管道	啟動	資料平台資料夾和子資料夾 常見專案 基礎架構管道服務帳戶 基礎架構管道的 Cloud Build 自動建構觸發條件 Shared VPC VPC Service Controls perimeter
基礎架構管道	基礎管道	消費者專案 Service Catalog 服務帳戶 Service Catalog 管道的 Cloud Build 自動建構觸發條件 Artifact pipeline 服務帳戶 構件管道的 Cloud Build 自動建構觸發條件
Service Catalog 管道	基礎架構管道	部署在 Service Catalog bucket 中的資源
構件管道	基礎架構管道	構件管道會產生資料網格使用的各種容器和程式碼集其他元件。

每個管道都有專屬的一組存放區，可從中提取程式碼和設定檔。每個存放區都有分散權責，作業程式碼部署作業的提交者和核准者由不同群組負責。

透過 Service Catalog 互動式部署

互動式環境是架構中的開發環境，位於開發資料夾下。互動式環境的主要介面是 Service Catalog，開發人員可使用預先設定的範本，將 Google 服務例項化。這些預先設定的範本稱為「服務範本」。服務範本可協助您強制執行資安態勢，例如強制執行 CMEK 加密，以及防止使用者直接存取 Google API。

下圖顯示互動式環境的元件，以及資料科學家如何部署資源。

如要使用 Service Catalog 部署資源，請按照下列步驟操作：

1. MLOps 工程師將 Google Cloud的 Terraform 資源範本放入 Git 存放區。
2. Git Commit 指令會觸發 Cloud Build 管道。
3. Cloud Build 會將範本和任何相關聯的設定檔複製到 Cloud Storage。
4. MLOps 工程師會手動設定 Service Catalog 解決方案和 Service Catalog。接著，工程師在互動式環境中，與服務專案共用 Service Catalog。
5. 資料科學家從 Service Catalog 選取資源。
6. Service Catalog 會將範本部署至互動式環境。
7. 資源會提取任何必要的設定指令碼。
8. 資料科學家與資源互動。

構件管道

資料擷取程序會使用 Managed Airflow 和 Dataflow，自動調度管理資料網域內的資料移動和轉換作業。構件管道會建構資料擷取所需的所有資源，並將資源移至適當位置，供服務存取。構件管道會建立自動調度管理工具使用的容器構件。

安全性控管

企業資料網格架構採用分層縱深防禦安全性模型，其中包含預設 Google Cloud 功能、 Google Cloud服務，以及透過企業基礎藍圖設定的安全防護功能。下圖顯示架構中各種安全控管機制的分層。

下表說明與各層資源相關聯的安全控管機制。

圖層	資源	安全控管措施
CDMC 架構	Google Cloud CDMC 實作	提供管理架構，協助保護、管理及控管資料資產。詳情請參閱「CDMC Key Controls Framework」。
部署作業	基礎架構管道	提供一系列管道，可部署基礎架構、建構容器及建立資料管道。使用管道可確保可稽核性、可追溯性和可重複性。
	構件管道	部署基礎架構管道未部署的各種元件。
	Terraform 範本	建構系統基礎架構。
	Open Policy Agent	確保平台符合所選政策。
網路	Private Service Connect	在 API 層和 IP 層提供架構資源的資料竊取防護機制。可讓您使用私人 IP 位址與 Google Cloud API 通訊，避免將流量公開至網際網路。
	使用私人 IP 位址的虛擬私有雲網路	有助於避免暴露在網際網路威脅中。
	VPC Service Controls	協助保護機密資源，避免資料遭竊。
	防火牆	協助保護虛擬私有雲網路，防止未經授權的存取。
存取權管理	Access Context Manager	控管哪些人可以存取哪些資源，並協助防止未經授權使用資源。
	workload identity federation	不必使用外部憑證，即可將資料從地端部署環境轉移至平台。
	Knowledge Catalog	提供使用者可用的資產索引。
	IAM	提供精細的存取權。
加密	Cloud KMS	可讓您管理加密金鑰和密鑰，並透過靜態資料加密和傳輸中資料加密功能保護資料。
	Secrets Manager	為由 IAM 控制的管道提供密鑰儲存庫。
	靜態資料加密	根據預設， Google Cloud 會對靜態資料進行加密。
	傳輸中資料加密	根據預設， Google Cloud 會加密傳輸中的資料。
偵測性	Security Command Center	協助您偵測 Google Cloud組織中的設定錯誤和惡意活動。
	持續架構	持續根據您定義的一系列 OPA 政策檢查 Google Cloud 組織。
	IAM 建議工具	分析使用者權限，並提供減少權限的建議，協助落實最小權限原則。
	防火牆洞察	分析防火牆規則、找出權限過於寬鬆的防火牆規則，並建議更嚴格的防火牆，協助強化整體資安態勢。
	Cloud Logging	提供系統活動的洞察資訊，並協助偵測異常和惡意活動。
	Cloud Monitoring	追蹤重要信號和事件，協助識別可疑活動。
預防	組織政策	可讓您控管及限制 Google Cloud組織內的動作。

Workflows

下列各節將概述資料產生者和資料消費者的工作流程，確保根據資料機密程度和使用者角色，實施適當的存取控管措施。

資料產生者工作流程

下圖顯示資料在傳輸至 BigQuery 時如何受到保護。

資料移轉的工作流程如下：

1. 與 Workload Identity Federation 整合的應用程式會使用 Cloud KMS 解密包裝的加密金鑰。
2. 應用程式會使用 Tink 程式庫，透過範本將資料去識別化或加密。
3. 應用程式會將資料轉移至 Google Cloud的擷取專案。
4. 資料會傳送至 Cloud Storage、BigQuery 或 Pub/Sub。
5. 在擷取專案中，系統會使用範本解密或重新識別資料。
6. 解密的資料會根據另一個去識別化範本進行加密或遮蓋，然後放入非機密專案。Tag Engine 會視情況套用切面和政策標記。
7. 非機密專案的資料會轉移至機密專案，並重新識別。

允許存取下列資料：

• 有權存取機密專案的使用者，可以存取所有原始明文資料。
• 使用者只要有權存取非機密專案，就能根據與資料相關聯的政策標記和自身權限，存取遮蓋、權杖化或加密的資料。

資料消費者工作流程

下列步驟說明消費者如何存取儲存在 BigQuery 中的資料。

1. 資料消費者使用 Knowledge Catalog 搜尋資料資產。
2. 找到所需資產後，資料消費者會要求存取資料資產。
3. 資料擁有者會決定是否提供資產存取權。
4. 如果消費者取得存取權，就能使用筆記本和解決方案目錄建立環境，在其中分析及轉換資料資產。

全面整合

GitHub 存放區提供詳細操作說明，說明如何在部署企業基礎後，在Google Cloud 上部署資料網格。部署架構的程序包括修改現有的基礎架構存放區，以及部署新的資料網格專屬元件。

完成下列步驟：

1. 完成所有必要條件，包括：
   1. 安裝 Google Cloud CLI、Terraform、Tink、Java 和 Go。
   2. 部署企業基礎藍圖 (v4.1)。
   3. 維護下列本機存放區：
      • gcp-data-mesh-foundations
      • gcp-bootstrap
      • gcp-environments
      • gcp-networks
      • gcp-org
      • gcp-projects
2. 修改現有的基礎藍圖，然後部署資料網格應用程式。請為每個項目完成下列步驟：
   1. 在目標存放區中，查看 Plan 分支版本。
   2. 如要新增資料網格元件，請將 gcp-data-mesh-foundations 中的相關檔案和目錄複製到適當的基礎目錄。視需要覆寫檔案。
   3. 更新 Terraform 檔案 (例如 *.tfvars 和 *.tf) 中的資料網格變數、角色和設定。將 GitHub 權杖設為環境變數。
   4. 對每個存放區執行 Terraform 初始化、規劃和套用作業。
   5. 修訂變更、將程式碼推送至遠端存放區、建立提取要求，並合併至開發、非正式和正式環境。

後續步驟

• 瞭解資料網格的架構和功能。
• 將 Google Cloud 中的資料匯入安全的 BigQuery 資料倉儲。
• 在 BigQuery 資料倉儲中導入 CDMC 主要控管機制架構。
• 瞭解企業基礎藍圖。