無邊界湖倉可將中繼資料集中儲存於 Lakehouse 執行階段目錄,讓 BigQuery 和開放原始碼引擎共用相同的開放資料表。瞭解其架構、資源階層和查詢路徑,有助於設計目錄、選擇資料表類型及連結引擎。如需個別詞彙的定義,請參閱「重要概念」。
架構
建構 Google Cloud 的Lakehouse包含下列技術元件:
儲存空間:Cloud Storage 和 BigQuery 儲存空間可做為儲存層,並建議使用 Apache Iceberg 做為開放式資料表格式,在 Cloud Storage 中提供高效能、可互通的儲存空間。有了無邊界湖倉,資料不一定要儲存在 Google Cloud。只要設定跨雲端連線,連至支援的遠端目錄,即可將資料保留在其他雲端儲存空間系統 (例如 Amazon S3),並直接查詢,不必遷移檔案或建構 ETL 管道。
目錄:Lakehouse 執行階段目錄提供單一事實來源,用於管理中繼資料。這項服務使用各種相容性選項 (例如 Apache Iceberg REST 目錄端點和 Apache Hive 目錄端點),集中管理多個引擎的中繼資料探索。在目錄中註冊的資料表會自動在 Knowledge Catalog 中註冊。
查詢引擎:BigQuery 和開放原始碼引擎 (包括 Apache Spark、Apache Flink 和 Trino) 透過連線至 Lakehouse 執行階段目錄,實現無縫互通。Managed Service for Apache Spark 等運算引擎採用開放原始碼 Apache Spark,並經過執行最佳化,有助於確保工作負載可攜性,避免受制於特定廠商。
治理:Knowledge Catalog 為整個湖倉架構提供集中式安全性、歷程和治理政策。
資料寫入和分析工具:整合式引擎和工具提供多種資料擷取和分析路徑,確保資料科學家和分析師都能一致存取資料。
資源階層結構
Google Cloud 的 Lakehouse 會使用符合 Apache Iceberg 標準和標準資料庫概念的階層結構來整理資料。這種結構可讓 Lakehouse 執行階段目錄將邏輯身分對應至實體儲存路徑。如要與這個資源階層互動,並將查詢引擎連結至目錄,請使用特定端點,如下列清單所述。
- Lakehouse 執行階段目錄: Google Cloud 中託管中繼資料的頂層區域服務資源。如要將查詢引擎連結至這項服務,並管理基礎目錄,請使用特定目錄端點 (例如 Apache Iceberg REST 目錄端點) 設定用戶端應用程式。
- 目錄:執行階段目錄服務中的邏輯容器。在專案/目錄/命名空間/資料表 (P.C.N.T) 命名結構中,這代表您要查詢的特定目錄執行個體。
- 命名空間:目錄中資料表的邏輯群組。如果使用者熟悉 BigQuery,命名空間的功能與資料集類似。
- 資料表:指向 Cloud Storage 中資料的特定實體。資料表中繼資料包含結構定義、分區資訊,以及透過 Apache Iceberg
metadata.json檔案指向目前資料表狀態的指標。
支援的端點
Lakehouse 執行階段目錄提供多個端點,可連結 Cloud Storage 和 BigQuery 中的資料。
Apache Iceberg REST 目錄端點:提供標準 REST 介面,與 Apache Spark、Apache Flink 和 Trino 等開放原始碼引擎廣泛相容。這是新工作負載的建議介面,提供完整的讀寫互通性。
BigQuery 端點的自訂 Apache Iceberg 目錄:這項早期整合功能使用目錄外掛程式 (
BigQueryMetastoreCatalog),讓開放原始碼引擎將 Apache Iceberg 資料表定義儲存在 BigQuery 資料集中。如果是新的工作負載,請改用 Apache Iceberg REST 目錄端點。Apache Hive 目錄端點:為依賴 Apache Hive metastore (HMS) 介面的開放原始碼工作負載提供相容性。這個端點由 Lakehouse 執行階段目錄提供,因此您不必維護自行託管的 Hive metastore,即可執行 Apache Hive 或 Spark 工作負載。這個端點管理的是標準 Hive 和 Spark 資料表,而非 Apache Iceberg 資料表。
Lakehouse 執行階段目錄
在資源階層中,Lakehouse 執行階段目錄是 Google Cloud中的頂層區域中繼資料服務。這個根容器會託管個別目錄執行個體,集中管理不同查詢引擎的中繼資料探索作業。
這項服務會實作開放原始碼 Apache Iceberg REST Catalog API,用於管理命名空間和資料表,並提供專門用於目錄管理的擴充功能。
如要深入瞭解 metastore 服務,包括主要功能、支援的引擎、端點設定和限制,請參閱「關於 Lakehouse 執行階段目錄」。
目錄
目錄是邏輯 metastore 容器,由 Cloud Storage 倉儲位置支援。在 Project.Catalog.Namespace.Table (P.C.N.T) 命名結構中,目錄代表不重複的 metastore 執行個體,可將開放資料表的中繼資料與查詢引擎連結。
目錄的主要特徵如下:
- 儲存空間關聯:目錄與基礎儲存空間之間的關係,取決於您設定的目錄類型。
- 區域性:目錄的區域取決於儲存空間。如果是多 bucket 目錄,區域會來自
default_location中的 bucket;如果是單一 bucket 目錄,則會與 bucket 的區域相符。詳情請參閱「值區和目錄區域」。 - 跨區域複製:如果目錄使用雙區域或多區域 bucket,Lakehouse 執行階段目錄可將目錄中繼資料複製到次要區域,並支援容錯移轉 (預先發布版)。
- 存取權委派:管理員可以啟用目錄的憑證販售功能,委派存取權,讓系統自動產生範圍縮小的短期憑證,而不是直接授予使用者 bucket 權限。
命名空間
命名空間是目錄中資料表的邏輯群組,功能類似於資料庫、結構定義或 BigQuery 資料集。提供結構來組織及管理資料表的存取控管。
命名空間的主要特性如下:
- 區域性:建立命名空間時,系統會自動使用與上層目錄相同的區域。
- 位置彈性:指定自訂命名空間位置的選項,取決於目錄的倉儲類型。
- 巢狀結構限制:不支援巢狀命名空間 (子命名空間)。
- 安全性界線:您可以在命名空間層級授予 IAM 角色,管理其中所有資料表的存取權。
Tables
使用 Google Cloud 的 Lakehouse 建構時,可以選擇下列資料表類型:
Lakehouse 執行階段目錄支援
建議
Apache Iceberg 資料表:從開放原始碼引擎建立並儲存在 Cloud Storage 的 Apache Iceberg 資料表。這些資料表提供開放相容性,並可透過 Apache Iceberg REST 目錄端點管理。開放原始碼引擎可以讀取及寫入這些資料表,而 BigQuery 則可在您啟用 BigQuery DML 時寫入這些資料表 (預先發布版)。為確保沒有兩個資料表佔用相同位置,自訂資料表路徑必須巢狀在父項命名空間路徑下,且產生的資料表位置會自動接收隨機字串後置字元,以防止衝突。
支援的資料表格式:支援 Apache Iceberg V2 資料表 (正式發布版) 和 V3 資料表 (預先發布版)。不支援 Iceberg V1 資料表。如要搭配 Lakehouse 使用現有的 V1 資料表,必須先升級至支援的版本。詳情請參閱「將 Iceberg V1 資料表升級至 V2」。
Apache Hive 資料表:透過 Apache Hive 目錄端點管理的標準 Hive 和 Spark 資料表 (格式包括 Parquet、ORC、Avro 和 Delta Lake)。開放原始碼引擎可以讀取及寫入這些資料表,BigQuery 則可以讀取。詳情請參閱「支援的儲存空間格式和類型」。
BigQuery 支援
- Apache Iceberg 資料表:由 BigQuery 建立及管理的 Apache Iceberg 資料表。這些資料表的中繼資料會儲存在 BigQuery 目錄中,資料表資料和實體中繼資料則儲存在 Cloud Storage。
- 原生資料表:由 BigQuery 全代管的資料表,可連結至 Lakehouse 執行階段目錄,與開放原始碼引擎互通。
- 外部資料表:Lakehouse 執行階段目錄以外的資料表,資料和中繼資料由使用者自行管理。這些服務支援透過連線委派存取權,存取儲存在 Cloud Storage、Amazon S3 或 Azure Blob Storage 中的資料。
如要詳細比較這些選項,請參閱「比較資料表類型」。
查詢處理序列
將查詢提交至 Lakehouse 管理的 Apache Iceberg 資料表時,要求會遵循特定路徑,在處理資料前強制執行政策並擷取中繼資料。
- 提交:您將 SQL 查詢提交至相容的引擎,例如 Apache Spark、Trino 或 BigQuery。
- 中繼資料要求:引擎向 Lakehouse 執行階段目錄要求資料表中繼資料,以識別資料表及其中繼資料位置。
- 授權:如果您使用的端點支援,目錄會根據 Identity and Access Management (IAM) 和精細的安全政策驗證要求。
- 中繼資料回應:目錄會傳回中繼資料。如果啟用憑證販售功能,系統也會提供短期權杖,協助安全存取儲存空間。
- 資料擷取:引擎會使用中繼資料和選用權杖,直接從 Cloud Storage 讀取資料檔案。
- 執行:引擎會處理資料並傳回結果。
最佳做法
在 Google Cloud 中架構及操作資料湖倉時,請考量下列最佳做法:
- 採用獎章架構:將資料倉儲結構化為漸進式邏輯層 (銅級用於原始擷取、銀級用於清理和整合資料,金級用於精選業務層級匯總)。使用 BigQuery 做為黃金消費層,盡可能提高查詢效能和並行性。
- 使用工作階段範本執行互動式工作負載:如要進行探索式分析和筆記本編寫,請使用工作階段範本,為各開發團隊標準化環境設定,並減少重複設定。
- 指派自訂批次 ID:提交非互動式無伺服器 Apache Spark 批次工作負載時,請指派自訂批次和工作名稱。這可提高觀測能力,協助您在 Cloud Logging 和 Google Cloud 控制台中篩選及追蹤工作執行作業。
- 啟用診斷記錄:如果是複雜的資料工程管道,請啟用診斷套件,並確保驅動程式和執行程式記錄會保留,以便疑難排解及提供支援。
後續步驟
- 如要進一步瞭解 metastore 服務,請參閱「關於 Lakehouse 執行階段目錄」。
- 如需 Lakehouse 術語的定義,請參閱「重要概念」。
- 搭配使用 Lakehouse 執行階段目錄與 Apache Spark、BigQuery 和 Apache Iceberg REST 目錄端點。