無邊界 Lakehouse 的運作方式

無邊界湖倉可將中繼資料集中儲存於 Lakehouse 執行階段目錄,讓 BigQuery 和開放原始碼引擎共用相同的開放資料表。瞭解其架構、資源階層和查詢路徑,有助於設計目錄、選擇資料表類型及連結引擎。如需個別詞彙的定義,請參閱「重要概念」。

架構

建構 Google Cloud 的Lakehouse包含下列技術元件:

  • 儲存空間:Cloud Storage 和 BigQuery 儲存空間可做為儲存層,並建議使用 Apache Iceberg 做為開放式資料表格式,在 Cloud Storage 中提供高效能、可互通的儲存空間。有了無邊界湖倉,資料不一定要儲存在 Google Cloud。只要設定跨雲端連線,連至支援的遠端目錄,即可將資料保留在其他雲端儲存空間系統 (例如 Amazon S3),並直接查詢,不必遷移檔案或建構 ETL 管道。

  • 目錄:Lakehouse 執行階段目錄提供單一事實來源,用於管理中繼資料。這項服務使用各種相容性選項 (例如 Apache Iceberg REST 目錄端點和 Apache Hive 目錄端點),集中管理多個引擎的中繼資料探索。在目錄中註冊的資料表會自動在 Knowledge Catalog 中註冊。

  • 查詢引擎:BigQuery 和開放原始碼引擎 (包括 Apache Spark、Apache Flink 和 Trino) 透過連線至 Lakehouse 執行階段目錄,實現無縫互通。Managed Service for Apache Spark 等運算引擎採用開放原始碼 Apache Spark,並經過執行最佳化,有助於確保工作負載可攜性,避免受制於特定廠商。

  • 治理:Knowledge Catalog 為整個湖倉架構提供集中式安全性、歷程和治理政策。

  • 資料寫入和分析工具:整合式引擎和工具提供多種資料擷取和分析路徑,確保資料科學家和分析師都能一致存取資料。

資源階層結構

Google Cloud 的 Lakehouse 會使用符合 Apache Iceberg 標準和標準資料庫概念的階層結構來整理資料。這種結構可讓 Lakehouse 執行階段目錄將邏輯身分對應至實體儲存路徑。如要與這個資源階層互動,並將查詢引擎連結至目錄,請使用特定端點,如下列清單所述。

  1. Lakehouse 執行階段目錄: Google Cloud 中託管中繼資料的頂層區域服務資源。如要將查詢引擎連結至這項服務,並管理基礎目錄,請使用特定目錄端點 (例如 Apache Iceberg REST 目錄端點) 設定用戶端應用程式。
  2. 目錄:執行階段目錄服務中的邏輯容器。在專案/目錄/命名空間/資料表 (P.C.N.T) 命名結構中,這代表您要查詢的特定目錄執行個體。
  3. 命名空間:目錄中資料表的邏輯群組。如果使用者熟悉 BigQuery,命名空間的功能與資料集類似。
  4. 資料表:指向 Cloud Storage 中資料的特定實體。資料表中繼資料包含結構定義、分區資訊,以及透過 Apache Iceberg metadata.json 檔案指向目前資料表狀態的指標。

支援的端點

Lakehouse 執行階段目錄提供多個端點,可連結 Cloud Storage 和 BigQuery 中的資料。

  • Apache Iceberg REST 目錄端點:提供標準 REST 介面,與 Apache Spark、Apache Flink 和 Trino 等開放原始碼引擎廣泛相容。這是新工作負載的建議介面,提供完整的讀寫互通性。

  • BigQuery 端點的自訂 Apache Iceberg 目錄:這項早期整合功能使用目錄外掛程式 (BigQueryMetastoreCatalog),讓開放原始碼引擎將 Apache Iceberg 資料表定義儲存在 BigQuery 資料集中。如果是新的工作負載,請改用 Apache Iceberg REST 目錄端點。

  • Apache Hive 目錄端點:為依賴 Apache Hive metastore (HMS) 介面的開放原始碼工作負載提供相容性。這個端點由 Lakehouse 執行階段目錄提供,因此您不必維護自行託管的 Hive metastore,即可執行 Apache Hive 或 Spark 工作負載。這個端點管理的是標準 Hive 和 Spark 資料表,而非 Apache Iceberg 資料表。

Lakehouse 執行階段目錄

在資源階層中,Lakehouse 執行階段目錄是 Google Cloud中的頂層區域中繼資料服務。這個根容器會託管個別目錄執行個體,集中管理不同查詢引擎的中繼資料探索作業。

這項服務會實作開放原始碼 Apache Iceberg REST Catalog API,用於管理命名空間和資料表,並提供專門用於目錄管理的擴充功能。

如要深入瞭解 metastore 服務,包括主要功能、支援的引擎、端點設定和限制,請參閱「關於 Lakehouse 執行階段目錄」。

目錄

目錄是邏輯 metastore 容器,由 Cloud Storage 倉儲位置支援。在 Project.Catalog.Namespace.Table (P.C.N.T) 命名結構中,目錄代表不重複的 metastore 執行個體,可將開放資料表的中繼資料與查詢引擎連結。

目錄的主要特徵如下:

  • 儲存空間關聯:目錄與基礎儲存空間之間的關係,取決於您設定的目錄類型。
  • 區域性:目錄的區域取決於儲存空間。如果是多 bucket 目錄,區域會來自 default_location 中的 bucket;如果是單一 bucket 目錄,則會與 bucket 的區域相符。詳情請參閱「值區和目錄區域」。
  • 跨區域複製:如果目錄使用雙區域或多區域 bucket,Lakehouse 執行階段目錄可將目錄中繼資料複製到次要區域,並支援容錯移轉 (預先發布版)。
  • 存取權委派:管理員可以啟用目錄的憑證販售功能,委派存取權,讓系統自動產生範圍縮小的短期憑證,而不是直接授予使用者 bucket 權限。

命名空間

命名空間是目錄中資料表的邏輯群組,功能類似於資料庫、結構定義或 BigQuery 資料集。提供結構來組織及管理資料表的存取控管。

命名空間的主要特性如下:

  • 區域性:建立命名空間時,系統會自動使用與上層目錄相同的區域。
  • 位置彈性:指定自訂命名空間位置的選項,取決於目錄的倉儲類型。
  • 巢狀結構限制:不支援巢狀命名空間 (子命名空間)。
  • 安全性界線:您可以在命名空間層級授予 IAM 角色,管理其中所有資料表的存取權。

Tables

使用 Google Cloud 的 Lakehouse 建構時,可以選擇下列資料表類型:

Lakehouse 執行階段目錄支援

建議

  • Apache Iceberg 資料表:從開放原始碼引擎建立並儲存在 Cloud Storage 的 Apache Iceberg 資料表。這些資料表提供開放相容性,並可透過 Apache Iceberg REST 目錄端點管理。開放原始碼引擎可以讀取及寫入這些資料表,而 BigQuery 則可在您啟用 BigQuery DML 時寫入這些資料表 (預先發布版)。為確保沒有兩個資料表佔用相同位置,自訂資料表路徑必須巢狀在父項命名空間路徑下,且產生的資料表位置會自動接收隨機字串後置字元,以防止衝突。

    支援的資料表格式:支援 Apache Iceberg V2 資料表 (正式發布版) 和 V3 資料表 (預先發布版)。不支援 Iceberg V1 資料表。如要搭配 Lakehouse 使用現有的 V1 資料表,必須先升級至支援的版本。詳情請參閱「將 Iceberg V1 資料表升級至 V2」。

  • Apache Hive 資料表:透過 Apache Hive 目錄端點管理的標準 Hive 和 Spark 資料表 (格式包括 Parquet、ORC、Avro 和 Delta Lake)。開放原始碼引擎可以讀取及寫入這些資料表,BigQuery 則可以讀取。詳情請參閱「支援的儲存空間格式和類型」。

BigQuery 支援

  • Apache Iceberg 資料表:由 BigQuery 建立及管理的 Apache Iceberg 資料表。這些資料表的中繼資料會儲存在 BigQuery 目錄中,資料表資料和實體中繼資料則儲存在 Cloud Storage。
  • 原生資料表:由 BigQuery 全代管的資料表,可連結至 Lakehouse 執行階段目錄,與開放原始碼引擎互通。
  • 外部資料表:Lakehouse 執行階段目錄以外的資料表,資料和中繼資料由使用者自行管理。這些服務支援透過連線委派存取權,存取儲存在 Cloud Storage、Amazon S3 或 Azure Blob Storage 中的資料。

如要詳細比較這些選項,請參閱「比較資料表類型」。

查詢處理序列

將查詢提交至 Lakehouse 管理的 Apache Iceberg 資料表時,要求會遵循特定路徑,在處理資料前強制執行政策並擷取中繼資料。

  1. 提交:您將 SQL 查詢提交至相容的引擎,例如 Apache Spark、Trino 或 BigQuery。
  2. 中繼資料要求:引擎向 Lakehouse 執行階段目錄要求資料表中繼資料,以識別資料表及其中繼資料位置。
  3. 授權:如果您使用的端點支援,目錄會根據 Identity and Access Management (IAM) 和精細的安全政策驗證要求。
  4. 中繼資料回應:目錄會傳回中繼資料。如果啟用憑證販售功能,系統也會提供短期權杖,協助安全存取儲存空間。
  5. 資料擷取:引擎會使用中繼資料和選用權杖,直接從 Cloud Storage 讀取資料檔案。
  6. 執行:引擎會處理資料並傳回結果。

最佳做法

在 Google Cloud 中架構及操作資料湖倉時,請考量下列最佳做法:

  • 採用獎章架構:將資料倉儲結構化為漸進式邏輯層 (銅級用於原始擷取、銀級用於清理和整合資料,金級用於精選業務層級匯總)。使用 BigQuery 做為黃金消費層,盡可能提高查詢效能和並行性。
  • 使用工作階段範本執行互動式工作負載:如要進行探索式分析和筆記本編寫,請使用工作階段範本,為各開發團隊標準化環境設定,並減少重複設定。
  • 指派自訂批次 ID:提交非互動式無伺服器 Apache Spark 批次工作負載時,請指派自訂批次和工作名稱。這可提高觀測能力,協助您在 Cloud Logging 和 Google Cloud 控制台中篩選及追蹤工作執行作業。
  • 啟用診斷記錄:如果是複雜的資料工程管道,請啟用診斷套件,並確保驅動程式和執行程式記錄會保留,以便疑難排解及提供支援。

後續步驟