在 BigQuery 中與無邊界的 Lakehouse 資料互動

無邊界湖倉是儲存空間引擎，可整合 Google Cloud 開放原始碼服務，建立進階數據分析和 AI 的統一介面。這項服務提供基礎架構，可使用 Apache Iceberg 建構開放式、代管式且高效能的湖倉，並運用自動化資料管理和內建的治理機制。

在 Lakehouse 中建立資料表時，BigQuery 會自動提供查詢功能，並在 Google Cloud 控制台的 BigQuery 頁面中顯示資料表。系統也會自動將 Lakehouse 命名空間和結構定義對應至 BigQuery 資料集。

資料湖倉資源與其他 BigQuery 資源的差異

Lakehouse 與標準 BigQuery 資源的主要差異如下：

  • Lakehouse 資料集會顯示在 Google Cloud 控制台的 BigQuery 頁面中，水圖示旁邊。
  • 您無法透過 BigQuery 修改 Lakehouse 資源。
  • 湖倉資源會在各自的「詳細資料」專區中提供額外中繼資料。

Iceberg 資料表功能比較

請參閱下表，比較由 Lakehouse 執行階段目錄管理的 Apache Iceberg 資料表，以及由 BigQuery 管理的 Apache Iceberg 資料表功能。

功能 由 Lakehouse 執行階段目錄管理的 Apache Iceberg 資料表 由 BigQuery 管理的 Apache Iceberg 資料表
目錄 Lakehouse 執行階段目錄 (與 Iceberg REST 目錄相容) BigQuery
儲存空間 Cloud Storage Cloud Storage
可透過 Iceberg REST 目錄端點存取 是 是，使用 BigQuery 目錄聯合查詢
讀寫互通性
BigQuery 讀取查詢 (SELECT、BQML、AI 函式) 支援 支援
BigQuery DML (INSERT、UPDATE、DELETE、MERGE) 支援 (預先發布版) 支援 (正式發布)
OSS 引擎讀取 支援 (正式發布) 支援 (正式發布版) (使用 BigQuery 目錄聯合)
OSS 引擎寫入 支援 (正式發布) 不支援
OSS 引擎串流寫入 (Kafka、Spark、Dataflow，搭配 Iceberg I/O 接收器) 支援 (正式發布) 不支援
受管理和進階功能
資料表管理 (壓縮、垃圾回收) 支援 (預先發布版) 支援 (正式發布)
BigQuery 串流寫入 (Storage Write API) 不支援 支援 (正式發布)
Pub/Sub 串流/訂閱項目、Dataflow 串流 (含 BigQuery I/O 接收器) 不支援 支援 (正式發布)
BigQuery 變更資料擷取 (CDC) 不支援 支援 (不公開預先發布版)
BigQuery 多陳述式交易 不支援 支援 (預先發布版)
代管災難復原機制 不支援 不支援
搜尋索引 不支援 不支援
向量索引 (包括自動生成嵌入) 不支援 不支援
時光旅行
時間回溯 (使用 OSS 引擎) 彈性 (透過資料表屬性設定) 不支援
時間旅行 (使用 BigQuery) 上限為 7 天 上限為 7 天
快照記錄和還原至先前的快照 支援 不支援
管理、安全性與共用
BigQuery 授權檢視區塊 不支援 不支援
BigQuery 資料欄層級安全防護機制 不支援 支援 (正式發布)
BigQuery 資料遮蓋和政策標記 不支援 支援 (正式發布)
BigQuery 資料列層級安全防護機制 不支援 不支援
Analytics Hub 整合 不支援 支援
Knowledge Catalog 功能
中繼資料分類、搜尋與發現 支援 支援
歷程 支援 支援
資料品質/剖析 支援 支援
深入分析 支援 支援
根據 AI 生成資料欄和資料表說明 支援 支援

存取跨雲端資料

Lakehouse 的跨雲端資料存取功能可讓您直接從 BigQuery 查詢其他雲端供應商儲存的資料，不必遷移檔案或建立複雜的 ETL 管道。如需設定資訊，請參閱「查詢遠端資料」。

後續步驟