無邊界湖倉可讓您結合 Apache Iceberg 開放資料表格式與代管儲存空間，在Google Cloud 上建構開放式資料湖倉。這種架構將儲存空間與運算資源分離，為數據分析和 AI 工作負載提供統一的基礎。
為管理開放式資料表中繼資料，Lakehouse 採用 Lakehouse 執行階段目錄，這項無伺服器中繼資料服務可集中探索，並消除跨存放區同步處理。這種設計可讓多個引擎 (包括 Managed Service for Apache Spark、Apache Flink、Apache Hive、Trino 和 BigQuery) 直接存取單一事實來源，不需複製資料。
主要優點
- 無伺服器架構：Google Cloud 的 Lakehouse 可免除伺服器或叢集管理工具作業，降低營運負擔，並根據需求自動調度資源。針對運算工作負載，無伺服器批次和互動式工作階段可消除工作之間的資源爭用，並自動維護基礎架構。
- 統一資料管理和治理：與 Knowledge Catalog 整合，確保在多個引擎中集中定義及強制執行治理政策，並啟用語意搜尋、資料歷程和品質檢查。
- 儲存空間擴充功能：Google Cloud 的 Lakehouse 擴充 Cloud Storage 管理功能，納入 Autoclass 分級和客戶自行管理的加密金鑰 (CMEK) 等功能。
- 全代管體驗：Google Cloud 的 Lakehouse 與 BigQuery 整合，提供全代管的數據分析和 AI 體驗。
- 高可用性和災難復原：Google Cloud 的 Lakehouse 提供跨區域複製和災難復原 (預先發布版) 選項，可支援資料的高可用性。
用途
- 開放式湖倉：使用 Cloud Storage 做為儲存層，並透過 Google Cloud 的 Lakehouse 管理及控管 Apache Iceberg 資料。
- 整合分析和交易：直接在 AlloyDB for PostgreSQL ([預先發布版][4]) 中存取分析 Apache Iceberg 資料表，將分析資料與交易工作負載結合。
- 統一存取：讓不同引擎 (Apache Spark、Apache Flink、BigQuery) 透過一致的中繼資料，與相同的 Apache Iceberg 資料表互動。
- 跨雲端數據分析和 AI：存取跨雲端資料 (預先發布版)，同步處理其他雲端服務供應商的中繼資料，透過 Apache Iceberg REST 目錄端點，使用 BigQuery 或外部開放原始碼引擎查詢資料，完全不必遷移資料。
- 探索公開資料集：使用 Apache Iceberg REST 目錄端點，輕鬆查詢高品質的公開資料集，不必管理基礎架構。
- Hive Metastore：使用 Hive 目錄，將 Apache Spark 和 Apache Hive 等開放原始碼引擎連結至 Lakehouse 執行階段目錄。這樣一來，您就不必維護自行託管的 Hive Metastore (HMS)，可省下營運負擔，同時在 BigQuery 中順暢共用資料及直接查詢資料表。
介面和工具
您可以使用下列工具，與 Google Cloud 的 Lakehouse 資源互動：
- Google Cloud 控制台：使用控制台建立目錄、查看目錄屬性、查看稽核記錄，以及設定權限。
- BigQuery SQL：使用標準 SQL DDL (資料定義語言)，建立及管理與 Lakehouse 執行階段目錄整合的 Apache Iceberg 資料表和外部資料表。
- 開放原始碼引擎：使用 Apache Spark、Apache Flink 和 Apache Hive 等引擎，搭配 Lakehouse 執行階段目錄讀取及寫入資料。
- IDE 和筆記本：使用互動式 Apache Spark 筆記本和 IDE 擴充功能 (例如 VS Code 的 Data Agent Kit (DAK) 擴充功能)，直接在開發環境中驗證 Google Cloud、以互動方式編寫程式碼，以及管理筆記本工作階段。
- 自動化調度管理和 MLOps 工具：使用 Managed Service for Apache Airflow (原稱 Cloud Composer) 和 Vertex AI 中的 Kubeflow Pipelines，將無伺服器批次管道和目錄作業與自動化調度管理工作流程整合。
- Apache Iceberg REST Catalog API：使用 Apache Iceberg REST 目錄端點，透過與開放式 Apache Iceberg REST 規格相容的工具與服務互動。
- 支援 Apache Iceberg 資料表：支援 Apache Iceberg V2 資料表 (正式發布版) 和 V3 資料表 (預先發布版)。不支援 Iceberg V1 資料表。
後續步驟
- 瞭解 Google Cloud 無邊界湖倉的架構。