比较表类型

选择合适的表架构对于最大限度地提高性能、降低成本以及确保在分析工具之间实现数据访问至关重要。本页介绍了无边界 Lakehouse 中提供的不同表类型和服务端点,可帮助您根据写入引擎、读取要求和管理控制需求选择最佳选项。

按目录或引擎划分的表格式

选择一个目录或引擎,了解其支持的表格式、metastore 配置、存储优化功能和引擎互操作性。

Lakehouse 运行时目录

Lakehouse 运行时目录通过 Iceberg REST 目录端点管理 Apache Iceberg 表,并在兼容 Iceberg 的引擎(Spark、Flink、Trino)和 BigQuery 之间提供无缝读写 互操作性,同时由行业标准的 Iceberg REST 目录 接口提供支持。

支持的表格式

支持 Apache Iceberg V2 表(正式版)和 V3 表(预览版)。不支持 Iceberg V1 表。在 Lakehouse 中使用现有 V1 表之前,您必须将其升级到受支持的版本。如需了解更多 信息,请参阅将 Iceberg V1 表升级到 V2。

Key features include:

  • Metastore:Lakehouse 运行时目录。
  • 存储:Cloud Storage。
  • 存储优化:由您管理,或选择由 Google 管理 (预览版)。
  • 读写权限:
    • 开源引擎:读写(正式版)
    • BigQuery:读/写(预览版)
  • 用例:开放式湖仓一体,具有高性能企业级 存储,适用于高级分析、流式处理和 AI。

Hive metastore

Lakehouse 运行时目录通过针对 Apache Spark ExternalCatalog 兼容性优化的 Apache Hive metastore (HMS) 端点管理 Apache Hive 表,让您可以在 Apache Spark、Apache Hive 和 BigQuery 之间无缝共享数据。您可以通过开源引擎创建这些表,并将其存储在 Cloud Storage 中。如果您希望 ETL 工作流由开源引擎管理,而无需单独的自托管 Hive metastore,并且只需要 BigQuery 的读取权限,则此选项是最佳选择。

由 Hive metastore 端点管理的表是标准 Apache Hive 和 Spark 表(使用 Hive SerDes 或 Spark 数据源),而不是 Apache Iceberg 表。如需在 Lakehouse 运行时目录中创建和管理 Apache Iceberg 表,请改用 Iceberg REST 目录端点。

Key features include:

  • Metastore:Lakehouse 运行时目录(通过自定义 IMetastoreClient)。
  • 存储:Cloud Storage(支持 Parquet、 ORC 和 Avro 等格式)。
  • 存储优化:由您或第三方管理。
  • 读写权限:
    • 开源引擎(Spark 和 Hive):读写。
    • BigQuery:只读。
  • 用例:将现有 Spark 和 Hive 工作负载迁移到 上全托管式无服务器 metastore Google Cloud。

按产品划分的表格式

使用下表比较 Lakehouse 运行时目录中的表类型。

Lakehouse

Apache Iceberg(正式版) 跨云数据访问权限(预览版) Apache Hive(预览版)
Metastore Lakehouse 运行时目录 Lakehouse 运行时目录 Lakehouse 运行时目录
存储 Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
存储优化 客户管理、第三方管理或 Google 管理(预览版) 客户管理或第三方管理 客户管理或第三方管理
读/写 开源引擎(读/写)

BigQuery(读/写 [预览版])
开源引擎(读取)

BigQuery(读取)
开源引擎(读/写)

BigQuery(只读)
高级操作 无 无 无
访问权限控制 使用 IAM 实现表级安全性 使用 IAM 实现表级安全性 使用 IAM 实现表级安全性
用例 开放式湖仓一体 查询其他云提供商中的数据,而无需迁移文件或 构建复杂的 ETL 流水线。 将现有 Spark 和 Hive 工作负载迁移到全代管式, 无服务器 metastore

Iceberg 表功能

使用下表详细了解 Lakehouse 运行时目录中的 Apache Iceberg 表提供的功能。

能力 支持
目录 Lakehouse 运行时目录(与 Iceberg REST 目录兼容)
存储 Cloud Storage
可通过 Iceberg REST 目录端点访问 是
读/写互操作性
BigQuery 读取查询(SELECT、BQML、AI 函数) 支持(正式版)
BigQuery DML(INSERT、UPDATE、DELETE、MERGE) 支持(预览版)
OSS 引擎读取 支持(正式版)
OSS 引擎写入 支持(正式版)
OSS 引擎流式写入(Kafka、Spark、Dataflow,使用 Iceberg I/O 接收器) 支持(正式版)
托管式高级功能
表管理(压缩、垃圾回收) 支持(预览版)
BigQuery 变更数据捕获 (CDC) 支持(预览版)
时间旅行
时间旅行(使用 OSS 引擎) 灵活(通过表属性配置)
时间旅行(使用 BigQuery) 限制为 7 天
快照历史记录和回滚到之前的快照 支持(正式版)
Knowledge Catalog 功能
元数据编目、搜索和发现 支持(正式版)
沿袭 支持(正式版)
数据质量/分析 支持(正式版)
分析洞见 支持(正式版)
基于 AI 的列和表说明生成 支持(正式版)

后续步骤