Apache Iceberg テーブルの概要

Lakehouse ランタイム カタログで管理され、Apache Iceberg REST カタログ エンドポイントを介して提供される Apache Iceberg テーブルを使用すると、オープンソースの Apache Iceberg テーブル仕様に準拠したオープンで相互運用可能なデータを操作できます。これらのテーブルの読み取りと書き込みは、BigQuery または Iceberg 互換の処理エンジンを使用して行うことができます。

このドキュメントでは、これらのテーブルをマネージド Apache Iceberg テーブルまたは Iceberg テーブルと呼びます。テーブルタイプを比較するには、テーブルタイプを比較するをご覧ください。

表オプション

テーブル オプションを構成することで、次の機能を有効にできます。

  1. 読み取り/書き込みの相互運用性(プレビュー版): BigQuery、Managed Service for Apache Spark、Iceberg 互換エンジン(Apache Spark、Apache Flink、Trino などのオープンソース エンジン)、サードパーティ エンジン(Snowflake など)を含む複数のエンジンで、読み取りと書き込みをシームレスにサポートします。
  2. 自動テーブル管理(プレビュー): 圧縮やガベージ コレクションなどの自動テーブル管理(ストレージの最適化)。

前述の機能に加えて、Lakehouse で管理される Apache Iceberg テーブルでは、次の機能もデフォルトでサポートされています。

  1. BigQuery データ定義言語(プレビュー): Spark、Flink、Trino などの Iceberg 互換エンジンを使用してテーブルを作成または更新するだけでなく、BigQuery DDL ステートメント(CREATE TABLE、ALTER TABLE、DROP TABLE など)を使用して Iceberg テーブルを作成または更新することもできます。テーブルが作成されると、これらのエンジンと BigQuery で読み取りと書き込みが可能になります。また、Lakehouse ランタイム カタログで管理される同じカタログと名前空間構造の一部になります。
  2. BigQuery の認証情報ベンディングのサポート: BigQuery は、Lakehouse ランタイム カタログで Iceberg テーブルを読み書きする際の認証に認証情報ベンディングを使用することをサポートしています。認証情報の提供はカタログレベルで設定できます。

管理アクション

Apache Iceberg テーブルに対して、次の管理アクションを実行できます。

  • テーブルを作成する: Google Cloud コンソール、Spark、Trino、gcloud、BigQuery(プレビュー)、または Iceberg REST Catalog API(CreateIcebergTable)を使用して、カタログの名前空間内に Apache Iceberg テーブルを作成します。
  • テーブルを登録する: gcloud または Iceberg REST Catalog API(RegisterIcebergTable)を使用して、カタログの名前空間内に既存の Apache Iceberg テーブルを登録します。
  • テーブルを一覧表示する: Google Cloud コンソール、Spark、Trino、gcloud、BigQuery(プレビュー)、または Iceberg REST Catalog API(ListIcebergTableIdentifiers)を使用して、名前空間内のテーブル識別子を表示します。
  • テーブルの詳細を取得する: Google Cloud コンソール、Spark、Trino、gcloud、BigQuery(プレビュー)、または Iceberg REST Catalog API(GetIcebergTable、LoadIcebergTableCredentials)を使用して、テーブル スキーマ、プロパティ、認証情報を検査します。
  • データを挿入する: Spark、Trino、または BigQuery(プレビュー)を使用して、Iceberg テーブルにデータ行を追加します。
  • テーブルにクエリを実行する: 4 つの部分からなるテーブル命名を使用して、Spark、Trino、BigQuery から Iceberg テーブルに対してクエリを実行します。
  • DML を使用してデータを変更する: BigQuery(プレビュー)、Spark、Trino の DML ステートメントを使用して、Iceberg テーブルのデータ行を更新、削除、マージします。
  • テーブルを変更する: Google Cloud コンソール、Spark、Trino、gcloud、BigQuery(プレビュー)、または Iceberg REST Catalog API(UpdateIcebergTable)を使用して、テーブル スキーマを進化させ、メタデータ プロパティを更新します。
  • テーブル オプションを構成する: BigQuery(プレビュー版)DML と自動テーブル管理を有効にするようにプロパティを構成します。
  • テーブル ACL を管理する: Iceberg テーブルの IAM ポリシーを表示して更新し、特定のプリンシパル(get-iam-policy、set-iam-policy)のアクセスを制御します。
  • Iceberg V1 テーブルを V2 にアップグレードする: 既存の Iceberg V1 テーブルを、サポートされている V2 形式にアップグレードします。
  • Iceberg V3 テーブルでバイナリ削除ベクトルを使用する: バイナリ削除ベクトルを有効にして、Iceberg V3 テーブルの削除パフォーマンスを最適化します。
  • テーブルを削除する: Google Cloud コンソール、Spark、Trino、gcloud、BigQuery(プレビュー)、または Iceberg REST Catalog API(DeleteIcebergTable)を使用して、基盤となるストレージ ファイルをパージせずに、カタログからテーブル登録を削除します。

次のステップ