Apache Iceberg ビューを使用すると、SQL でオープンな非マテリアライズド論理テーブルを定義し、Apache Spark、Trino、Apache Flink、PyIceberg、dbt などの Iceberg 互換エンジンから使用できます。Iceberg ビューを使用すると、モジュラー SQL パイプラインを構築し、Iceberg テーブルに対してキュレートされたゼロコピー プロジェクションを公開できます。Iceberg ビューは、Apache Iceberg REST カタログ エンドポイントを介して Lakehouse ランタイム カタログによって管理されます。また、Apache Iceberg ビュー仕様と Iceberg REST OpenAPI 仕様に準拠しています。
このドキュメントでは、これらのビューを Iceberg ビューと呼びます。
BigQuery の承認済みビューとは異なり、Iceberg ビューはコンピューティング エンジンによってクライアントサイドで評価されます。Iceberg ビューは、オープンソース エンジンから作成、管理、クエリするカタログ オブジェクトです。
機能
次の機能がサポートされています。
- ビューのライフサイクル全体: Apache Spark や Trino などの Iceberg 互換のオープンソース エンジンから、Iceberg ビューの作成、置換、プロパティの変更、一覧表示、検査、削除を行います。
- 豊富なビュー定義: 列エイリアス、列レベルとビューレベルのコメント、カスタム プロパティ、結合、集計、共通テーブル式(CTE)、
UNION ALL、サブクエリ、ネストされたビュー、基になるテーブルのタイムトラベルを使用してビューを定義します。 - 柔軟な認証: 標準の Cloud Storage バケットと階層名前空間バケットで、エンドユーザーの認証情報または認証情報の自動発行を使用します。
- カタログのサポート: マルチバケット カタログとシングルバケット カタログにビューを作成します。
Iceberg ビューの作成、管理、クエリは、Apache Iceberg REST カタログ エンドポイントに接続する Iceberg 互換のオープンソース エンジンを介してのみ行うことができます。詳細については、制限事項をご覧ください。
Spark の場合は、Spark 3.5 以降と Iceberg ランタイム 1.6.0 以降を使用します。Spark がカタログの GET /v1/config レスポンスを介してサポートされているビュー エンドポイントを検出できるように、Iceberg ランタイム 1.10.0 以降を使用します。Spark がビュー DDL と解決を Apache Iceberg REST カタログ エンドポイントに委任するように spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions を設定します。
Trino の場合は、Trino 482 以降を使用します。詳細については、Trino のサポートをご覧ください。
Iceberg ビューの仕組み
Iceberg ビューは、SQL 定義、スキーマ、プロパティを、Cloud Storage の VIEW_LOCATION/metadata/ の下にあるバージョニングされた metadata.json ファイルに保存します。Lakehouse ランタイム カタログは、各ビューの現在のメタデータの場所を追跡し、Apache Iceberg REST カタログ エンドポイントのビュー エンドポイントを介してビューを公開します。
Compute Engine は、Iceberg ビューをクライアントサイドで評価します。SELECT * FROM my_view を実行すると、エンジンはカタログからビュー定義を読み込み、参照されているすべてのテーブルとネストされたビューを解決してから、基盤となる Iceberg テーブルに対してクエリを実行します。カタログは、ユーザーに代わってクエリを実行しません。
ビューを CREATE OR REPLACE VIEW に置き換えるたびに、カタログは新しい metadata.json ファイルを書き込み、新しいバージョンとスキーマをビューのメタデータに追加し、ビューの view-uuid を保持します。version.history.num-entries プロパティは、保持されるバージョンの数を制限します。詳細については、プロパティを表示するをご覧ください。
テーブルとビューは、カタログの名前空間内で同じ識別子の名前空間を共有します。既存のテーブルと同じ名前のビューを作成したり、テーブルをビューに置き換えたりすることはできません。
必要なロールと権限
コンピューティング エンジンはクライアントサイドでビューを評価するため、ビューをクエリするには、ビューに対する権限と、ビューが参照するすべてのテーブルとネストされたビューに対する権限が必要です。
Iceberg ビューの作成、管理、クエリに必要な権限を取得するには、プロジェクトとストレージ バケットに対する次の IAM ロールを付与するよう管理者に依頼してください。
-
ビューの作成、置換、変更、削除: BigLake 編集者(
roles/biglake.editor)- プロジェクト -
ビュー定義を一覧表示して検査する: BigLake 閲覧者(
roles/biglake.viewer)- プロジェクト -
認証情報自動販売モードでビューをクエリする: BigLake 閲覧者(
roles/biglake.viewer)- プロジェクト -
エンドユーザー認証情報モードでビューをクエリする。
- BigLake 閲覧者(
roles/biglake.viewer)- プロジェクト - Storage オブジェクト閲覧者(
roles/storage.objectViewer)- Cloud Storage バケット
- BigLake 閲覧者(
-
エンドユーザー認証情報モードでビュー メタデータ ファイルを書き込む: Storage オブジェクト ユーザー(
roles/storage.objectUser)- Cloud Storage バケット
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
これらの事前定義ロールには、Iceberg ビューの作成、管理、クエリに必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。
必要な権限
Iceberg ビューを作成、管理、クエリするには、次の権限が必要です。
-
ビューを作成します。
-
biglake.views.create(Namespace) -
ビューが参照する各 Iceberg テーブルに対する
biglake.tables.get
-
-
リスト表示: 名前空間に対する
biglake.views.list -
ビューの詳細を取得する: ビューに対する
biglake.views.get -
ビューを変更する:
-
ビューに対する
biglake.views.update -
新しいビュー定義が参照する各 Iceberg テーブルに対する
biglake.tables.get
-
ビューに対する
-
ビューを削除する: ビューに対する
biglake.views.delete -
ビューをクエリする:
-
ビューとネストされたビューに対する
biglake.views.get -
ビューが参照する各 Iceberg テーブルに対する
biglake.tables.get
-
ビューとネストされたビューに対する
-
認証情報自動販売モードでテーブルデータを読み取る: ビューが参照する各 Iceberg テーブルに対する
biglake.tables.getData -
エンドユーザー認証情報モードでビューのメタデータとテーブルデータを読み取る: Cloud Storage バケットに対する
storage.objects.get -
エンドユーザー認証情報モードでビュー メタデータ ファイルを書き込む: Cloud Storage バケットに対する
storage.objects.create
カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。
次の表に、各閲覧権限と、その権限で許可される Apache Iceberg REST カタログ エンドポイント オペレーションの対応を示します。
| 権限 | リソース | エンドポイント オペレーション | 事前定義ロールに含まれる |
|---|---|---|---|
biglake.views.create |
名前空間 | CreateIcebergView |
roles/biglake.admin、roles/biglake.editor |
biglake.views.get |
表示 | GetIcebergView、CheckIcebergViewExists |
roles/biglake.admin、roles/biglake.editor、roles/biglake.viewer、roles/biglake.metadataViewer |
biglake.views.update |
表示 | UpdateIcebergView |
roles/biglake.admin、roles/biglake.editor |
biglake.views.delete |
表示 | DeleteIcebergView |
roles/biglake.admin、roles/biglake.editor |
biglake.views.list |
名前空間 | ListIcebergViewIdentifiers |
roles/biglake.admin、roles/biglake.editor、roles/biglake.viewer、roles/biglake.metadataViewer |
詳細については、レイクハウスの IAM ロールをご覧ください。
サポートされているビュー エンドポイント
エンジンが GET /v1/config?warehouse=WAREHOUSE_URI を使用してカタログ セッションを初期化すると、Apache Iceberg REST カタログ エンドポイントは endpoints リストで次のビュー エンドポイントをアドバタイズします。次の表で、{prefix} は projects/PROJECT_ID/catalogs/CATALOG_ID です。
| メソッドとパス | オペレーション | 説明 | 必要な権限 |
|---|---|---|---|
GET /v1/{prefix}/namespaces/{namespace}/views |
ListIcebergViewIdentifiers |
名前空間内のビュー識別子を一覧表示します。pageToken と pageSize をサポートします。テーブルは含まれません。 |
名前空間に対する biglake.views.list |
POST /v1/{prefix}/namespaces/{namespace}/views |
CreateIcebergView |
ビューを作成し、最初の 00000-UUID.metadata.json ファイルを Cloud Storage に書き込んで、ビューを登録します。 |
名前空間に対する biglake.views.create |
GET /v1/{prefix}/namespaces/{namespace}/views/{view} |
GetIcebergView |
現在のビューのメタデータとメタデータのロケーションを読み込みます。 | ビューに対する biglake.views.get |
POST /v1/{prefix}/namespaces/{namespace}/views/{view} |
UpdateIcebergView |
オプティミスティック同時実行の要件を検証し、更新を新しい metadata.json ファイルに commit します。 |
ビューに対する biglake.views.update |
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} |
DeleteIcebergView |
カタログからビューを削除し、ビューレベルの Identity and Access Management(IAM)ポリシーを消去します。 | ビューに対する biglake.views.delete |
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} |
CheckIcebergViewExists |
ビューが存在するかどうかを確認します。 | ビューに対する biglake.views.get |
管理アクション
Iceberg ビューでは、次の管理アクションを実行できます。
- ビューを作成する: Spark または Apache Iceberg REST カタログ エンドポイント(
CreateIcebergView)を使用して、1 つ以上の Iceberg テーブルにビューを定義します。 - リスト表示: Spark または Apache Iceberg REST カタログ エンドポイント(
ListIcebergViewIdentifiers)を使用して、名前空間内のビュー識別子を一覧表示します。 - ビューの詳細を取得する: Spark または Apache Iceberg REST カタログ エンドポイント(
GetIcebergView)を使用して、ビューのスキーマ、SQL 定義、プロパティを検査します。 - ビューをクエリする: Spark などの Iceberg 互換のオープンソース エンジンからビューに対してクエリを実行します。
- ビューを変更する: Spark または Apache Iceberg REST カタログ エンドポイント(
UpdateIcebergView)を使用して、ビュー定義を置き換えるか、ビュー プロパティを更新します。 - ビューを削除する: Spark または Apache Iceberg REST カタログ エンドポイント(
DeleteIcebergView)を使用して、カタログからビューを削除します。
制限事項
Iceberg ビューには次の制限があります。
- オープンソース エンジンのみ。Iceberg ビューの作成、管理、クエリは、Apache Iceberg REST カタログ エンドポイントを介して、Iceberg 互換のオープンソース エンジンからのみ行うことができます。BigQuery SQL、bq コマンドライン ツール、 Google Cloud コンソール、gcloud CLI、Terraform は Iceberg ビューをサポートしていません。
- サポートされているカタログタイプ。Iceberg ビューは、マルチバケット カタログとシングルバケット カタログでのみサポートされています。カタログは、BigQuery カタログと連携カタログに対するビュー オペレーションを
400 Bad Request(FAILED_PRECONDITION)エラーで拒否します。 - サポートされていない REST ビュー オペレーション。
- ビューの名前変更(
POST /v1/{prefix}/views/renameまたはALTER VIEW ... RENAME TO)はサポートされていません。ビューの名前を変更するには、新しい名前でビューを作成してから、元のビューを削除します。 - 既存のビュー
metadata.jsonファイル(registerView)の登録はサポートされていません。 - マテリアライズド ビューはサポートされていません。論理 Iceberg ビューのみがサポートされています。
- ビューの名前変更(
- ビューのタイムトラベル。
TIMESTAMP AS OFまたはVERSION AS OFをビュー識別子に適用することはできません。ビュー定義では、クエリ対象の基盤となるテーブルにタイムトラベルを適用できます。詳細については、基盤となるテーブルでタイムトラベルを使用してビューを作成するをご覧ください。 - ストレージのロケーションを表示する。
- 単一バケットのカタログでは、カスタムビューのロケーションはサポートされていません。ビューの場所は、デフォルトのパス
NAMESPACE_LOCATION/VIEW_NAMEと一致する必要があります。 - マルチバケット カタログでは、カスタムビューのロケーションは、名前空間のストレージ URI 接頭辞とカタログの許可されたストレージ ロケーション内にある必要があります。
- ビューを作成すると、そのストレージ ロケーションは変更できません。別のロケーションを設定しようとすると、
400 Bad Requestエラーが発生します。
- 単一バケットのカタログでは、カスタムビューのロケーションはサポートされていません。ビューの場所は、デフォルトのパス
プロパティを表示
Iceberg ビューは、Apache Iceberg で定義されているビュー プロパティをサポートしています。次の表に、カタログがこれらのプロパティを処理する方法を示します。
| プロパティ | デフォルト値 | 動作 |
|---|---|---|
write.metadata.compression-codec |
gzip |
デフォルトでは、カタログは gzip 圧縮された .gz.metadata.json ファイルを書き込みます。非圧縮の .metadata.json ファイルを書き込むには、none に設定します。値では大文字と小文字が区別されます。このプロパティは、作成時に設定することも、ALTER VIEW ... SET TBLPROPERTIES で設定することもできます。 |
write.metadata.path |
VIEW_LOCATION/metadata |
ビューでは無視されます。カタログは、常に VIEW_LOCATION/metadata/VERSION-UUID.metadata.json の下にビュー メタデータ ファイルを書き込みます。 |
version.history.num-entries |
10 |
正の整数で指定する必要があります。カタログがビューの versions リストと version-log に保持するエントリの数を制限します。commit がこの上限を超えると、カタログは最も古いエントリを削除し、現在のバージョンと commit によって追加されたバージョンを常に保持します。バージョンログは、監査と管理ロールバックを目的としています。Compute Engine は、SQL を使用した過去のビュー バージョンのクエリをサポートしていません。 |
次のステップ
- ビューを作成する方法を学ぶ。
- ビューをクエリする方法を学習する。
- Iceberg ビューのトラブルシューティング方法を確認する。