ビューを作成する

Apache Iceberg ビューを作成すると、SQL で定義された非マテリアライズド論理テーブルを Lakehouse ランタイム カタログの名前空間に登録できます。これにより、Spark や Trino などの Iceberg 互換エンジンがクエリできるようになります。カタログは、ビューのロケーションにある Cloud Storage のバージョニングされた metadata.json ファイルにビュー定義を書き込みます。

カタログは、ビューの作成時に参照されるテーブルのスキーマを検証するため、ビューが参照する名前空間とすべてのテーブルがすでに存在している必要があります。詳細については、Apache Iceberg ビューの概要をご覧ください。

始める前に

  1. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  2. BigLake API を有効にします(有効になっていない場合)。

    API を有効にするために必要なロール

    API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

    API の有効化

  3. マルチバケット カタログまたはシングルバケット カタログを使用して Lakehouse ランタイム カタログを設定します。Iceberg ビューは、BigQuery カタログまたは連携カタログではサポートされていません。
  4. Iceberg ビューの制限事項を確認します。
  5. オープンソース エンジンを Apache Iceberg REST カタログ エンドポイントに接続します。

    • Spark: Spark 3.5 以降と Iceberg ランタイム 1.6.0 以降を使用します。Spark がカタログの GET /v1/config レスポンスを介してサポートされているビュー エンドポイントを検出できるように、Iceberg ランタイム 1.10.0 以降を使用します。Spark がビュー DDL と解決を Apache Iceberg REST カタログ エンドポイントに委任するように spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions を設定します。
    • Trino: Trino 482 以降を使用し、Apache Iceberg REST カタログ エンドポイントを使用するように Trino Iceberg コネクタを構成します。詳細については、Trino のサポートをご覧ください。

必要なロール

ビューの作成に必要な権限を取得するには、プロジェクトとストレージ バケットに対する次の IAM ロールを付与するよう管理者に依頼してください。

  • ビューを作成する: BigLake 編集者(roles/biglake.editor)- プロジェクト
  • エンドユーザー認証情報モードでビュー メタデータ ファイルを書き込む: Storage オブジェクト ユーザー(roles/storage.objectUser)- Cloud Storage バケット

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、ビューの作成に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

ビューを作成するには、次の権限が必要です。

  • ビューを作成します。
    • biglake.views.create(Namespace)
    • ビューが参照する各 Iceberg テーブルに対する biglake.tables.get
  • エンドユーザー認証情報モードでビュー メタデータ ファイルを書き込む: Cloud Storage バケットに対する storage.objects.create

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

表示権限の完全なリストについては、必要なロールと権限をご覧ください。

ベーステーブルを作成する

このドキュメントの例では、次の名前空間とテーブルを参照しています。まだ存在しない場合は、作成します。

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

省略可: 作成したビューをクエリできるように、サンプルデータを挿入します。

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

ビューを作成する

1 つ以上の Iceberg テーブルに対して Iceberg ビューを作成する。

Spark

明示的な列エイリアス、列レベルのコメント、ビューレベルのコメント、カスタム プロパティを含むビューを作成します。エンジンは、ビューの default-catalog と default-namespace を使用して、ビュー定義内の修飾されていないテーブル名を解決します。

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

ビューがまだ存在しない場合にのみ表示専用ビューを作成するには、CREATE VIEW IF NOT EXISTS を使用します。ビューが存在する場合、ステートメントは変更されずに成功します。

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

デフォルトでは、カタログは gzip 圧縮されたメタデータ ファイル(.gz.metadata.json)を書き込みます。圧縮されていないメタデータ ファイル(.metadata.json)を書き込むには、write.metadata.compression-codec プロパティを none に設定します。

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

REST API を使用して Iceberg ビューを作成するには、CreateIcebergView エンドポイントに POST リクエストを送信します。

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

リクエスト本文には、ビュー名、スキーマ、ビュー バージョン、初期プロパティを定義する有効な Iceberg CreateViewRequest JSON ペイロードが含まれている必要があります。カスタム location を設定する場合は、カタログタイプのビューの保管場所ルールに従う必要があります。ロケーションは作成後に変更できません。

次のように置き換えます。

  • PROJECT_ID: 実際の Google Cloudプロジェクト ID。
  • CATALOG_ID: カタログの ID。
  • NAMESPACE_NAME: カタログの名前空間の名前。

結合、集計、サブクエリを含むビューを作成する

ビュー定義には、結合、集計、CASE 式、共通テーブル式(CTE)、UNION ALL、サブクエリを含めることができます。

2 つのテーブルを結合するビューを作成します。

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

データを集計し、CASE 式を使用するビューを作成します。

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

CTE、UNION ALL、サブクエリを使用するビューを作成します。

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

ネストされたビューを作成する

ビューは別のビューをクエリできます。外側のビューに対してクエリを実行するには、両方のビューに対する biglake.views.get と、いずれかのビューが参照するすべてのテーブルに対する読み取りアクセス権が必要です。

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

基になるテーブルでタイムトラベルを使用してビューを作成する

ビューは独自のデータ スナップショットを保持しませんが、ビュー定義では、特定のタイムスタンプまたはスナップショット ID で基盤となる Iceberg テーブルをクエリできます。このパターンを使用して、コンプライアンス、レポート、モデル トレーニング用に再現可能な過去のベースラインを作成します。

  1. レコードを挿入して、基になるテーブルの新しいバージョンを作成します。

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. 挿入前のテーブルの状態に固定されたビューを作成します。タイムスタンプを挿入前の時刻に置き換えます。

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    または、ビューを特定のテーブル スナップショット ID に固定します。

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. 履歴ビューをクエリします。結果には、新しく挿入されたレコードは含まれません。

    SELECT * FROM eng_employees_baseline;
    

TIMESTAMP AS OF または VERSION AS OF をビュー識別子に直接適用することはできません。ビュー定義内で、基になるテーブルに対してタイムトラベルを表現します。詳細については、Iceberg ビューのトラブルシューティングをご覧ください。

次のステップ