BigQuery でボーダーレスな Lakehouse データを操作する

Borderless Lakehouse は、 Google Cloud とオープンソース サービスを統合して、高度な分析と AI のための統合インターフェースを作成するストレージ エンジンです。Apache Iceberg を使用して、自動化されたデータ マネジメントと組み込みのガバナンスを備えた、オープンでマネージド、かつ高パフォーマンスのレイクハウスを構築するための基盤を提供します。

Lakehouse でテーブルを作成すると、BigQuery から自動的にクエリ可能になり、 Google Cloud コンソールの BigQuery ページに表示されます。レイクハウスの名前空間とスキーマも BigQuery データセットに自動的にマッピングされます。また、BigQuery Studio で Lakehouse カタログ、名前空間、テーブルを直接作成して更新することもできます。

レイクハウス リソースと他の BigQuery リソースの違い

Lakehouse リソースと標準の BigQuery リソースの主な違いは次のとおりです。

  • レイクハウス データセットは、 Google Cloud コンソールの BigQuery ページで、水アイコンの横に表示されます。
  • レイクハウス リソースには、それぞれの [詳細] セクションに追加のメタデータがあります。

BigQuery Studio でレイクハウス テーブルを作成する

  1. [BigQuery] ページに移動します。

    BigQuery に移動

  2. [エクスプローラ] ペインで、 [データを追加] をクリックします。

  3. [Google Cloud Storage] データソース カードをクリックします。

  4. [外部データへのアクセス] で、[GCS データファイル] カードをクリックします。

  5. [GCS バケットのソースまたはファイルパス] で、Cloud Storage バケットを選択します。

  6. [ファイル形式] で、[Parquet] を選択します。

  7. [テーブル名] に、テーブルの名前を入力します。

  8. [プロジェクト] で、該当するプロジェクトを選択します。

  9. [カタログ ID] で、バケットの既存の Lakehouse カタログを選択するか、まだ存在しない場合は作成します。

  10. [名前空間 ID] で、既存の Lakehouse 名前空間を選択するか、新しい名前空間を作成します。名前空間 ID に使用できるのは、英字、数字、アンダースコアのみです。

  11. （省略可）[スキーマ] で、新しいテーブルのフィールド名とデータ型を定義します。

  12. [テーブルを作成] をクリックします。

Lakehouse テーブルが BigQuery に表示され、標準の BigQuery テーブルと同様にクエリと変更が可能になります。

データを含むテーブルを作成する代わりに、標準の BigQuery テーブルと同じ方法で空の Lakehouse テーブルを作成できます。唯一の違いは、ターゲット データセットとして Lakehouse Namespace を選択することです。

他のカタログを Lakehouse に移行または連携する

  1. [BigQuery] ページに移動します。

    BigQuery に移動

  2. [エクスプローラ] ペインで、 [データを追加] をクリックします。

  3. [Google Cloud Storage] データソース カードをクリックします。

  4. [外部データへのアクセス] で、[外部または以前のカタログ] カードをクリックします。

  5. [カタログソースを選択] で、カタログソースを選択します。

    • [Hive メタストア] を選択した場合は、次の操作を行います。
      1. [リージョン] で、新しいレイクハウス カタログのリージョンを選択します。
      2. [移行の表示名] に、移行の新しい名前を入力します。
      3. [続行] をクリックします。
      4. [ソースシステムの構成] に、URL、サービス アカウント、ネットワーク アタッチメントを入力します。
    • 別のカタログソースを選択した場合は、次の操作を行います。
      1. [カタログ名（Lakehouse）] に、カタログの名前を入力します。
      2. [データのロケーション] で、新しい Lakehouse カタログのリージョンを選択します。
      3. [続行] をクリックします。
      4. [カタログ構成] に、リモート カタログの詳細、認証方法、更新間隔を入力します。

  6. [作成] をクリックします。

クロスクラウド データにアクセスする

レイクハウスのクロスクラウド データアクセス機能を使用すると、ファイルを移行したり、複雑な ETL パイプラインを構築したりすることなく、他のクラウド プロバイダに保存されているデータを BigQuery から直接クエリできます。構成情報については、リモートデータにクエリを実行するをご覧ください。

Iceberg テーブルの機能の比較

次の表は、Lakehouse ランタイム カタログで管理される Apache Iceberg テーブルと、BigQuery で管理される Apache Iceberg テーブルの機能を比較したものです。

能力 Lakehouse ランタイム カタログで管理される Apache Iceberg テーブル BigQuery で管理される Apache Iceberg テーブル
カタログ Lakehouse ランタイム カタログ（Iceberg REST カタログ互換） BigQuery
ストレージ Cloud Storage Cloud Storage
Iceberg REST カタログ エンドポイントを介してアクセス可能 ○ はい、BigQuery カタログ連携を使用します
読み取り/書き込みの相互運用性
BigQuery 読み取りクエリ（SELECT、BQML、AI 関数） サポート対象 サポート対象
BigQuery DML（INSERT、UPDATE、DELETE、MERGE） サポート対象（プレビュー） サポート対象（一般提供）
OSS エンジンの読み取り サポート対象（一般提供） サポート対象（GA）（BigQuery カタログ連携を使用）
OSS エンジンの書き込み サポート対象（一般提供） 非対応
OSS エンジンのストリーミング書き込み（Kafka、Spark、Iceberg I/O シンクを使用した Dataflow） サポート対象（一般提供） 非対応
マネージド機能と高度な機能
テーブル管理（圧縮、ガベージ コレクション） サポート対象（プレビュー） サポート対象（一般提供）
BigQuery ストリーミング書き込み（Storage Write API） 非対応 サポート対象（一般提供）
Pub/Sub ストリーミング/サブスクリプション、BigQuery I/O シンクを使用した Dataflow ストリーミング 非対応 サポート対象（一般提供）
BigQuery 変更データ キャプチャ（CDC） サポート対象（プレビュー） サポート対象
BigQuery マルチステートメント トランザクション 非対応 サポート対象（プレビュー）
マネージド障害復旧 非対応 非対応
検索インデックス 非対応 非対応
ベクトル インデックス（エンベディングの自動生成を含む） 非対応 非対応
タイムトラベル
タイムトラベル（OSS エンジンを使用） 柔軟（テーブル プロパティで構成） 非対応
タイムトラベル（BigQuery を使用） 最長 7 日間 最長 7 日間
スナップショットの履歴と以前のスナップショットへのロールバック サポート対象 非対応
ガバナンス、セキュリティ、共有
BigQuery の承認済みビュー 非対応 非対応
BigQuery の列レベルのセキュリティ 非対応 サポート対象（一般提供）
BigQuery のデータ マスキングとポリシータグ 非対応 サポート対象（一般提供）
BigQuery の行レベルのセキュリティ 非対応 サポート対象（一般提供）
Analytics Hub のインテグレーション 非対応 サポート対象
Knowledge Catalog の機能
メタデータのカタログ化、検索と見つけやすさ サポート対象 サポート対象
リネージ サポート対象 サポート対象
データ品質/プロファイリング サポート対象 サポート対象
分析情報 サポート対象 サポート対象
AI ベースの列とテーブルの説明の生成 サポート対象 サポート対象

次のステップ