ボーダーレス レイクハウスを使用すると、BigQuery とオープンソース エンジンは、Lakehouse ランタイム カタログでメタデータを一元化することで、同じオープンテーブルを共有できます。アーキテクチャ、リソース階層、クエリパスを理解することで、カタログの設計、テーブルタイプの選択、エンジンの接続に役立ちます。個々の用語の定義については、主なコンセプトをご覧ください。
アーキテクチャ
Google Cloud のLakehouseの構築は、次の技術コンポーネントで構成されています。
ストレージ: Cloud Storage と BigQuery ストレージがストレージ レイヤとして機能します。Cloud Storage での高性能で相互運用可能なストレージには、推奨されるオープン テーブル形式として Apache Iceberg が使用されます。ボーダレスな Lakehouse を使用すると、データを Google Cloudに保存する必要がなくなります。サポートされているリモート カタログへのクロスクラウド接続を設定すると、Amazon S3 などの他のクラウド ストレージ システムにデータを保持し、ファイルを移行したり ETL パイプラインを構築したりすることなく、データをクエリできます。
カタログ: Lakehouse ランタイム カタログは、メタデータを管理するための信頼できる唯一の情報源を提供します。Apache Iceberg REST カタログ エンドポイントや Apache Hive カタログ エンドポイントなど、さまざまな互換性オプションを使用して、複数のエンジンにわたるメタデータ検出を一元化します。カタログに登録したテーブルは、Knowledge Catalog に自動的に登録されます。
クエリエンジン: BigQuery とオープンソース エンジン(Apache Spark、Apache Flink、Trino など)は、Lakehouse ランタイム カタログに接続することでシームレスに相互運用されます。Managed Service for Apache Spark などのコンピューティング エンジンは、実行の最適化を伴うオープンソースの Apache Spark を使用して、ワークロードのポータビリティを確保し、ベンダー ロックインを回避します。
ガバナンス: Knowledge Catalog は、レイクハウス全体で一元化されたセキュリティ、リネージ、ガバナンス ポリシーを提供します。
データ書き込みツールと分析ツール: 統合されたエンジンとツールにより、データの取り込みと分析に複数のパスが提供され、データ サイエンティストとアナリストの両方が一貫してデータにアクセスできるようになります。
リソース階層
Google Cloud の Lakehouse は、Apache Iceberg 標準と標準データベースのコンセプトに沿った階層を使用してデータを整理します。この構造により、Lakehouse ランタイム カタログは論理 ID を物理ストレージパスにマッピングできます。このリソース階層を操作してクエリエンジンをカタログに接続するには、次のリストに示すように、特定のエンドポイントを使用します。
- Lakehouse ランタイム カタログ: メタデータをホストする Google Cloud の最上位のリージョン サービス リソース。クエリエンジンをこのサービスに接続して基盤となるカタログを管理するには、Apache Iceberg REST カタログ エンドポイントなどの特定のエンドポイントを使用してクライアント アプリケーションを構成します。
- カタログ: ランタイム カタログ サービス内の論理コンテナ。プロジェクト / カタログ / 名前空間 / テーブル(P.C.N.T)の命名構造では、クエリ対象の特定のカタログ インスタンスを表します。
- 名前空間: カタログ内のテーブルの論理グループ。BigQuery に精通しているユーザーにとって、名前空間は機能的にデータセットに似ています。
- テーブル: Cloud Storage 内のデータを指す特定のエンティティ。テーブル メタデータには、スキーマ、パーティショニング情報、Apache Iceberg
metadata.jsonファイルを介した現在のテーブル状態へのポインタが含まれます。
サポートされているエンドポイント
Lakehouse ランタイム カタログには、Cloud Storage と BigQuery にまたがるデータを接続するためのエンドポイントがいくつか用意されています。
Apache Iceberg REST カタログ エンドポイント: Apache Spark、Apache Flink、Trino などのオープンソース エンジンとの幅広い互換性を実現する標準の REST インターフェースを提供します。これは、新しいワークロードに推奨されるインターフェースであり、完全な読み取りと書き込みの相互運用性を提供します。
BigQuery エンドポイント用のカスタム Apache Iceberg カタログ: カタログ プラグイン(
BigQueryMetastoreCatalog)を使用して、オープンソース エンジンが Apache Iceberg テーブル定義を BigQuery データセットに保存できるようにする以前の統合。新しいワークロードでは、代わりに Apache Iceberg REST カタログ エンドポイントを使用します。Apache Hive カタログ エンドポイント: Apache Hive メタストア(HMS)インターフェースに依存するオープンソース ワークロードとの互換性を提供します。このエンドポイントは Lakehouse ランタイム カタログによって提供されるため、セルフホスト型の Hive metastore を維持することなく、Apache Hive または Spark ワークロードを実行できます。このエンドポイントは、Apache Iceberg テーブルではなく、標準の Hive テーブルと Spark テーブルを管理します。
Lakehouse ランタイム カタログ
リソース階層内では、Lakehouse ランタイム カタログは Google Cloudの最上位のリージョン メタデータ サービスとして機能します。これは、個々のカタログ インスタンスをホストするルートコンテナとして機能し、異なるクエリエンジン間でメタデータの検出を一元化します。
オープンソースの Apache Iceberg REST Catalog API を実装して、名前空間とテーブルを管理し、カタログ管理専用の拡張機能を提供します。
主な機能、サポートされているエンジン、エンドポイント構成、制限事項など、メタストア サービスの詳細については、Lakehouse ランタイム カタログについてをご覧ください。
カタログ
カタログは、Cloud Storage ウェアハウスのロケーションを基盤とする論理 metastore コンテナです。Project.Catalog.Namespace.Table(P.C.N.T)命名構造では、カタログは、オープンテーブル メタデータをクエリエンジンに接続する一意の metastore インスタンスを表します。
カタログの主な特徴は次のとおりです。
- ストレージの関連付け: カタログとその基盤となるストレージの関係は、構成するカタログのタイプによって異なります。
- リージョン: カタログのリージョンは、そのストレージから派生します。複数バケットのカタログの場合、リージョンは
default_locationのバケットから取得されます。単一バケットのカタログの場合、バケットのリージョンと一致します。詳細については、バケットとカタログのリージョンをご覧ください。 - クロスリージョン レプリケーション: カタログがデュアルリージョン バケットまたはマルチリージョン バケットを使用している場合、Lakehouse ランタイム カタログはカタログ メタデータをセカンダリ リージョンに複製し、フェイルオーバー(プレビュー)をサポートします。
- アクセス委任: 管理者は、カタログで認証情報の自動販売を有効にしてアクセスを委任できます。これにより、ユーザーに直接バケット権限を付与するのではなく、スコープを縮小した有効期間の短い認証情報を自動生成できます。
名前空間
名前空間は、カタログ内のテーブルの論理グループであり、データベース、スキーマ、BigQuery データセットと同様に機能します。テーブルのアクセス制御を整理して管理するための構造を提供します。
名前空間の主な特徴は次のとおりです。
- リージョン性: 名前空間を作成すると、親カタログと同じリージョンが自動的に使用されます。
- ロケーションの柔軟性: カスタム名前空間のロケーションを指定するオプションは、カタログのウェアハウス タイプによって決まります。
- ネストの制限: ネストされた Namespace(サブ Namespace)はサポートされていません。
- セキュリティ境界: IAM ロールを名前空間レベルで付与して、名前空間に含まれるすべてのテーブルへのアクセスを管理できます。
テーブル
Google Cloud の Lakehouse で構築する場合は、次のテーブルタイプから選択できます。
Lakehouse ランタイム カタログでサポート
推奨
Apache Iceberg テーブル: オープンソース エンジンから作成され、Cloud Storage に保存される Apache Iceberg テーブル。これらは、Apache Iceberg REST カタログ エンドポイントを介してオープンな互換性と管理を提供します。オープンソース エンジンはこれらのテーブルの読み取りと書き込みを行うことができます。また、BigQuery DML を有効にすると、BigQuery でこれらのテーブルに書き込むことができます(プレビュー)。2 つのテーブルが同じロケーションを占有しないように、カスタム テーブルパスは親の名前空間パスの下にネストする必要があります。結果のテーブル ロケーションには、競合を防ぐためにランダムな文字列サフィックスが自動的に付加されます。
サポートされているテーブル形式: Apache Iceberg V2 テーブル(一般提供)と V3 テーブル(プレビュー)がサポートされています。Iceberg V1 テーブルはサポートされていません。Lakehouse で既存の V1 テーブルを使用する前に、サポートされているバージョンにアップグレードする必要があります。詳細については、Iceberg V1 テーブルを V2 にアップグレードするをご覧ください。
Apache Hive テーブル: Apache Hive カタログ エンドポイントを介して管理される標準の Hive テーブルと Spark テーブル(Parquet、ORC、Avro、Delta Lake などの形式)。オープンソース エンジンはこれらのテーブルの読み取りと書き込みを行うことができ、BigQuery はこれらのテーブルを読み取ることができます。詳細については、サポートされているストレージ形式とタイプをご覧ください。
BigQuery でサポート
- Apache Iceberg テーブル: BigQuery によって作成、管理される Apache Iceberg テーブル。これらのテーブルのメタデータは BigQuery カタログに保存され、テーブルデータと物理メタデータは Cloud Storage に保存されます。
- ネイティブ テーブル: BigQuery によってフルマネージドされるテーブル。Lakehouse ランタイム カタログに接続して、オープンソース エンジンと相互運用できます。
- 外部テーブル: Lakehouse ランタイム カタログの外部にあるテーブル。データとメタデータはセルフマネージドです。これらは、Cloud Storage、Amazon S3、Azure Blob Storage に保存されているデータへの接続を介した委任アクセスをサポートしています。
これらのオプションの詳細な比較については、テーブルタイプの比較をご覧ください。
クエリ処理シーケンス
Lakehouse で管理されている Apache Iceberg テーブルにクエリを送信すると、リクエストは特定のパスをたどり、ポリシーを適用してメタデータを取得してから、データが処理されます。
- 送信: Apache Spark、Trino、BigQuery などの互換性のあるエンジンに SQL クエリを送信します。
- メタデータ リクエスト: エンジンは、Lakehouse ランタイム カタログにテーブル メタデータをリクエストして、テーブルとそのメタデータの場所を特定します。
- 認可: 使用しているエンドポイントでサポートされている場合、カタログは Identity and Access Management(IAM)ときめ細かいセキュリティ ポリシーに照らしてリクエストを検証します。
- メタデータ レスポンス: カタログはメタデータを返します。認証情報の自動販売が有効になっている場合は、安全なストレージ アクセスに役立つ有効期間の短いトークンも提供されます。
- データの取得: エンジンは、メタデータとオプションのトークンを使用して、Cloud Storage からデータファイルを直接読み取ります。
- 実行: エンジンがデータを処理して結果を返します。
ベスト プラクティス
Google Cloud でデータ レイクハウスを設計して運用する場合は、次のベスト プラクティスを検討してください。
- メダリオン アーキテクチャを採用する: データ ウェアハウスを段階的な論理レイヤ(未加工の取り込み用のブロンズ、クレンジング済みで適合したデータ用のシルバー、キュレートされたビジネスレベルの集計用のゴールド)に構造化します。ゴールド消費レイヤに BigQuery を使用して、クエリのパフォーマンスと同時実行を最大化します。
- インタラクティブ ワークロードにセッション テンプレートを使用する: 探索的分析とノートブックの作成には、セッション テンプレートを使用して、開発チーム間で環境構成を標準化し、繰り返しの設定を減らします。
- カスタム バッチ ID を割り当てる: 非インタラクティブなサーバーレス Apache Spark バッチ ワークロードを送信するときに、カスタム バッチ名とジョブ名を割り当てます。これにより、オブザーバビリティが向上し、Cloud Logging と Google Cloud コンソール内でジョブの実行をフィルタリングして追跡できます。
- 診断ロギングを有効にする: 複雑なデータ エンジニアリング パイプラインの場合は、診断バンドルを有効にして、ドライバログとエグゼキュータ ログが保持されるようにします。これにより、トラブルシューティングとサポート性が向上します。
次のステップ
- メタストア サービスの詳細については、Lakehouse ランタイム カタログについてをご覧ください。
- レイクハウスの用語の定義については、主なコンセプトをご覧ください。
- Apache Spark、BigQuery、Apache Iceberg REST カタログ エンドポイントで Lakehouse ランタイム カタログを使用する。