Borderless Lakehouse を使用すると、Apache Iceberg オープン テーブル形式とマネージド ストレージを組み合わせて、Google Cloud にオープンデータ レイクハウスを構築できます。このアーキテクチャは、ストレージをコンピューティングから分離して、分析ワークロードと AI ワークロードに統合された基盤を提供します。
オープン テーブルのメタデータを管理するために、Lakehouse は Lakehouse ランタイム カタログを使用します。これは、検出を一元化し、クロスリポジトリ同期を排除するサーバーレス メタデータ サービスです。この設計により、Managed Service for Apache Spark、Apache Flink、Apache Hive、Trino、BigQuery などの複数のエンジンが、データの重複なしに信頼できる唯一の情報源に直接アクセスできます。
主なメリット
- サーバーレス アーキテクチャ: Google Cloud のレイクハウスでは、サーバーやクラスタの管理が不要になり、運用上のオーバーヘッドが削減され、需要に応じて自動的にスケーリングされます。コンピューティング ワークロードの場合、サーバーレス バッチとインタラクティブ セッションにより、ジョブ間のリソース競合が解消され、インフラストラクチャのメンテナンスが自動化されます。
- 統合されたデータ マネジメントとガバナンス: Knowledge Catalog との統合により、複数のエンジンにわたってガバナンス ポリシーを一元的に定義して適用できます。また、セマンティック検索、データリネージ、品質チェックも可能になります。
- ストレージ拡張機能: Google Cloud のレイクハウスは、Cloud Storage の管理機能を拡張し、Autoclass 階層化や顧客管理の暗号鍵（CMEK）などの機能を提供します。
- フルマネージド エクスペリエンス: BigQuery と統合すると、Google Cloud のレイクハウスはフルマネージドの分析と AI エクスペリエンスを提供します。
- 高可用性と障害復旧: Google Cloud のレイクハウスには、データの高可用性をサポートするクロスリージョン レプリケーションと障害復旧（プレビュー）のオプションが用意されています。
ユースケース
- オープン レイクハウス: Cloud Storage をストレージ レイヤとして使用し、Google Cloud の Lakehouse が Apache Iceberg データの管理とガバナンスのインターフェースを提供します。
- 分析とトランザクションの統合: AlloyDB for PostgreSQL（[プレビュー][4]）内で分析用の Apache Iceberg テーブルに直接アクセスして、分析データをトランザクション ワークロードと組み合わせます。
- 統合アクセス: さまざまなエンジン（Apache Spark、Apache Flink、BigQuery）が、一貫したメタデータを使用して同じ Apache Iceberg テーブルを操作できるようにします。
- クロスクラウド分析と AI: クロスクラウド データ（プレビュー）にアクセスして、他のクラウド プロバイダからメタデータを同期します。これにより、データを移行することなく、Apache Iceberg REST カタログ エンドポイントを介して BigQuery や外部のオープンソース エンジンでデータをクエリできます。
- 一般公開データセットの探索: インフラストラクチャを管理することなく、Apache Iceberg REST カタログ エンドポイントを使用して、高品質の一般公開データセットを簡単にクエリできます。
- Hive Metastore: Hive カタログを使用して、Apache Spark や Apache Hive などのオープンソース エンジンを Lakehouse ランタイム カタログに接続します。これにより、セルフホスト型の Hive metastore（HMS）を維持する運用上のオーバーヘッドが排除され、BigQuery でのシームレスなデータ共有と直接テーブルクエリが可能になります。
インターフェースとツール
Google Cloud のレイクハウス リソースは、次のツールを使用して操作できます。
- Google Cloud コンソール: コンソールを使用して、カタログの作成、カタログ プロパティの表示、監査ログの表示、権限の構成を行います。
- BigQuery SQL: 標準 SQL DDL（データ定義言語）を使用して、Lakehouse ランタイム カタログと統合された Apache Iceberg テーブルと外部テーブルを作成して管理します。
- オープンソース エンジン: Apache Spark、Apache Flink、Apache Hive などのエンジンを Lakehouse ランタイム カタログとともに使用して、データの読み取りと書き込みを行います。
- IDE とノートブック: インタラクティブな Apache Spark ノートブックと IDE 拡張機能（VS Code 用の Data Agent Kit（DAK）拡張機能など）を使用して、Google Cloud への認証、コードのインタラクティブな作成、ノートブック セッションの管理を開発環境内で直接行います。
- オーケストレーション ツールと MLOps ツール: Managed Service for Apache Airflow（旧称 Cloud Composer）と Vertex AI の Kubeflow Pipelines を使用して、サーバーレス バッチ パイプラインとカタログ オペレーションをオーケストレーション ワークフローに統合します。
- Apache Iceberg REST Catalog API: Apache Iceberg REST カタログ エンドポイントを使用して、オープンな Apache Iceberg REST 仕様と互換性のあるツールでサービスを操作します。
- Apache Iceberg テーブルのサポート: Apache Iceberg V2 テーブル（一般提供）と V3 テーブル（プレビュー）がサポートされています。Iceberg V1 テーブルはサポートされていません。
次のステップ
- Google Cloud のボーダーレスなレイクハウスのアーキテクチャを理解する。