Lakehouse for Apache Iceberg は、オープンデータ レイクハウスの構築用に設計された高性能ストレージ エンジンです。Apache Iceberg のオープン テーブル フォーマットを のフルマネージド エンタープライズ グレードのストレージと統合することで、 高度な分析と AI のための統合インターフェースを提供します。 Google Cloud
オープン テーブルのメタデータを管理するために、Lakehouse for Apache Iceberg は Lakehouse ランタイム カタログを使用します。このフルマネージドのサーバーレス メタデータ サービスは、異なるシステム間で信頼できる唯一の情報源を提供し、検出を一元化して、異なるリポジトリ間でメタデータを同期する必要をなくします。
Google Cloud の Lakehouse は、ストレージとコンピューティングを分離することで、分析システムとトランザクション システム間のシームレスな相互運用性を実現します。 このアーキテクチャにより、Apache Spark、Apache Flink、Apache Hive、Trino、BigQuery などの複数のエンジンが信頼できる唯一の情報源にアクセスできるようになり、データの重複を排除して、一貫した分析情報を確保できます。
主なメリット
- サーバーレス アーキテクチャ: Google Cloud の Lakehouse では、サーバーやクラスタの管理が不要になり、運用オーバーヘッドが削減され、需要に応じて自動的にスケーリングされます。コンピューティング ワークロードの場合、サーバーレス バッチとインタラクティブ セッションにより、ジョブ間のリソース競合が解消され、インフラストラクチャのメンテナンスが自動化されます。
- 統合されたデータ管理とガバナンス: Knowledge Catalog との統合により、複数のエンジン間でガバナンス ポリシーの一元的な定義と 適用が保証され、 セマンティック検索、データリネージ、品質チェックが可能になります。
- ストレージ拡張機能: Google Cloud の Lakehouse は、Cloud Storage の管理機能を拡張し、Autoclass 階層化や顧客管理の暗号鍵（CMEK）などの機能を追加します。
- フルマネージド エクスペリエンス: BigQuery と統合すると、Google Cloud の Lakehouse はフルマネージドの分析と AI のエクスペリエンスを提供します。
- 高可用性と障害復旧: Google Cloud's Lakehouse は、データの高可用性をサポートするために、リージョン間レプリケーションと 障害復旧（プレビュー）のオプションを提供します。
ユースケース
- オープン レイクハウス: Cloud Storage をストレージ レイヤとして使用します。Google Cloud の Lakehouse は、Apache Iceberg データの管理とガバナンスのインターフェースを提供します。
- 分析とトランザクションの統合: 分析用の Apache Iceberg テーブルに AlloyDB for PostgreSQL （プレビュー）内から直接アクセスして、分析データとトランザクション ワークロードを組み合わせます。
- 統合アクセス: さまざまなエンジン（Apache Spark、Apache Flink、BigQuery）が、一貫したメタデータを使用して同じ Apache Iceberg テーブルとやり取りできるようにします。
- クロスクラウド分析と AI: クロスクラウド Lakehouse（プレビュー）を使用して、他のクラウド プロバイダのメタデータを同期します。これにより、データを移行することなく、 Apache Iceberg REST カタログ エンドポイントを介して BigQuery または外部のオープンソース エンジンでデータをクエリできます。
- 一般公開データセットの探索: インフラストラクチャを管理せずに、Apache Iceberg REST カタログ エンドポイントを使用して高品質の一般公開データセットを簡単にクエリできます。
- Hive Metastore: Hive カタログ（プレビュー）を使用して、Apache Spark や Apache Hive などのオープンソース エンジンを Lakehouse ランタイム カタログに接続します。これにより、セルフホスト型 Hive Metastore（HMS）の維持に伴う運用オーバーヘッドが解消され、BigQuery でのシームレスなデータ共有と直接テーブル クエリが可能になります。
インターフェースとツール
Google Cloud の Lakehouse リソースは、次のツールを使用して操作できます。
- Google Cloud **コンソール**: コンソールを使用して、カタログの作成、カタログ プロパティの表示、監査ログの表示、権限の構成を行います。
- BigQuery SQL: 標準 SQL DDL（データ定義言語）を使用して、Lakehouse ランタイム カタログと統合された Apache Iceberg テーブルと外部テーブルを作成して管理します。
- オープンソース エンジン: Lakehouse ランタイム カタログで Apache Spark、Apache Flink、Apache Hive などのエンジンを使用して、データの読み取りと書き込みを行います。
- IDE とノートブック: 対話型の Apache Spark ノートブックと IDE 拡張機能（VS Code 用の Data Agent Kit（DAK）拡張機能など）を使用して、Google Cloud に対する認証、コードの対話的な作成、開発環境内でのノートブック セッションの直接管理を行います。
- オーケストレーション ツールと MLOps ツール: Managed Service for Apache Airflow（旧 Cloud Composer）と Vertex AI の Kubeflow Pipelines を使用して、サーバーレス バッチ パイプラインとカタログ オペレーションをオーケストレーション ワークフローと統合します。
- Lakehouse ランタイム カタログ API: Apache Iceberg REST カタログ エンドポイントを使用して、オープン Apache Iceberg REST 仕様と互換性のあるツールでサービスを操作します。
- Apache Iceberg テーブルのサポート: Apache Iceberg V2 テーブル（一般提供）と V3 テーブル（プレビュー）がサポートされています。Iceberg V1 テーブルはサポートされていません。
次のステップ
- Google Cloud の Lakehouse のアーキテクチャについて理解する。