BigLake Metastore は、カタログの可用性と復元性を向上させるために、クロスリージョン レプリケーションと障害復旧を提供します。
この機能は、継続的なアクセスを確保し、リージョンの停止から保護し、データ損失を防ぎ、Iceberg REST カタログを使用する Apache Iceberg テーブルのフェイルオーバーを有効にすることで、カタログの可用性と復元力を向上させます。
仕組み
BigLake メタストアは、カタログ メタデータのプライマリ リージョンとセカンダリ リージョンを自動的に選択します。プライマリ リージョンは、すべてのテーブル コミット メタデータを処理し、バックアップのためにセカンダリ リージョンに複製します。
いつでも（特に障害発生時）、フェイルオーバー オペレーションを使用して、カタログのプライマリ リージョンとセカンダリ リージョンを切り替えることができます。このアクションにより、カタログとそれに含まれるすべての Namespace とテーブルのプライマリが切り替わります。
クロスリージョン レプリケーション
クロスリージョン レプリケーションには、データ レプリケーションとメタストア レプリケーションという 2 つの主要コンポーネントがあります。障害復旧機能は、クロスリージョン レプリケーションに基づいてフェイルオーバーを可能にします。
データ レプリケーション: デュアルリージョン バケットまたはマルチリージョン バケットを使用すると、Cloud Storage は複数のリージョン間でカタログデータを自動的に複製します。リージョンで停止が発生した場合でも、ストレージパスを変更することなくデータにアクセスできます。
メタストアの複製: Iceberg REST カタログの場合、デュアルリージョン（またはカスタム デュアルリージョン）バケットを使用すると、BigLake メタストアはメタストアを自動的に複製します。メタストアのレプリケーションは、カタログを作成したときに開始されます。BigLake メタストアは、Cloud Storage 構成で定義されたリージョンからプライマリ リージョンとセカンダリ リージョンを選択します。プライマリ リージョンは、すべてのテーブル コミット メタデータを処理し、バックアップのためにセカンダリ リージョンに複製します。
フェイルオーバーによる障害復旧
障害復旧機能を使用すると、カタログのプライマリ リージョンとセカンダリ リージョンを切り替えることができます。フェイルオーバー オペレーションは、カタログとそのすべての Namespace とテーブルのプライマリ リージョンを切り替えます。フェイルオーバーには、ソフト フェイルオーバーとハード フェイルオーバーの 2 つのモードがあります。
ソフト フェイルオーバー: ソフト フェイルオーバーでは、データ損失を防ぐことができます。このモードでは、新しいプライマリ リージョンは、以前のプライマリ リージョンからすべてのデータが同期された後にのみ、書き込みを受け付け始めます。障害復旧テストやその他の計画されたシナリオには、ソフト フェイルオーバーを使用します。
ハード フェイルオーバー: ハード フェイルオーバーでは、データの整合性よりも可用性が優先され、サービスを復元するように設計されています。このモードでは、プライマリ リージョンは常に引き継ぎ、プライマリ リージョンの現在の状態に関係なく書き込みトラフィックを受け入れます。たとえば、ハード フェイルオーバーを使用する場合、以前のプライマリにアクセスできない場合でも、新しいプライマリ リージョンが引き継ぐことができます。
制限事項
この機能がプレビュー版の期間中、REPLICATION_TIMESTAMP は Cloud Storage ファイルではなく、カタログ メタデータのみを追跡します。データ損失の下限を維持するには、Cloud Storage のデータの可用性と耐久性に関するドキュメントをご覧ください。
次のステップ
- BigLake metastore でクロスリージョン レプリケーションと障害復旧を使用する。