리전 간 복제 및 재해 복구 정보

BigLake metastore는 카탈로그의 가용성과 복원력을 개선하기 위해 리전 간 복제 및 재해 복구를 제공합니다.

이 기능은 지속적인 액세스를 보장하고, 리전 서비스 중단으로부터 보호하고, 데이터 손실을 방지하고, Iceberg REST 카탈로그를 사용하는 Apache Iceberg 테이블의 장애 조치를 지원하여 카탈로그의 가용성과 복원력을 개선합니다.

작동 방식

BigLake Metastore는 카탈로그 메타데이터의 기본 및 보조 리전을 자동으로 선택합니다. 기본 리전은 모든 테이블 커밋 메타데이터를 처리한 다음 백업을 위해 보조 리전으로 복제합니다.

언제든지, 특히 재해 발생 시 장애 조치 작업을 사용하여 카탈로그의 기본 리전과 보조 리전을 전환할 수 있습니다. 이 작업은 카탈로그와 포함된 모든 네임스페이스 및 테이블의 기본값을 전환합니다.

리전 간 복제에는 데이터 복제와 메타스토어 복제라는 두 가지 주요 구성요소가 포함됩니다. 재해 복구 기능은 리전 간 복제를 기반으로 장애 조치를 지원합니다.

데이터 복제: 이중 리전 또는 멀티 리전 버킷을 사용하면 Cloud Storage가 여러 리전에 카탈로그 데이터를 자동으로 복제합니다. 리전 장애가 발생해도 스토리지 경로를 변경하지 않고 데이터에 계속 액세스할 수 있습니다.

참고: 프리뷰 기간에는 Cloud Storage 데이터 복제가 완료되기 전에 카탈로그 메타데이터 복제가 발생할 수 있습니다. 장애 조치가 필요한 재해가 발생하면 일부 테이블이 아직 보조 리전에 없는 파일을 가리킬 수 있으므로 수동 복구 프로세스가 필요할 수 있습니다.
Metastore 복제: Iceberg REST 카탈로그의 경우 이중 리전 (또는 맞춤 이중 리전) 버킷을 사용하면 BigLake metastore에서 자동으로 metastore를 복제합니다. 메타스토어 복제는 카탈로그를 만들 때 시작됩니다. BigLake metastore는 Cloud Storage 구성에 정의된 리전에서 기본 및 보조 리전을 선택합니다. 기본 리전은 모든 테이블 커밋 메타데이터를 제공하고 백업을 위해 보조 리전으로 복제합니다.

재해 복구 기능을 사용하면 카탈로그의 기본 리전과 보조 리전을 전환할 수 있습니다. 장애 조치 작업은 카탈로그와 모든 네임스페이스 및 테이블의 기본 리전을 전환합니다. 장애 조치에는 소프트 장애 조치와 하드 장애 조치라는 두 가지 모드가 있습니다.

소프트 장애 조치: 소프트 장애 조치는 데이터 손실을 방지합니다. 이 모드에서는 이전 기본 리전에서 모든 이전 데이터가 동기화된 후에만 새 기본 리전에서 쓰기를 수락하기 시작합니다. 재해 복구 테스트 또는 기타 계획된 시나리오에는 소프트 장애 조치를 사용합니다.
강제 장애 조치: 강제 장애 조치는 데이터 일관성보다 가용성을 우선시하며 서비스를 복원하도록 설계되었습니다. 이 모드에서는 기본 리전이 항상 인계받아 기본 리전의 현재 상태와 관계없이 쓰기 트래픽을 수락합니다. 예를 들어 하드 장애 조치를 사용하는 경우 이전 기본 리치에 도달할 수 없더라도 새 기본 리전이 인계받을 수 있습니다.

이 기능이 미리보기 상태인 동안에는 REPLICATION_TIMESTAMP가 Cloud Storage 파일이 아닌 카탈로그 메타데이터만 추적합니다. 데이터 손실을 하한으로 유지하려면 Cloud Storage 데이터 가용성 및 내구성 문서를 참고하세요.