리전 간에 Lakehouse 런타임 카탈로그를 복제하면 카탈로그 메타데이터를 백업하고 리전 중단으로부터 워크로드를 보호할 수 있습니다. 경계 없는 레이크하우스의 일부로 재해 복구를 사용하여 Apache Iceberg REST 카탈로그 엔드포인트를 사용하는 테이블을 장애 조치할 수 있습니다.
장애 조치를 관리할 때 계획된 테스트를 위한 소프트 장애 조치 또는 서비스 복원을 위한 하드 장애 조치 중에서 선택할 수 있습니다.
작동 방식
Lakehouse 런타임 카탈로그는 카탈로그 메타데이터의 기본 및 보조 리전을 자동으로 선택합니다. 기본 리전은 모든 테이블 커밋 메타데이터를 처리한 후 백업을 위해 보조 리전에 복제합니다.
언제든지, 특히 재해 발생 시 장애 조치 작업을 사용하여 카탈로그의 기본 리전과 보조 리전을 전환할 수 있습니다. 이 작업은 카탈로그와 포함된 모든 네임스페이스 및 테이블의 기본을 전환합니다.
리전 간 복제
리전 간 복제에는 데이터 복제와 메타스토어 복제라는 두 가지 주요 구성요소가 포함됩니다. 재해 복구 기능은 리전 간 복제를 기반으로 장애 조치를 사용 설정합니다.
데이터 복제: 이중 리전 또는 멀티 리전 버킷을 사용하면 Cloud Storage가 여러 리전에 걸쳐 카탈로그 데이터를 자동으로 복제합니다. 리전 서비스 중단이 발생하면 스토리지 경로를 변경하지 않고도 데이터에 계속 액세스할 수 있습니다.
Metastore 복제: Iceberg REST 카탈로그 엔드포인트의 경우 이중 리전 (또는 커스텀 이중 리전) 버킷을 사용하면 레이크하우스 런타임 카탈로그가 metastore를 자동으로 복제합니다. 카탈로그를 만들면 Metastore 복제가 시작됩니다. Lakehouse 런타임 카탈로그는 Cloud Storage 구성에 정의된 리전에서 기본 및 보조 리전을 선택합니다. 기본 리전은 모든 테이블 커밋 메타데이터를 제공하고 백업을 위해 보조 리전에 복제합니다.
장애 조치를 통한 재해 복구
재해 복구 기능을 사용하면 카탈로그의 기본 리전과 보조 리전을 전환할 수 있습니다. 장애 조치 작업은 카탈로그와 모든 네임스페이스 및 테이블의 기본 리전을 전환합니다. 장애 조치에는 소프트 장애 조치와 하드 장애 조치라는 두 가지 모드가 있습니다.
소프트 장애 조치: 소프트 장애 조치는 데이터 손실을 방지합니다. 이 모드에서는 이전 기본 리전의 모든 이전 데이터가 동기화된 후에만 새 기본 리전에서 쓰기 수락을 시작합니다. 재해 복구 테스트 또는 기타 계획된 시나리오에는 소프트 장애 조치를 사용합니다.
하드 장애 조치: 하드 장애 조치는 데이터 일관성보다 가용성을 우선시하며 서비스를 복원하도록 설계되었습니다. 이 모드에서는 기본 리전의 현재 상태와 관계없이 기본 리전이 항상 인계받고 쓰기 트래픽을 허용합니다. 예를 들어 하드 장애 조치를 사용할 때는 이전 기본 리전에 연결할 수 없더라도 새 기본 리전이 인계받을 수 있습니다.
제한사항
이 기능이 프리뷰 상태인 동안 REPLICATION_TIMESTAMP는 Cloud Storage 파일이 아닌 카탈로그 메타데이터만 추적합니다. 데이터 손실을 하한선으로 유지하려면 Cloud Storage 데이터 가용성 및 내구성 문서를 참조하세요.
다음 단계
- Lakehouse 런타임 카탈로그 엔드포인트에서 리전 간 복제 및 재해 복구를 사용합니다.