GDC 에어 갭 적용형의 MariaDB 데이터베이스 참조 아키텍처

이 참조 아키텍처는 Google Distributed Cloud(GDC) 에어 갭에서 고객 관리형 고가용성 MariaDB 12 데이터베이스를 배포하고 운영하기 위한 개념적 프레임워크를 제공합니다. 이를 통해 기업 및 사전 체험판 고객은 강력한 멀티 영역 가상 머신(VM) 설정을 사용하여 중요한 데이터베이스 워크로드를 안정적으로 유지할 수 있습니다.

GDC 에어 갭은 현재 교차 영역 Kubernetes 확장 클러스터를 지원하지 않으므로 이 아키텍처는 지속적인 운영을 보장하고 데이터 손실 없이 전체 영역 장애를 견디기 위해 3개의 가용성 도메인에 배포된 전용 VM에 전적으로 의존합니다.

특징 및 기능

  • 멀티 영역 복원력: 단일 인프라 영역 장애로부터 보호하기 위해 3개의 개별 가용성 영역에 배포된 복원력이 우수한 3노드 구성입니다.
  • 자동화된 고가용성 및 합의: 동기식 멀티 마스터 클러스터링에 Galera를 사용하여 스플릿 브레인 시나리오 없이 자동 장애 감지, 노드 합의, 전역 데이터 동기화를 제공합니다.
  • 지능형 트래픽 라우팅: 공동 배치된 HAProxy 인스턴스는 연결 풀링을 관리하고 트래픽을 엄격하게 라우팅하여 쓰기 작업(예: 포트 3306)을 활성 기본 노드로 전달하고 동기화된 복제본 간에 읽기 작업(예: 포트 3307)을 부하 분산합니다.
  • 전역 부하 분산: 플랫폼 네이티브 GDC 전역 L4 부하 분산기와 통합되어 클라이언트 애플리케이션에 단일하고 안정적인 가상 IP(VIP)를 제공하고 기본 노드 토폴로지를 추상화합니다.
  • 데이터베이스 인식 장애 조치 검증: 가벼운 커스텀 Python 스크립트 또는 clustercheck와 같은 OSS 솔루션(예: 포트 9200에 노출됨)을 활용하여 부하 분산기 및 HAProxy에 상태 점검을 제공하여 트래픽이 정상적이고 완전히 동기화된 노드로만 라우팅되도록 합니다.

아키텍처 원칙

  • 동기식 다수결 기반 합의: eventual consistency보다 엄격한 데이터 일관성을 우선시합니다. Galera는 과반수 동의가 필요한 정족수 기반 모델을 시행하여 네트워크 파티션 중에 데이터 손실 또는 스플릿 브레인 위험을 제거합니다.
  • 관심사 분리: 데이터베이스 복제 레이어(Galera)를 연결 라우팅 및 장애 조치 감지 레이어(HAProxy 및 Python 상태 점검 서비스)에서 분리합니다.
  • 인프라 최적화: 에어 갭 환경을 위해 특별히 설계되었으며, 강력한 VM을 활용하여 현재 Kubernetes 네트워킹 제한을 우회합니다.

아키텍처

공동 배치된 서비스 스택을 실행하는 3개의 VM 아키텍처

개념 및 기술

이 섹션에서는 멀티 영역 아키텍처 내의 기능 구성요소와 특정 책임을 자세히 설명합니다.

인프라 및 플랫폼

  • 가상 머신(VM): 전용 컴퓨팅 인스턴스 3개로, 각각 별도의 가용성 영역에 배포되어 장애 도메인 경계를 형성합니다.
  • GDC 전역 L4 부하 분산기: 안정적인 내부 VIP를 노출하고 Python 기반 HTTP 상태 점검을 자동으로 평가하여 인바운드 트래픽을 리디렉션하는 플랫폼 관리형 네트워킹 구성입니다.

서비스 및 로직

  • MariaDB 12: 핵심 관계형 데이터베이스 엔진입니다.
  • Galera 플러그인: 동기식 멀티 마스터 복제 및 노드 쿼럼 확인을 담당하는 클러스터링 프레임워크입니다.
  • HAProxy: 각 VM에서 트래픽 라우터 역할을 합니다. 교착 상태를 방지하기 위해 쓰기용 활성/백업 토폴로지로 구성되고 분산 읽기를 위해 라운드 로빈으로 구성됩니다.
  • Python 상태 점검 서비스: 로컬 데이터베이스 상태를 지속적으로 폴링하고 포트 9200을 통해 HAProxy 및 L4 부하 분산기에 상태를 다시 알리는 경량 HTTP 서비스(systemd로 래핑됨)입니다.

데이터 흐름 및 인터페이스

  1. 애플리케이션은 데이터베이스 요청을 전역 L4 부하 분산기 VIP로 전송합니다.
  2. 부하 분산기는 VM 중 하나에서 정상 HAProxy 인스턴스에 대한 연결을 프록시합니다.
  3. 요청된 포트에 따라 HAProxy는 트래픽을 동적으로 전달합니다. 포트 3306은 쓰기를 위해 활성 노드를 엄격하게 타겟팅하는 반면 포트 3307은 클러스터 전체에서 읽기를 순환합니다.

설계 고려사항

일반적인 고려사항

  • 성능과 일관성 간의 장단점: Galera는 기본적으로 동기식이므로 모든 트랜잭션은 클러스터 피어에서 확인해야 합니다. 성능은 GDC 환경 내의 영역 간 네트워크 지연 시간과 직접적인 상관관계가 있습니다.
  • 리소스 관리: 데이터베이스 VM에 HAProxy를 직접 배포하면 하드웨어 사용률이 최적화되지만 연결 풀링 오버헤드로 인해 핵심 MariaDB 프로세스가 고갈되지 않도록 신중한 리소스 조정이 필요합니다.

상태 점검 고려사항

이 솔루션은 단순성과 외부 종속 항목이 없기 때문에 커스텀 Python 스크립트를 사용하지만 고객은 xinetd 및 clustercheck를 사용하여 표준 OSS 상태 점검을 구현할 수 있습니다.

  • 커스텀 Python 스크립트: 사전 설치된 Python 3 및 http.server 모듈을 활용합니다. 추가 패키지 전송이 필요하지 않으므로 에어 갭 환경에 적합합니다. 하지만 고객은 커스텀 스크립트 코드를 유지보수해야 합니다.
  • OSS 도구(xinetd / clustercheck): 유지보수 부담을 오픈소스 커뮤니티로 이전하지만 초기 에어 갭 소프트웨어 준비 중에 아키텍처 복잡성과 종속 항목 관리가 증가합니다.

성능에 대한 고려사항

배포를 계획할 때는 성능과 안정성을 최적화하기 위해 다음 구체적인 요소를 고려하세요.

  • 하드웨어 크기 조정: 요구사항은 워크로드에 따라 다르지만 각 VM의 시작점으로 다음 표준 프로필을 사용합니다.
    • 개발/개념 증명: vCPU 2개, RAM 8GB(안정적인 운영을 위한 최소 요구사항)
    • 소규모 프로덕션: vCPU 4개, RAM 16GB 동시 실행이 적당한 내부 도구에 적합합니다.
    • 표준 프로덕션: vCPU 8개, RAM 32GB. 중요한 애플리케이션에 권장되는 기준입니다.
    • 높은 처리량: vCPU 16개 이상, RAM 64GB 이상 InnoDB 버퍼 풀의 광범위한 데이터 캐싱을 활용하는 대규모 작업 세트가 있는 워크로드에 필요합니다.
  • 스토리지 성능: 고성능 스토리지는 데이터베이스 내구성과 클러스터 안정성에 매우 중요합니다. 동기 복제의 '커밋' 단계에서 쓰기 지연 시간을 최소화하려면 SSD 디스크를 사용하는 것이 좋습니다. 최적의 성능을 위해 p99 디스크 쓰기 지연 시간을 10ms 미만으로 설정하여 Galera gcache 또는 MySQL 바이너리 로그가 병목 현상이 되지 않도록 합니다.
  • 네트워크 지연 시간 및 흐름 제어: VM 간 지연 시간은 트랜잭션 커밋 속도에 직접적인 영향을 미칩니다.
    • 동기 복제: Galera 또는 그룹 복제 클러스터에서 모든 쓰기 트랜잭션은 과반수 노드에서 확인되어야 합니다. GDC(에어 갭 적용형)의 영역 간 지연 시간은 일반적으로 1ms 미만이므로 쓰기 오버헤드를 최소화(일반적으로 10~30%)하는 데 매우 적합합니다.
    • 흐름 제어: 네트워크 지터가 높거나 '느린' 노드가 하나 있으면 Galera 흐름 제어가 트리거되어 전체 클러스터에서 쓰기가 일시중지되고 지연된 노드가 따라잡을 수 있습니다.
  • HAProxy(또는 MySQL 라우터)의 역할: 부하 분산기는 여전히 필수적입니다.
    • 트래픽 분할: HAProxy는 교착 상태를 방지하기 위해 쓰기 트래픽이 단일 활성 노드(포트 3306)로만 전달되도록 보장하는 동시에 동기화된 모든 복제본(포트 3307)에서 읽기 전용 쿼리의 부하를 분산합니다.
    • 연결 안정성: 애플리케이션이 복잡한 장애 조치 로직을 수동으로 처리할 필요가 없도록 추상화 레이어를 제공합니다.
  • 사이드카 구성요소: 커스텀 Python 상태 점검 서비스와 부하 분산기는 가볍지만 중요합니다. VM의 CPU 가용성이 일관되어야 합니다. 부하가 높은 시나리오에서는 하이퍼바이저 수준에서 CPU '도용'이 발생하여 상태 점검 응답이 지연될 수 있으며, 이로 인해 전역 부하 분산기가 정상 노드를 순환에서 조기에 제거할 수 있습니다.

설계 결정

이 SRA에서 선택한 아키텍처는 GDC 에어 갭 제한사항을 명시적으로 해결하고 높은 처리량에 최적화합니다.

  • Kubernetes를 통한 가상 머신: GDC 에어 갭은 현재 여러 물리적 영역에 걸쳐 있는 Kubernetes 클러스터를 지원하지 않습니다. VM 기반 접근 방식은 별도의 영역에 전용 VM을 배포하는 것이 진정한 멀티 영역 고가용성을 달성하고 전체 영역 장애를 극복할 수 있는 유일한 방법이기 때문에 선택되었습니다.
  • Galera와 기본/보조 수동 설정(ProxySQL 사용) 비교: ProxySQL과 페어링된 기존 기본/보조 아키텍처가 실현 가능한 대안으로 평가되었습니다. 하지만 ProxySQL과 함께 수동 장애 조치 로직을 처리하려면 상당한 스크립팅과 운영 복잡성이 수반됩니다. 대신 Galera는 기본적으로 동기식 특성을 가지므로 장애 조치 복잡성을 크게 줄이고 성능을 크게 향상시킬 수 있어 선택되었습니다.
  • Orchestrator 거부: Orchestrator는 자동 장애 조치를 위한 업계 표준 토폴로지 관리자로 높이 평가됩니다. 하지만 MariaDB 10만 지원하고 MariaDB 버전 11 이상과의 호환성이 부족하기 때문에 평가 후 결국 거부되었습니다. 이로 인해 대상 MariaDB 12 요구사항과 호환되지 않았습니다.
  • 플랫폼 기반 전역 부하 분산: 기본 GDC 전역 L4 부하 분산기를 활용하면 VIP가 GDC 컨트롤 플레인에 의해 제어되므로 진입점이 탄력적으로 유지되고 영역 간 트래픽 전송이 간소화됩니다.

가정 및 제한사항

가정

  • 인프라 가용성: 고객에게는 3개의 가용성 영역에 균등하게 분산된 적절한 크기의 전용 VM과 전역 부하 분산기를 프로비저닝할 수 있는 충분한 프로젝트 할당량이 있습니다.
  • 보안 네트워킹: 키 기반 액세스 및 적절한 ProjectNetworkPolicies(PNP)가 설정되어 클러스터 내 Galera 동기화 및 상태 점검 폴링을 허용합니다.

제한사항

  • Kubernetes 미지원: 컨테이너화된/Kubernetes 기반 솔루션을 엄격하게 찾는 고객은 플랫폼에서 확장 클러스터를 완전히 지원할 때까지 멀티 영역 HA를 달성할 수 없습니다.
  • 수동 업그레이드 필요: 관리형 서비스와 달리 이 솔루션은 일상적인 OS 수준 패치, 데이터베이스 마이너 버전 업그레이드, Galera 버전 관리의 책임을 전적으로 고객에게 부여합니다.
  • 네트워크 지연 시간 민감도: 동기 복제에는 고품질의 안정적인 네트워크가 필요합니다. 에어 갭 적용 영역 간의 네트워크 지터 또는 지연 시간 급증은 MariaDB 클러스터 전반에서 쓰기 작업을 비례적으로 지연시킵니다.

추가 자료