Kafka 데이터를 Managed Service for Apache Kafka로 이전

이 문서에서는 Apache Kafka 워크로드를 Managed Service for Apache Kafka로 마이그레이션하는 방법을 설명합니다.

이 문서에 표시된 접근 방식은 MirrorMaker 2.0과 함께 Kafka Connect를 사용합니다. Kafka Connect는 Kafka를 외부 시스템과 연결하는 프레임워크이고 MirrorMaker 2.0은 Kafka 클러스터 간에 데이터를 실시간으로 복제하는 도구입니다.

아키텍처

다음 다이어그램은 데이터를 Managed Service for Apache Kafka로 마이그레이션하는 아키텍처를 보여줍니다.

Kafka 데이터를 Managed Service for Apache Kafka로 이전하는 아키텍처

이 아키텍처는 다음 구성요소로 구성됩니다.

  • 소스 Kafka 클러스터: 온프레미스 또는 다른 클라우드 환경에 있을 수 있는 기존 Kafka 클러스터입니다. 이 파일에는 이전할 주제가 포함되어 있습니다.

  • 타겟 Kafka 클러스터: Kafka 데이터를 이동할 Managed Service for Apache Kafka 클러스터입니다.

  • Connect 클러스터: 대상 Kafka 클러스터와 연결된 Kafka Connect의 분산형 배포입니다.

  • MirrorMaker 2.0 소스 커넥터: 소스 클러스터에서 타겟 클러스터로 주제를 복제합니다. 해당 주제와 파티션이 없는 경우 대상 클러스터에 자동으로 생성합니다. 또한 소스 주제의 ACL과 일치하도록 대상 클러스터의 주제 ACL을 구성합니다.

  • MirrorMaker 2.0 체크포인트 커넥터 소비자가 보조 Kafka 클러스터로 전환하여 중단한 지점부터 읽을 수 있도록 소비자 오프셋을 복제합니다.

대략적인 워크플로

이 섹션에서는 마이그레이션 프로세스의 개략적인 워크플로를 설명합니다.

  • 마이그레이션 계획

    1. 클러스터 크기, 주제, 처리량, 소비자 그룹을 포함하여 기존 Kafka 설정을 문서화합니다.

    2. 활성 워크로드를 새 클러스터로 전환하는 방법을 비롯한 마이그레이션 전략을 계획합니다.

    3. 필요한 클러스터 크기를 추정합니다. 이 계산을 통해 워크로드를 실행하기에 충분한 리소스가 있는지 확인하는 데 도움이 되는 Managed Service for Apache Kafka 클러스터의 초기 크기를 알 수 있습니다. 필요한 경우 나중에 클러스터를 확장할 수 있습니다.

  • 데이터 이전

    1. 온프레미스 Kafka 클러스터를 Google Cloud에 연결합니다.

    2. Apache Kafka용 관리형 서비스 클러스터, Connect 클러스터, 데이터를 복제하는 MirrorMaker 2.0 커넥터를 비롯한 리소스 Google Cloud 생성

    3. 복제 프로세스를 모니터링합니다.

    4. 주제와 소비자 그룹이 복제되고 있는지 확인한 후 소비자와 생산자를 Managed Service for Apache Kafka 클러스터로 이전합니다.

  • 새 클러스터로 전환

    1. Managed Service for Apache Kafka 클러스터로 데이터 무결성 및 애플리케이션 기능을 검증합니다.

    2. 최종 컷오버를 실행하여 트래픽을 Managed Service for Apache Kafka 클러스터로 리디렉션합니다.

    3. 이전 Kafka 클러스터를 사용 중단합니다.

  • 모니터링

    1. Managed Service for Apache Kafka 클러스터의 성능을 지속적으로 모니터링합니다. 자세한 내용은 Managed Service for Apache Kafka 클러스터 모니터링을 참고하세요.

    2. 변경사항을 반영하도록 문서를 검토하고 업데이트합니다.

Kafka 설정 문서화

마이그레이션을 시작하기 전에 현재 Kafka 설정을 문서화합니다. 다음 정보를 수집합니다.

  • Apache Kafka 클러스터의 버전을 확인합니다. MirrorMaker 2.0을 사용하려면 클러스터가 버전 2.4.0 이상이어야 합니다.

  • 마이그레이션해야 하는 주제를 식별합니다. 각 주제의 복제 계수와 파티션 수도 문서화합니다.

  • 클러스터 및 주제 수준에서 메시지 처리량을 측정합니다.

  • 각 주제와 연결된 프로듀서와 소비자를 식별합니다. 소비자의 경우 모든 소비자 그룹을 식별합니다.

  • 소비자 구성, 특히 보안 프로토콜 및 기타 Google Cloud 서비스와의 통합을 문서화합니다.

이 정보를 사용하여 Managed Service for Apache Kafka 클러스터의 필요한 크기를 계산하고 MirrorMaker 2.0 커넥터의 구성 설정을 선택할 수 있습니다.

이전 중에 중단이 발생하지 않도록 소스 Kafka 클러스터와 관련된 모든 애플리케이션 종속 항목을 매핑합니다.

마이그레이션 전략 계획

이 섹션에서는 Kafka 데이터를 이전할 때 고려해야 할 몇 가지 운영 관련 사항을 설명합니다. 마이그레이션 프로세스 중에 다운타임을 최소화하려면 다음 전략을 고려하세요.

  • 병렬 배포: 새 클러스터로 전환하기 전에 이전 클러스터와 새 클러스터 모두에서 애플리케이션의 병렬 인스턴스를 실행합니다. 이 전환 기간에는 동일한 메시지를 두 번 처리하여 의도치 않은 결과가 발생하지 않도록 메시지당 한 번만 발생해야 하는 애플리케이션의 작업을 일시적으로 사용 중지하세요. 새 인스턴스가 완전히 따라잡은 후 모든 트래픽을 새 클러스터로 리디렉션하고 모든 기능을 다시 사용 설정합니다.

  • 단계적 출시: 중요도가 낮은 애플리케이션부터 시작하여 관리 가능한 작은 단계로 마이그레이션합니다. 이 접근 방식을 사용하면 잠재적인 문제를 격리하고 중단의 영향을 최소화할 수 있습니다.

  • 블루 및 그린 배포: 기존 프로덕션 환경 (블루)과 함께 프로덕션 환경의 완전한 복제본 (그린)을 만듭니다. 블루에서 그린으로 트래픽을 점진적으로 전환합니다. 최종 컷오버 전에 새 프로덕션 환경을 테스트하고 검증합니다. 이 접근 방식은 다운타임을 최소화하지만 이전 중에 더 많은 리소스가 필요합니다.

  • 드라이 런 프로덕션 환경을 마이그레이션하기 전에 개발 환경에서 테스트 마이그레이션을 실행하세요. 프로세스를 검증하고 잠재적인 문제를 식별합니다.

마이그레이션을 계획할 때 고려해야 할 추가 사항은 다음과 같습니다.

  • 메시지 처리 요구사항: 중복되거나 누락된 메시지에 대한 애플리케이션의 허용 범위를 파악하고 이에 따라 소비자를 구성합니다.

  • 커뮤니케이션 및 조정: 명확한 커뮤니케이션 채널을 설정하고 전환 시기를 조정합니다.

  • 롤백 필요한 경우 원래 클러스터로 되돌리는 롤백 계획을 만듭니다.

클러스터 크기 추정

Managed Service for Apache Kafka 클러스터에 필요한 메모리와 vCPU 수를 추정하려면 먼저 워크로드의 총 쓰기 처리량과 읽기 처리량을 계산합니다. 다음 JMX 측정항목을 사용하여 이러한 값을 측정할 수 있습니다.

  • kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec: 모든 주제에서 클라이언트로부터 수신되는 바이트 비율입니다. 모든 주제의 집계 비율을 가져오려면 topic={...} 매개변수를 생략합니다 .

  • kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec: 모든 주제에서 클라이언트로 전송되는 바이트 비율입니다. 전체 비율을 확인하려면 topic={...} 매개변수를 생략하세요.

이러한 측정항목은 브로커 수준에서 보고됩니다. 클러스터 처리량을 계산하려면 모든 브로커의 데이터를 집계합니다.

일정 기간 동안 이러한 JMX 측정항목을 모니터링하면 데이터 포인트를 수집하여 다음 측정항목을 계산할 수 있습니다.

  • 평균 데이터 수신(MBps): Kafka 클러스터로 데이터가 수집되는 평균 속도입니다.

  • 최고 데이터 수신(MBps): Kafka 클러스터로 데이터가 수집되는 최고 속도입니다.

  • 평균 데이터 아웃(MBps): Kafka 클러스터에서 데이터가 소비되는 평균 속도입니다.

  • 최고 데이터 아웃(MBps): Kafka 클러스터에서 데이터가 소비되는 가장 높은 비율입니다.

이러한 계산된 값을 사용하여 다음과 같이 쓰기 등가 비율을 추정합니다.

Write-equivalent rate (Avg/Peak) = (total write bandwidth) + (total read bandwidth / 4)

쓰기 등가 비율은 읽기 대역폭이 쓰기 대역폭보다 처리 효율성이 높다는 점을 고려합니다. 쓰기 동등 비율을 사용하여 Managed Service for Apache Kafka 클러스터에 적합한 크기를 선택합니다. 자세한 내용은 Kafka 클러스터 크기 계획을 참고하세요.

온프레미스 Apache Kafka를 Google Cloud에 연결

소스 Apache Kafka 클러스터가 온프레미스에 있는 경우 온프레미스 네트워크와 Managed Service for Apache Kafka 클러스터가 있는 Virtual Private Cloud (VPC) 간에 보안 연결을 설정해야 합니다. Google Cloud에서 다음 옵션 중 하나를 사용합니다.

  • Cloud VPN: 대역폭 요구사항이 낮거나 초기 마이그레이션 실험에 적합한 비용 효율적인 솔루션입니다. 공개 인터넷에서 암호화된 터널을 만듭니다. Cloud VPN에 대한 자세한 내용은 Cloud VPN 개요를 참고하세요.

  • Cloud Interconnect: 온프레미스 네트워크와 Google Cloud간에 전용 고대역폭 연결을 제공합니다. 이는 높은 처리량과 짧은 지연 시간이 필요한 엔터프라이즈급 배포에 적합합니다. Dedicated Interconnect (직접 물리적 연결) 또는 Partner Interconnect (지원되는 서비스 제공업체를 통한 연결) 중에서 선택할 수 있습니다. 자세한 내용은 Cloud Interconnect 개요를 참고하세요.

Managed Service for Apache Kafka 클러스터를 만들 때는 VPC 네트워크에서 하나 이상의 서브넷을 선택해야 합니다. 이 서브넷은 클러스터가 VPC 네트워크의 다른 리소스와 통신하는 데 사용하는 IP 주소를 제공합니다.

온프레미스 네트워크 또는 다른 VPC 네트워크에서 Managed Service for Apache Kafka 클러스터에 안전하게 연결하려면 Cloud VPN 또는 Cloud Interconnect를 통해 Private Service Connect를 사용하면 됩니다. Private Service Connect 엔드포인트를 명시적으로 설정할 필요가 없습니다. 클러스터를 만드는 동안 서브넷을 선택하면 Managed Service for Apache Kafka 서비스에서 필요한 Private Service Connect 엔드포인트를 자동으로 만듭니다. 이렇게 하면 복잡한 방화벽 규칙이나 공개 IP 주소를 관리하지 않고도 VPC 네트워크 내에서 내부 IP 주소를 사용하여 클러스터에 액세스할 수 있으므로 네트워크 구성이 간소화됩니다.

자세한 내용은 Managed Service for Apache Kafka 네트워킹을 참고하세요.

Google Cloud 리소스 만들기

다음 리소스를 만듭니다.

  1. Managed Service for Apache Kafka 클러스터입니다. 자세한 내용은 Managed Service for Apache Kafka 클러스터 만들기 및 보기를 참고하세요.

  2. 기본 Kafka 클러스터가 이전 단계에서 만든 클러스터인 Connect 클러스터 자세한 내용은 Connect 클러스터 만들기를 참고하세요.

    Connect 클러스터를 Managed Service for Apache Kafka 클러스터와 동일한 리전에 배치합니다.

  3. 데이터를 복제하는 MirrorMaker 2.0 소스 커넥터 자세한 내용은 MirrorMaker 2.0 소스 커넥터 만들기를 참고하세요.

  4. 소비자 체크포인트를 복제하는 MirrorMaker 2.0 체크포인트 커넥터 자세한 내용은 MirrorMaker 2.0 체크포인트 커넥터 만들기를 참고하세요.

MirrorMaker 2.0 설정

다음 설정은 체크포인트가 생성되고 복제되는 빈도를 결정하며, 이는 클러스터 간 소비자 오프셋 변환의 정밀도에 영향을 미칠 수 있습니다.

  • 소비자:

    • auto.commit.interval.ms: 소비자가 오프셋을 커밋하는 빈도입니다.
  • MirrorMaker 2.0 소스 커넥터:

    • offset.lag.max: 소스 커넥터가 오프셋 동기화를 쓰는 빈도입니다.
  • MirrorMaker 2.0 체크포인트 커넥터:

    • sync.group.offsets.enabled: true인 경우 체크포인트 커넥터가 내부 주제에서 소비자가 사용하는 __consumer_offsets 주제로 체크포인트를 복사합니다. 소비자가 원활하게 장애 조치를 수행할 수 있도록 이 속성을 true로 설정하세요.
    • emit.checkpoints.interval.seconds: 체크포인트 커넥터가 체크포인트를 쓰는 빈도입니다.
    • sync.group.offsets.interval.seconds: 체크포인트 커넥터가 체크포인트를 __consumer_offsets에 복사하는 빈도입니다.

자세한 내용은 MirrorMaker 2.0 체크포인트 커넥터 작동 방식을 참고하세요.

데이터 복제 모니터링

MirrorMaker 2.0 프로세스가 올바르게 실행되고 데이터가 예상대로 복제되는지 모니터링합니다. 자세한 내용은 Connect 클러스터 모니터링을 참고하세요.

애플리케이션을 마이그레이션한 후 다음 측정항목을 모니터링하여 성공 여부를 확인합니다.

  • 다운스트림 처리량 비율: 다운스트림 처리량 비율에 큰 변화가 없는지 확인합니다.

  • CPU 및 메모리 사용률: Managed Service for Apache Kafka 클러스터의 CPU 및 메모리 사용률을 모니터링합니다. 자세한 내용은 Kafka 클러스터의 안정성 모니터링을 참고하세요.

  • 오류 로그: Cloud Logging에서 Managed Service for Apache Kafka 클러스터 또는 애플리케이션과 관련된 오류 로그를 정기적으로 확인합니다.

다음 단계

Apache Kafka®는 미국 및/또는 다른 국가에서 사용되는 Apache Software Foundation 또는 해당 계열사의 등록 상표입니다.