이 페이지에서는 Managed Service for Apache Kafka가 Kafka 클러스터의 브로커를 프로비저닝하는 방법을 설명합니다.
개요
Kafka 클러스터는 하나 이상의 브로커 로 구성됩니다. 생산자 애플리케이션은 브로커에 메시지를 전송하고 소비자 애플리케이션은 브로커에 연결하여 메시지를 읽습니다. 여러 소비자가 일반적으로 소비자 그룹을 사용하여 메시지를 병렬로 읽을 수 있습니다. 주제의 각 파티션에는 리더 브로커가 할당됩니다. 리더는 수신하는 파티션 데이터를 다른 브로커로 복제하는 역할을 합니다.
Managed Service for Apache Kafka는 브로커를 자동으로 만듭니다. 브로커 수를 직접 구성할 수는 없지만 클러스터를 확장하여 브로커를 추가할 수 있습니다.
브로커 프로비저닝
Managed Service for Apache Kafka 클러스터를 만들면 서비스는 3개 영역 각각에 브로커를 하나 이상 프로비저닝합니다. 브로커 수는 다음과 같이 계산됩니다.
number of brokers = max(3, ceiling(vCPUs / 15))
예를 들어 vCPU가 75개인 클러스터는 브로커 5개로 시작합니다.
브로커는 영역 전체에 최대한 균등하게 분산되며 모든 브로커의 vCPU 수는 동일합니다(소수점 이하 값일 수 있음). 각 브로커에는 vCPU가 하나 이상 있습니다.
서비스는 브로커의 디스크 용량을 자동으로 프로비저닝합니다. 원하는 경우 클러스터를 만들 때 브로커당 디스크 용량을 구성하고 나중에 늘릴 수 있습니다. 자세한 내용은 브로커 디스크 크기 구성을 참고하세요.
클러스터 확장
클러스터 크기를 늘리면 브로커당 최대 15개의 vCPU까지 기존 브로커 간에 추가 vCPU가 분산됩니다. 클러스터 크기가 브로커당 15개의 vCPU를 초과하면 서비스는 새 브로커를 프로비저닝합니다. 브로커는 3개 영역에 균등하게 분산되며 최대 차이는 1입니다.
클러스터 크기를 줄이면 vCPU는 기존 브로커 간에 분산되며 브로커당 최소 1개의 vCPU까지 분산됩니다. 클러스터 수명 동안 브로커는 삭제되지 않습니다. 새 브로커가 프로비저닝되면 vCPU 1개로 축소할 수 있지만 삭제되지는 않습니다.
브로커 파티션 재분산
클러스터를 확장하는 이유는 새 브로커에 일부 파티션을 재할당하여 기존 브로커의 부하를 줄이는 경우가 많습니다. 이 프로세스를 재분산 이라고 합니다. 재분산은 자동으로 또는 수동으로 실행할 수 있습니다.
자동 재분산. 자동 재분산은 클러스터 전체 설정입니다. 새 브로커가 프로비저닝될 때 자동 재분산이 사용 설정되어 있으면 서비스는 기존 브로커의 파티션을 자동으로 재분산합니다. 재분산 알고리즘은 파티션 수를 기반으로 하며 브로커당 파티션 수를 거의 동일하게 유지하는 것을 목표로 합니다. 각 파티션에서 제공하는 실제 트래픽은 고려하지 않습니다. 자세한 내용은 재분산 구성을 참고하세요.
수동 재분산. 파티션 할당을 변경하여 파티션을 수동으로 재분산할 수 있습니다. 자동 재분산이 사용 중지되었거나 파티션이 다른 파티션보다 훨씬 많은 트래픽을 수신하는 경우 (핫 파티션 이라고 함) 이 작업을 실행할 수 있습니다. 자세한 내용은 파티션 할당 변경을 참고하세요.