이 페이지에서는 Managed Service for Apache Kafka가 Kafka 클러스터용 브로커를 프로비저닝하는 방법을 설명합니다.
개요
Kafka 클러스터는 하나 이상의 브로커로 구성됩니다. 생산자 애플리케이션은 브로커에 메시지를 전송하고 소비자 애플리케이션은 브로커에 연결하여 메시지를 읽습니다. 여러 소비자가 일반적으로 소비자 그룹을 사용하여 메시지를 병렬로 읽을 수 있습니다. 주제의 각 파티션에는 리더 브로커가 할당됩니다. 리더는 수신한 파티션 데이터를 다른 브로커에 복제하는 역할을 합니다.
Managed Service for Apache Kafka는 브로커를 자동으로 생성합니다. 브로커 수를 직접 구성할 수는 없지만 클러스터를 확장하여 브로커를 추가할 수 있습니다.
브로커 프로비저닝
Managed Service for Apache Kafka 클러스터를 만들면 서비스에서 세 개의 영역 각각에 하나 이상의 브로커를 프로비저닝합니다. 브로커 수는 다음과 같이 계산됩니다.
number of brokers = max(3, ceiling(vCPUs / 15))
예를 들어 vCPU가 75개인 클러스터는 브로커 5개로 시작합니다.
브로커는 영역에 최대한 균등하게 분산되며 모든 브로커의 vCPU 수는 동일합니다(소수점 값일 수 있음). 각 브로커에는 vCPU가 하나 이상 있습니다.
서비스에서 브로커의 디스크 용량을 자동으로 프로비저닝합니다. 선택적으로 클러스터를 만들 때 브로커당 디스크 용량을 구성하고 나중에 늘릴 수 있습니다. 자세한 내용은 브로커 디스크 크기 구성을 참고하세요.
클러스터 확장
클러스터 크기를 늘리면 브로커당 최대 15개의 vCPU까지 기존 브로커에 추가 vCPU가 분산됩니다. 클러스터 크기가 브로커당 vCPU 15개를 초과하면 서비스에서 새 브로커를 프로비저닝합니다. 브로커는 세 영역에 균등하게 분산되며 최대 차이는 1입니다.
클러스터 크기를 줄이면 vCPU가 기존 브로커에 분산되며, 브로커당 최소 vCPU 수는 1개입니다. 브로커는 클러스터 수명 동안 삭제되지 않습니다. 새 브로커가 프로비저닝되면 vCPU 하나로 축소할 수 있지만 삭제되지는 않습니다.
브로커 파티션 재분산
클러스터를 확장하는 이유는 새 브로커에 일부 파티션을 재할당하여 기존 브로커의 부하를 줄이기 위한 경우가 많습니다. 이 프로세스를 리밸런싱이라고 합니다. 리밸런싱은 자동으로 또는 수동으로 실행할 수 있습니다.
자동 재분배 자동 재분산은 클러스터 전체 설정입니다. 새 브로커가 프로비저닝될 때 자동 재분산이 사용 설정되어 있으면 서비스가 기존 브로커의 파티션을 자동으로 재분산합니다. 리밸런싱 알고리즘은 파티션 수를 기반으로 하며 브로커당 파티션 수를 거의 동일하게 유지하는 것을 목표로 합니다. 각 파티션에서 제공하는 실제 트래픽은 고려하지 않습니다. 자세한 내용은 리밸런싱 구성을 참고하세요.
수동 재조정 파티션 할당을 변경하여 파티션의 균형을 수동으로 다시 조정할 수 있습니다. 자동 리밸런싱이 사용 중지되었거나 파티션이 다른 파티션보다 훨씬 많은 트래픽을 수신하는 경우 (핫 파티션이라고 함) 이렇게 할 수 있습니다. 자세한 내용은 파티션 할당 변경을 참고하세요.