Managed Service for Apache Kafka에서는 주제 파티션에 할당된 브로커를 변경할 수 있습니다. 주제 파티션을 재할당하면 각 브로커의 부하를 분산하거나 트래픽이 많은 브로커의 부하를 격리할 수 있습니다.
개요
Managed Service for Apache Kafka에서 새 주제를 만들 때 파티션 수와 복제 계수를 선택합니다.
복제 계수는 주제에서 각 파티션의 복제본을 저장하는 브로커 수입니다. 이러한 브로커 중 하나는 리더 역할을 하고 다른 브로커는 팔로어입니다. 리더는 파티션의 쓰기 요청을 처리하고 팔로어는 데이터를 복제합니다. 리더에 장애가 발생하면 팔로어 중 하나가 리더로 선택됩니다.
클러스터에서 자동 재분산이 사용 설정된 경우 클러스터를 수직 확장하면 브로커당 파티션 수를 거의 동일하게 유지하기 위해 파티션이 재할당될 수 있습니다.
다음과 같은 이유로 파티션 할당을 변경할 수 있습니다.
자동 재분산이 사용 중지된 클러스터를 수직 확장하고 새로 추가된 브로커가 부하를 처리하지 않습니다.
한 파티션이 다른 파티션보다 훨씬 더 많은 트래픽을 수신하므로 다른 파티션을 다른 브로커로 이동하여 부하를 격리하려고 합니다.
다음 섹션에 설명된 대로 Kafka 명령줄 도구를 사용하여 파티션을 재할당할 수 있습니다.
파티션 할당 변경
파티션에 할당된 브로커를 변경하려면 다음 단계를 수행합니다.
Compute Engine VM에 Kafka 명령줄 도구를 설치합니다. VM은 클러스터에 연결된 서브넷에 연결할 수 있어야 합니다. 자세한 내용은 Kafka 명령줄 도구를 사용하여 메시지 생성 및 사용을 참조하세요.
kafka-configs.sh --describe명령어를 호출하여 클러스터의 브로커 목록을 가져옵니다.kafka-configs.sh --describe --entity-type brokers \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesThinking Process BOOTSTRAP_ADDRESS을 클러스터의 부트스트랩 주소로 바꿉니다. 이 명령어는 브로커 ID 및 동적 브로커 설정 목록을 반환합니다.
출력 예시:
Dynamic configs for broker 10 are: Dynamic configs for broker 11 are: Dynamic configs for broker 12 are: Default configs for brokers in the cluster are:이 예시에서 브로커 ID는
10,11,12입니다. 동적 브로커 설정은 없습니다.다른 브로커에 재할당할 주제를 나열하는 JSON 파일을 만듭니다. 다음 예시와 같이 파일 형식을 지정합니다.
{ "topics": [ { "topic": "topic-1" }, { "topic": "topic-2" } ] }--generate플래그와 함께kafka-reassign-partitions.sh명령어를 호출하여 현재 파티션 매핑을 가져오고 후보 파티션 재할당을 생성합니다.kafka-reassign-partitions.sh --generate \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --topics-to-move-json-file TOPICS_FILE \ --broker-list BROKER_LIST \ --command-config client.properties다음을 바꿉니다.
- TOPICS_FILE: 이전 단계의 JSON 파일 경로입니다.
- BROKER_LIST: 주제의 파티션을 재할당해야 하는 브로커의 쉼표로 구분된 목록입니다. 예:
11,10
출력 예시:
Current partition replica assignment {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}이 예시에서
topic-1의 파티션 0은 브로커12및10에 할당됩니다.브로커와 파티션의 매핑을 정의하는 JSON 파일을 만듭니다. 이전 단계에서 제안된 재할당으로 시작하여 필요에 따라 수정할 수 있습니다.
예를 들어 다음 매핑은
topic-1의 파티션 0을 브로커11및10로 이동합니다.{ "version":1, "partitions":[ { "topic":"topic-1", "partition":0, "replicas":[11,10] } ] }kafka-reassign-partitions.sh --execute명령어를 호출하여 파티션을 할당합니다.kafka-reassign-partitions.sh --execute \ --reassignment-json-file PARTITION_MAP \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesPARTITION_MAP를 이전 단계의 JSON 파일 경로로 바꿉니다.
다음 단계
- Managed Service for Apache Kafka의 브로커 개요
- Managed Service for Apache Kafka 클러스터 모니터링
- Managed Service for Apache Kafka 클러스터 크기 계획