Apache Kafka용 관리형 서비스 클러스터에서 파티션 할당 변경

Managed Service for Apache Kafka에서는 주제 파티션에 할당된 브로커를 변경할 수 있습니다. 주제 파티션을 재할당하면 각 브로커의 부하를 분산하거나 트래픽이 많은 브로커의 부하를 격리할 수 있습니다.

개요

Managed Service for Apache Kafka에서 새 주제를 만들 때 파티션 수와 복제 계수를 선택합니다.

복제 계수는 주제에서 각 파티션의 복제본을 저장하는 브로커 수입니다. 이러한 브로커 중 하나는 리더 역할을 하고 다른 브로커는 팔로어입니다. 리더는 파티션의 쓰기 요청을 처리하고 팔로어는 데이터를 복제합니다. 리더에 장애가 발생하면 팔로어 중 하나가 리더로 선택됩니다.

클러스터에서 자동 재분산이 사용 설정된 경우 클러스터를 수직 확장하면 브로커당 파티션 수를 거의 동일하게 유지하기 위해 파티션이 재할당될 수 있습니다.

다음과 같은 이유로 파티션 할당을 변경할 수 있습니다.

  • 자동 재분산이 사용 중지된 클러스터를 수직 확장하고 새로 추가된 브로커가 부하를 처리하지 않습니다.

  • 한 파티션이 다른 파티션보다 훨씬 더 많은 트래픽을 수신하므로 다른 파티션을 다른 브로커로 이동하여 부하를 격리하려고 합니다.

다음 섹션에 설명된 대로 Kafka 명령줄 도구를 사용하여 파티션을 재할당할 수 있습니다.

파티션 할당 변경

파티션에 할당된 브로커를 변경하려면 다음 단계를 수행합니다.

  1. Compute Engine VM에 Kafka 명령줄 도구를 설치합니다. VM은 클러스터에 연결된 서브넷에 연결할 수 있어야 합니다. 자세한 내용은 Kafka 명령줄 도구를 사용하여 메시지 생성 및 사용을 참조하세요.

  2. kafka-configs.sh --describe 명령어를 호출하여 클러스터의 브로커 목록을 가져옵니다.

    kafka-configs.sh --describe --entity-type brokers \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Thinking Process BOOTSTRAP_ADDRESS을 클러스터의 부트스트랩 주소로 바꿉니다. 이 명령어는 브로커 ID 및 동적 브로커 설정 목록을 반환합니다.

    출력 예시:

    Dynamic configs for broker 10 are:
    Dynamic configs for broker 11 are:
    Dynamic configs for broker 12 are:
    Default configs for brokers in the cluster are:
    

    이 예시에서 브로커 ID는 10, 11, 12입니다. 동적 브로커 설정은 없습니다.

  3. 다른 브로커에 재할당할 주제를 나열하는 JSON 파일을 만듭니다. 다음 예시와 같이 파일 형식을 지정합니다.

     {
       "topics": [
         { "topic": "topic-1" },
         { "topic": "topic-2" }
       ]
     }
    
  4. --generate 플래그와 함께 kafka-reassign-partitions.sh 명령어를 호출하여 현재 파티션 매핑을 가져오고 후보 파티션 재할당을 생성합니다.

    kafka-reassign-partitions.sh --generate \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --topics-to-move-json-file TOPICS_FILE \
      --broker-list BROKER_LIST \
      --command-config client.properties
    

    다음을 바꿉니다.

    • TOPICS_FILE: 이전 단계의 JSON 파일 경로입니다.
    • BROKER_LIST: 주제의 파티션을 재할당해야 하는 브로커의 쉼표로 구분된 목록입니다. 예: 11,10

    출력 예시:

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}
    

    이 예시에서 topic-1의 파티션 0은 브로커 12 및 10에 할당됩니다.

  5. 브로커와 파티션의 매핑을 정의하는 JSON 파일을 만듭니다. 이전 단계에서 제안된 재할당으로 시작하여 필요에 따라 수정할 수 있습니다.

    예를 들어 다음 매핑은 topic-1의 파티션 0을 브로커 11 및 10로 이동합니다.

    {
      "version":1,
      "partitions":[
        {
          "topic":"topic-1",
          "partition":0,
          "replicas":[11,10]
        }
      ]
    }
    
  6. kafka-reassign-partitions.sh --execute 명령어를 호출하여 파티션을 할당합니다.

    kafka-reassign-partitions.sh --execute \
      --reassignment-json-file PARTITION_MAP \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    PARTITION_MAP를 이전 단계의 JSON 파일 경로로 바꿉니다.

다음 단계

Apache Kafka®는 미국 및/또는 다른 국가에서 사용되는 Apache Software Foundation 또는 해당 계열사의 등록 상표입니다.