Mudar a atribuição de partição em um cluster do serviço gerenciado para Apache Kafka

No Serviço Gerenciado para Apache Kafka, é possível mudar quais agentes são atribuídos a uma partição de tópico. A reatribuição de partições de tópicos pode ajudar a equilibrar a carga em cada agente ou isolar a carga em um agente de alto tráfego.

Visão geral

Ao criar um novo tópico no Serviço Gerenciado para Apache Kafka, você escolhe o número de partições e o fator de replicação.

O fator de replicação é o número de agentes que armazenam uma réplica de cada partição no tópico. Um desses agentes atua como o líder, e os outros são seguidores. O líder processa as solicitações de gravação para a partição, e os seguidores replicam os dados. Se o líder falhar, um dos seguidores será eleito líder.

Se o rebalanceamento automático estiver ativado em um cluster, o escalonamento vertical do cluster poderá resultar na reatribuição de partições, para manter aproximadamente o mesmo número de partições por agente.

Talvez você queira mudar a atribuição de partição pelos seguintes motivos:

  • Você escalonar verticalmente um cluster que tem o rebalanceamento automático desativado, e um agente recém-adicionado não está processando nenhuma carga.

  • Uma partição recebe muito mais tráfego do que outras, e você quer isolar a carga movendo outras partições para agentes diferentes.

É possível reatribuir partições usando as ferramentas de linha de comando do Kafka, conforme descrito na próxima seção.

Mudar a atribuição de partição

Para mudar quais agentes são atribuídos às partições, siga estas etapas.

  1. Instale as ferramentas de linha de comando do Kafka em uma VM do Compute Engine. A VM precisa ser capaz de alcançar uma sub-rede conectada ao cluster. Para mais informações, consulte Produzir e consumir mensagens com as ferramentas de linha de comando do Kafka.

  2. Chame o comando kafka-configs.sh --describe para ver uma lista de agentes no cluster.

    kafka-configs.sh --describe --entity-type brokers \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Substitua BOOTSTRAP_ADDRESS pelo endereço de inicialização do cluster. O comando retorna uma lista de IDs de agentes e configurações dinâmicas de agentes.

    Exemplo de saída:

    Dynamic configs for broker 10 are:
    Dynamic configs for broker 11 are:
    Dynamic configs for broker 12 are:
    Default configs for brokers in the cluster are:
    

    Neste exemplo, os IDs do agente são 10, 11 e 12. Não há configurações dinâmicas de agente.

  3. Crie um arquivo JSON que liste os tópicos a serem reatribuídos a diferentes agentes. Formate o arquivo como no exemplo a seguir:

     {
       "topics": [
         { "topic": "topic-1" },
         { "topic": "topic-2" }
       ]
     }
    
  4. Chame o comando kafka-reassign-partitions.sh com a flag --generate para receber o mapeamento de partição atual e também para gerar uma reatribuição de partição candidata.

    kafka-reassign-partitions.sh --generate \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --topics-to-move-json-file TOPICS_FILE \
      --broker-list BROKER_LIST \
      --command-config client.properties
    

    Substitua:

    • TOPICS_FILE: o caminho para o arquivo JSON da etapa anterior.
    • BROKER_LIST: uma lista separada por vírgulas de agentes para os quais as partições do tópico precisam ser reatribuídas. Exemplo: 11,10.

    Exemplo de saída:

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}
    

    Neste exemplo, a partição 0 de topic-1 é atribuída aos agentes 12 e 10.

  5. Crie um arquivo JSON que defina um mapeamento de agentes para partições. Comece com a reatribuição proposta na etapa anterior e faça as modificações necessárias.

    Por exemplo, o mapeamento a seguir move a partição 0 de topic-1 para os agentes 11 e 10.

    {
      "version":1,
      "partitions":[
        {
          "topic":"topic-1",
          "partition":0,
          "replicas":[11,10]
        }
      ]
    }
    
  6. Atribua as partições chamando o comando kafka-reassign-partitions.sh --execute.

    kafka-reassign-partitions.sh --execute \
      --reassignment-json-file PARTITION_MAP \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Substitua PARTITION_MAP pelo caminho para o arquivo JSON da etapa anterior.

A seguir

Apache Kafka® é uma marca registrada da The Apache Software Foundation ou afiliadas nos Estados Unidos e/ou em outros países.