No Serviço Gerenciado para Apache Kafka, é possível mudar quais agentes são atribuídos a uma partição de tópico. A reatribuição de partições de tópicos pode ajudar a equilibrar a carga em cada agente ou isolar a carga em um agente de alto tráfego.
Visão geral
Ao criar um novo tópico no Serviço Gerenciado para Apache Kafka, você escolhe o número de partições e o fator de replicação.
O fator de replicação é o número de agentes que armazenam uma réplica de cada partição no tópico. Um desses agentes atua como o líder, e os outros são seguidores. O líder processa as solicitações de gravação para a partição, e os seguidores replicam os dados. Se o líder falhar, um dos seguidores será eleito líder.
Se o rebalanceamento automático estiver ativado em um cluster, o escalonamento vertical do cluster poderá resultar na reatribuição de partições, para manter aproximadamente o mesmo número de partições por agente.
Talvez você queira mudar a atribuição de partição pelos seguintes motivos:
Você escalonar verticalmente um cluster que tem o rebalanceamento automático desativado, e um agente recém-adicionado não está processando nenhuma carga.
Uma partição recebe muito mais tráfego do que outras, e você quer isolar a carga movendo outras partições para agentes diferentes.
É possível reatribuir partições usando as ferramentas de linha de comando do Kafka, conforme descrito na próxima seção.
Mudar a atribuição de partição
Para mudar quais agentes são atribuídos às partições, siga estas etapas.
Instale as ferramentas de linha de comando do Kafka em uma VM do Compute Engine. A VM precisa ser capaz de alcançar uma sub-rede conectada ao cluster. Para mais informações, consulte Produzir e consumir mensagens com as ferramentas de linha de comando do Kafka.
Chame o comando
kafka-configs.sh --describepara ver uma lista de agentes no cluster.kafka-configs.sh --describe --entity-type brokers \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesSubstitua BOOTSTRAP_ADDRESS pelo endereço de inicialização do cluster. O comando retorna uma lista de IDs de agentes e configurações dinâmicas de agentes.
Exemplo de saída:
Dynamic configs for broker 10 are: Dynamic configs for broker 11 are: Dynamic configs for broker 12 are: Default configs for brokers in the cluster are:Neste exemplo, os IDs do agente são
10,11e12. Não há configurações dinâmicas de agente.Crie um arquivo JSON que liste os tópicos a serem reatribuídos a diferentes agentes. Formate o arquivo como no exemplo a seguir:
{ "topics": [ { "topic": "topic-1" }, { "topic": "topic-2" } ] }Chame o comando
kafka-reassign-partitions.shcom a flag--generatepara receber o mapeamento de partição atual e também para gerar uma reatribuição de partição candidata.kafka-reassign-partitions.sh --generate \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --topics-to-move-json-file TOPICS_FILE \ --broker-list BROKER_LIST \ --command-config client.propertiesSubstitua:
- TOPICS_FILE: o caminho para o arquivo JSON da etapa anterior.
- BROKER_LIST: uma lista separada por vírgulas de agentes
para os quais as partições do tópico precisam ser reatribuídas. Exemplo:
11,10.
Exemplo de saída:
Current partition replica assignment {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}Neste exemplo, a partição 0 de
topic-1é atribuída aos agentes12e10.Crie um arquivo JSON que defina um mapeamento de agentes para partições. Comece com a reatribuição proposta na etapa anterior e faça as modificações necessárias.
Por exemplo, o mapeamento a seguir move a partição 0 de
topic-1para os agentes11e10.{ "version":1, "partitions":[ { "topic":"topic-1", "partition":0, "replicas":[11,10] } ] }Atribua as partições chamando o comando
kafka-reassign-partitions.sh --execute.kafka-reassign-partitions.sh --execute \ --reassignment-json-file PARTITION_MAP \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesSubstitua PARTITION_MAP pelo caminho para o arquivo JSON da etapa anterior.
A seguir
- Visão geral dos agentes no Serviço Gerenciado para Apache Kafka
- Monitorar um cluster do Serviço Gerenciado para Apache Kafka
- Planejar o tamanho do cluster do Serviço Gerenciado para Apache Kafka