En Managed Service para Apache Kafka, puedes cambiar los agentes que se asignan a una partición de tema. Reasignar las particiones de temas puede ayudarte a equilibrar la carga en cada agente o aislar la carga en un agente con mucho tráfico.
Descripción general
Cuando creas un tema nuevo en Managed Service para Apache Kafka, eliges la cantidad de particiones y el factor de replicación.
El factor de replicación es la cantidad de agentes que almacenan una réplica de cada partición en el tema. Uno de estos agentes actúa como el líder y los demás son seguidores. El líder controla las solicitudes de escritura para la partición, y los seguidores replican los datos. Si el líder falla, uno de los seguidores se elige como líder.
Si el reequilibrio automático está habilitado en un clúster, el escalamiento vertical del clúster puede provocar que se reasignen las particiones para mantener aproximadamente la misma cantidad de particiones por agente.
Es posible que quieras cambiar la asignación de particiones por los siguientes motivos:
Escalas verticalmente un clúster que tiene inhabilitado el rebalanceo automático y un agente recién agregado no controla ninguna carga.
Una partición recibe mucho más tráfico que otras, y quieres aislar la carga moviendo otras particiones a diferentes agentes.
Puedes reasignar particiones con las herramientas de línea de comandos de Kafka, como se describe en la siguiente sección.
Cambia la asignación de particiones
Para cambiar los agentes que se asignan a las particiones, sigue estos pasos.
Instala las herramientas de línea de comandos de Kafka en una VM de Compute Engine. La VM debe poder alcanzar una subred que esté conectada a tu clúster. Para obtener más información, consulta Produce y consume mensajes con las herramientas de línea de comandos de Kafka.
Obtén una lista de agentes en el clúster llamando al comando
kafka-configs.sh --describe.kafka-configs.sh --describe --entity-type brokers \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesReemplaza BOOTSTRAP_ADDRESS por la dirección de arranque del clúster. El comando devuelve una lista de IDs de agentes y parámetros de configuración dinámicos de agentes.
Resultado de ejemplo:
Dynamic configs for broker 10 are: Dynamic configs for broker 11 are: Dynamic configs for broker 12 are: Default configs for brokers in the cluster are:En este ejemplo, los IDs de los agentes son
10,11y12. No hay parámetros de configuración dinámicos del agente.Crea un archivo JSON que enumere los temas que se reasignarán a diferentes agentes. Asigna un formato al archivo como en el siguiente ejemplo:
{ "topics": [ { "topic": "topic-1" }, { "topic": "topic-2" } ] }Llama al comando
kafka-reassign-partitions.shcon la marca--generatepara obtener la asignación de particiones actual y generar una reasignación de particiones candidata.kafka-reassign-partitions.sh --generate \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --topics-to-move-json-file TOPICS_FILE \ --broker-list BROKER_LIST \ --command-config client.propertiesReemplaza lo siguiente:
- TOPICS_FILE: Es la ruta de acceso al archivo JSON del paso anterior.
- BROKER_LIST: Es una lista separada por comas de los agentes
a los que se deben reasignar las particiones del tema. Ejemplo:
11,10.
Resultado de ejemplo:
Current partition replica assignment {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}En este ejemplo, la partición 0 de
topic-1se asigna a los agentes12y10.Crea un archivo JSON que defina una asignación de agentes a particiones. Puedes comenzar con la reasignación propuesta del paso anterior y modificarla según sea necesario.
Por ejemplo, la siguiente asignación mueve la partición 0 de
topic-1a los agentes11y10.{ "version":1, "partitions":[ { "topic":"topic-1", "partition":0, "replicas":[11,10] } ] }Asigna las particiones llamando al comando
kafka-reassign-partitions.sh --execute.kafka-reassign-partitions.sh --execute \ --reassignment-json-file PARTITION_MAP \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesReemplaza PARTITION_MAP por la ruta de acceso al archivo JSON del paso anterior.
¿Qué sigue?
- Descripción general de los agentes en Managed Service para Apache Kafka
- Supervisa un clúster de Managed Service para Apache Kafka
- Planifica el tamaño de tu clúster de Managed Service para Apache Kafka