Cómo cambiar la asignación de particiones en un clúster de Managed Service para Apache Kafka

En Managed Service para Apache Kafka, puedes cambiar los agentes que se asignan a una partición de tema. Reasignar las particiones de temas puede ayudarte a equilibrar la carga en cada agente o aislar la carga en un agente con mucho tráfico.

Descripción general

Cuando creas un tema nuevo en Managed Service para Apache Kafka, eliges la cantidad de particiones y el factor de replicación.

El factor de replicación es la cantidad de agentes que almacenan una réplica de cada partición en el tema. Uno de estos agentes actúa como el líder y los demás son seguidores. El líder controla las solicitudes de escritura para la partición, y los seguidores replican los datos. Si el líder falla, uno de los seguidores se elige como líder.

Si el reequilibrio automático está habilitado en un clúster, el escalamiento vertical del clúster puede provocar que se reasignen las particiones para mantener aproximadamente la misma cantidad de particiones por agente.

Es posible que quieras cambiar la asignación de particiones por los siguientes motivos:

  • Escalas verticalmente un clúster que tiene inhabilitado el rebalanceo automático y un agente recién agregado no controla ninguna carga.

  • Una partición recibe mucho más tráfico que otras, y quieres aislar la carga moviendo otras particiones a diferentes agentes.

Puedes reasignar particiones con las herramientas de línea de comandos de Kafka, como se describe en la siguiente sección.

Cambia la asignación de particiones

Para cambiar los agentes que se asignan a las particiones, sigue estos pasos.

  1. Instala las herramientas de línea de comandos de Kafka en una VM de Compute Engine. La VM debe poder alcanzar una subred que esté conectada a tu clúster. Para obtener más información, consulta Produce y consume mensajes con las herramientas de línea de comandos de Kafka.

  2. Obtén una lista de agentes en el clúster llamando al comando kafka-configs.sh --describe.

    kafka-configs.sh --describe --entity-type brokers \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Reemplaza BOOTSTRAP_ADDRESS por la dirección de arranque del clúster. El comando devuelve una lista de IDs de agentes y parámetros de configuración dinámicos de agentes.

    Resultado de ejemplo:

    Dynamic configs for broker 10 are:
    Dynamic configs for broker 11 are:
    Dynamic configs for broker 12 are:
    Default configs for brokers in the cluster are:
    

    En este ejemplo, los IDs de los agentes son 10, 11 y 12. No hay parámetros de configuración dinámicos del agente.

  3. Crea un archivo JSON que enumere los temas que se reasignarán a diferentes agentes. Asigna un formato al archivo como en el siguiente ejemplo:

     {
       "topics": [
         { "topic": "topic-1" },
         { "topic": "topic-2" }
       ]
     }
    
  4. Llama al comando kafka-reassign-partitions.sh con la marca --generate para obtener la asignación de particiones actual y generar una reasignación de particiones candidata.

    kafka-reassign-partitions.sh --generate \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --topics-to-move-json-file TOPICS_FILE \
      --broker-list BROKER_LIST \
      --command-config client.properties
    

    Reemplaza lo siguiente:

    • TOPICS_FILE: Es la ruta de acceso al archivo JSON del paso anterior.
    • BROKER_LIST: Es una lista separada por comas de los agentes a los que se deben reasignar las particiones del tema. Ejemplo: 11,10.

    Resultado de ejemplo:

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}
    

    En este ejemplo, la partición 0 de topic-1 se asigna a los agentes 12 y 10.

  5. Crea un archivo JSON que defina una asignación de agentes a particiones. Puedes comenzar con la reasignación propuesta del paso anterior y modificarla según sea necesario.

    Por ejemplo, la siguiente asignación mueve la partición 0 de topic-1 a los agentes 11 y 10.

    {
      "version":1,
      "partitions":[
        {
          "topic":"topic-1",
          "partition":0,
          "replicas":[11,10]
        }
      ]
    }
    
  6. Asigna las particiones llamando al comando kafka-reassign-partitions.sh --execute.

    kafka-reassign-partitions.sh --execute \
      --reassignment-json-file PARTITION_MAP \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Reemplaza PARTITION_MAP por la ruta de acceso al archivo JSON del paso anterior.

¿Qué sigue?

Apache Kafka® es una marca registrada de The Apache Software Foundation o sus afiliados en Estados Unidos y otros países.