Soluciona problemas de clústeres y conectores de Connect

En este documento, se proporciona orientación para solucionar problemas relacionados con los clústeres y conectores de Connect.

Estado desconectado

Un clúster de Connect puede estar en el estado DETACHED. Este estado significa que se borró el clúster de Kafka subyacente o que está en proceso de eliminación. Debido a que Kafka Connect almacena todo el estado en Kafka, el clúster de Connect se detiene de forma permanente. No se puede volver a adjuntar un clúster de Connect, por lo que se debe borrar.

Límites por clúster

Un solo clúster de Connect puede dejar de responder si intenta administrar demasiadas tareas de Connect en total. Para evitar este problema, se aplican los siguientes límites:

  • Un clúster de Connect puede tener un máximo de 20 conectores.
  • Un conector puede tener un máximo de 200 tareas.

Si necesitas más conectores, puedes adjuntar un segundo clúster de Connect al mismo clúster de Kafka.

Soluciona problemas de un conector

Si un conector no se inicia o falla durante la ejecución, el estado operativo es Failed. Un conector también puede tener errores durante la ejecución, que aparecen en los registros del conector.

Para solucionar problemas relacionados con un conector, sigue estos pasos.

  1. Consulta los registros del conector para identificar el error. Para obtener más información, consulta Cómo ver los registros del conector.

  2. Identifica la causa raíz del error. En los siguientes temas, se describen errores específicos que pueden ocurrir para cada tipo de conector:

  3. Si el conector está mal configurado, actualiza su configuración y, luego, reanúdalo. Es posible que las fallas transitorias no requieran cambios en la configuración.

Como práctica recomendada, establece la política de reinicio de tareas del conector para que se reinicie con retirada exponencial. Este parámetro de configuración ayuda a evitar fallas del conector debido a errores transitorios.

Errores del clúster de Connect

En esta sección, se describen los errores que pueden ocurrir en un clúster de Connect.

El tema de metadatos tiene 'cleanup policy=delete'

Los registros del clúster de Connect muestran un error similar al siguiente:

org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.

Este error puede ocurrir por los siguientes motivos:

  • Se borró el clúster principal de Kafka del clúster de Connect y, luego, se volvió a crear con el mismo nombre.
  • Se borraron los temas de metadatos que creó el clúster de Connect en el clúster principal de Kafka.

Para resolver este error, realiza los siguientes pasos:

  1. Ubica los temas de metadatos en el clúster principal de Kafka. Los temas de metadatos tienen el siguiente formato:

    connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID

    Por ejemplo:

    connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2

  2. Para cada tema de metadatos, edita el tema y agrega el par clave-valor cleanup.policy:compact al campo Parámetros no predeterminados. Para obtener más información, consulta Actualiza un tema de Kafka.

¿Qué sigue?