Resolver problemas de clusters e conectores do Connect

Pré-lançamento

Este produto ou recurso está sujeito aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis no estado em que se encontram e podem ter assistência limitada. Para mais informações, consulte as descrições das fases de lançamento.

Este documento fornece orientações para resolver problemas de clusters e conectores do Connect.

Estado desanexado

Um cluster do Connect pode estar no estado DETACHED. Esse estado significa que o cluster do Kafka subjacente foi excluído ou está em processo de exclusão. Como o Kafka Connect armazena todo o estado no Kafka, o cluster do Connect é interrompido permanentemente. Não é possível reconectar um cluster do Connect, e ele precisa ser excluído.

Limites por cluster

Um único cluster do Connect pode parar de responder se tentar gerenciar muitas tarefas totais do Connect. Para evitar esse problema, os seguintes limites se aplicam:

• Um cluster do Connect pode ter no máximo 20 conectores.
• Um conector pode ter no máximo 200 tarefas.

Se você precisar de mais conectores, anexe um segundo cluster de conexão ao mesmo cluster do Kafka.

Resolver problemas de um conector

Se um conector não iniciar ou falhar durante a execução, o estado operacional será Failed. Um conector também pode ter erros durante a execução, que aparecem nos registros do conector.

Para resolver problemas com um conector, siga estas etapas.

1. Consulte os registros do conector para identificar o erro. Para mais informações, consulte Ver registros do conector.

2. Identifique a causa raiz do erro. Os tópicos a seguir descrevem erros específicos que podem ocorrer para cada tipo de conector:

   • Resolver problemas com um conector de coletor do BigQuery
   • Resolver problemas de um conector de gravador do Cloud Storage
   • Resolver problemas em um conector do MirrorMaker 2.0
   • Resolver problemas de um conector do Pub/Sub

3. Se o conector estiver mal configurado, atualize a configuração dele e retome o conector. Falhas temporárias podem não exigir mudanças na configuração.

Como prática recomendada, defina a política de reinicialização de tarefas do conector para reiniciar com espera exponencial. Essa configuração ajuda a evitar falhas de conector devido a erros temporários.

Erros de conexão do cluster

Esta seção descreve os erros que podem ocorrer em um cluster do Connect.

O tema de metadados tem 'cleanup policy=delete'

Os registros do cluster do Connect mostram um erro semelhante a este:

org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.

Esse erro pode ocorrer pelos seguintes motivos:

• O cluster principal do Kafka do cluster do Connect foi excluído e recriado com o mesmo nome.
• Os tópicos de metadados criados pelo cluster do Connect no cluster principal do Kafka foram excluídos.

Para resolver esse erro, siga estas etapas:

1. Localize os tópicos de metadados no cluster principal do Kafka. Os tópicos de metadados são nomeados com o seguinte formato:

   connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID

   Exemplo:

   connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2

2. Para cada tópico de metadados, edite o tópico e adicione o par de chave-valor cleanup.policy:compact ao campo Parâmetros não padrão. Para mais informações, consulte Atualizar um tópico do Kafka.

A seguir

• Monitorar um cluster do Connect