Questo documento fornisce indicazioni per la risoluzione dei problemi relativi ai cluster e ai connettori Connect.
Stato disconnesso
Un cluster di connessione può trovarsi nello stato DETACHED. Questo stato indica che il
cluster Kafka sottostante è stato eliminato o è in fase di eliminazione.
Poiché Kafka Connect archivia tutto lo stato su Kafka, il cluster di connessione viene
arrestato definitivamente. Un cluster di connessione non può essere ricollegato e questo cluster
deve essere eliminato.
Limiti per cluster
Un singolo cluster di connessione può smettere di rispondere se tenta di gestire troppe attività di connessione totali. Per evitare questo problema, si applicano i seguenti limiti:
- Un cluster di connessione può avere un massimo di 20 connettori.
- Un connettore può avere un massimo di 200 attività.
Se hai bisogno di più connettori, puoi collegare un secondo cluster di connessione allo stesso cluster Kafka.
Risolvere i problemi relativi a un connettore
Se un connettore non si avvia o non funziona durante l'esecuzione, lo
stato operativo
è Failed. Un connettore può anche presentare errori durante l'esecuzione, che vengono visualizzati nei log del connettore.
Per risolvere i problemi relativi a un connettore, segui questi passaggi.
Visualizza i log del connettore per identificare l'errore. Per saperne di più, consulta Visualizzare i log del connettore.
Identifica la causa principale dell'errore. I seguenti argomenti descrivono errori specifici che potrebbero verificarsi per ogni tipo di connettore:
Se il connettore è configurato in modo errato, aggiorna la configurazione del connettore e poi riprendi il connettore. Gli errori temporanei potrebbero non richiedere modifiche alla configurazione.
Come best practice, imposta la policy di riavvio delle attività del connettore in modo che il riavvio avvenga con backoff esponenziale. Questa impostazione contribuisce a evitare errori del connettore dovuti a errori temporanei.
Errori di connessione del cluster
Questa sezione descrive gli errori che potrebbero verificarsi in un cluster di connessione.
L'argomento dei metadati ha 'cleanup policy=delete'
I log del cluster di connessione mostrano un errore simile al seguente:
org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.
Questo errore può verificarsi per i seguenti motivi:
- Il cluster Kafka principale del cluster di connessione è stato eliminato e poi ricreato con lo stesso nome.
- Gli argomenti dei metadati creati dal cluster di connessione nel cluster Kafka principale sono stati eliminati.
Per risolvere questo errore, segui questi passaggi:
Individua gli argomenti dei metadati nel cluster Kafka principale. Gli argomenti dei metadati sono denominati nel seguente formato:
connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_IDAd esempio:
connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2Per ogni argomento dei metadati, modifica l'argomento e aggiungi la coppia chiave-valore
cleanup.policy:compactal campo Parametri non predefiniti. Per saperne di più, consulta Aggiornare un argomento Kafka.