Fehlerbehebung bei Connect-Clustern und -Connectors

Dieses Dokument enthält Anleitungen zur Fehlerbehebung bei Connect-Clustern und -Connectors.

Abgetrennter Status

Ein Connect-Cluster kann sich im Status DETACHED befinden. Dieser Status bedeutet, dass der zugrunde liegende Kafka-Cluster gelöscht wurde oder gerade gelöscht wird. Da Kafka Connect den gesamten Status in Kafka speichert, wird der Connect-Cluster dauerhaft beendet. Ein Connect-Cluster kann nicht wieder angehängt werden und sollte gelöscht werden.

Limits pro Cluster

Ein einzelner Connect-Cluster kann nicht mehr reagieren, wenn er versucht, zu viele Connect-Aufgaben zu verwalten. Um dieses Problem zu vermeiden, gelten die folgenden Einschränkungen:

  • Ein Connect-Cluster kann maximal 20 Connectors haben.
  • Ein Connector kann maximal 200 Aufgaben haben.

Wenn Sie weitere Connectors benötigen, können Sie demselben Kafka-Cluster einen zweiten Connect-Cluster anhängen.

Fehlerbehebung bei einem Connector

Wenn ein Connector nicht gestartet werden kann oder während der Ausführung fehlschlägt, ist der Betriebszustand Failed. Bei der Ausführung eines Connectors können auch Fehler auftreten. Diese werden in den Connector-Logs angezeigt.

Führen Sie die folgenden Schritte aus, um Fehler bei einem Connector zu beheben.

  1. Sehen Sie sich die Connector-Logs an, um den Fehler zu ermitteln. Weitere Informationen finden Sie unter Connector-Logs ansehen.

  2. Ermitteln Sie die Ursache des Fehlers. In den folgenden Themen werden spezifische Fehler beschrieben, die für die einzelnen Connectortypen auftreten können:

  3. Wenn der Connector falsch konfiguriert ist, aktualisieren Sie die Konfiguration des Connectors und setzen Sie den Connector dann fort. Bei vorübergehenden Fehlern sind möglicherweise keine Änderungen an der Konfiguration erforderlich.

Es empfiehlt sich, die Richtlinie zum Neustarten von Aufgaben des Connectors so festzulegen, dass der Neustart mit exponentiellem Backoff erfolgt. Diese Einstellung trägt dazu bei, dass Connector-Fehler aufgrund von vorübergehenden Fehlern vermieden werden.

Connect-Cluster-Fehler

In diesem Abschnitt werden Fehler beschrieben, die in einem Connect-Cluster auftreten können.

Das Metadatenthema hat 'cleanup policy=delete'

In den Connect-Clusterlogs wird ein Fehler ähnlich dem folgenden angezeigt:

org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.

Dieser Fehler kann aus folgenden Gründen auftreten:

  • Der primäre Kafka-Cluster des Connect-Clusters wurde gelöscht und dann mit demselben Namen neu erstellt.
  • Die Metadatenthemen, die vom Connect-Cluster im primären Kafka-Cluster erstellt wurden, wurden gelöscht.

Führen Sie folgende Schritte aus, um diesen Fehler zu beheben:

  1. Suchen Sie die Metadatenthemen im primären Kafka-Cluster. Die Metadatenthemen haben das folgende Format:

    connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID

    Beispiel:

    connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2

  2. Bearbeiten Sie für jedes Metadatenthema das Thema und fügen Sie das Schlüssel/Wert-Paar cleanup.policy:compact dem Feld Nicht standardmäßige Parameter hinzu. Weitere Informationen finden Sie unter Kafka-Thema aktualisieren.

Nächste Schritte