Résoudre les problèmes liés aux clusters et aux connecteurs Connect

Preview

Ce produit ou cette fonctionnalité sont soumis aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les produits et fonctionnalités de pré-DG sont proposés "en l'état" et peuvent avoir une compatibilité limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Ce document fournit des conseils de dépannage pour les clusters et les connecteurs Connect.

État détaché

Un cluster Connect peut être à l'état DETACHED. Cet état signifie que le cluster Kafka sous-jacent a été supprimé ou est en cours de suppression. Étant donné que Kafka Connect stocke tous les états sur Kafka, le cluster Connect est arrêté de manière permanente. Un cluster Connect ne peut pas être rattaché. Il doit être supprimé.

Limites par cluster

Un cluster Connect unique peut ne plus répondre s'il tente de gérer un nombre trop important de tâches Connect. Pour éviter ce problème, les limites suivantes s'appliquent :

• Un cluster Connect peut comporter jusqu'à 20 connecteurs.
• Un connecteur peut comporter jusqu'à 200 tâches.

Si vous avez besoin d'autres connecteurs, vous pouvez associer un deuxième cluster Connect au même cluster Kafka.

Résoudre les problèmes liés à un connecteur

Si un connecteur ne parvient pas à démarrer ou échoue lors de son exécution, l'état opérationnel est Failed. Un connecteur peut également générer des erreurs lors de son exécution. Elles s'affichent dans les journaux du connecteur.

Pour résoudre les problèmes liés à un connecteur, procédez comme suit.

1. Affichez les journaux du connecteur pour identifier l'erreur. Pour en savoir plus, consultez Afficher les journaux de connecteur.

2. Identifiez la cause première de l'erreur. Les rubriques suivantes décrivent les erreurs spécifiques qui peuvent se produire pour chaque type de connecteur :

   • Résoudre les problèmes liés à un connecteur de récepteur BigQuery
   • Résoudre les problèmes liés à un connecteur de récepteur Cloud Storage
   • Résoudre les problèmes liés à un connecteur MirrorMaker 2.0
   • Résoudre les problèmes liés à un connecteur Pub/Sub

3. Si le connecteur est mal configuré, mettez à jour sa configuration, puis reprenez le connecteur. Les échecs temporaires ne nécessitent pas forcément de modifier la configuration.

Il est recommandé de définir la règle de redémarrage des tâches du connecteur sur "Redémarrer avec intervalle exponentiel". Ce paramètre permet d'éviter les échecs de connecteur dus à des erreurs temporaires.

Erreurs de cluster Connect

Cette section décrit les erreurs qui peuvent se produire dans un cluster Connect.

Le thème de métadonnées comporte 'cleanup policy=delete'

Les journaux du cluster Connect affichent une erreur semblable à la suivante :

org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.

Cette erreur peut se produire pour les raisons suivantes :

• Le cluster Kafka principal du cluster Connect a été supprimé, puis recréé avec le même nom.
• Les sujets de métadonnées créés par le cluster Connect dans le cluster Kafka principal ont été supprimés.

Pour résoudre cette erreur, procédez comme suit :

1. Localisez les sujets de métadonnées dans le cluster Kafka principal. Les thèmes de métadonnées sont nommés au format suivant :

   connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID

   Exemple :

   connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2

2. Pour chaque thème de métadonnées, modifiez-le et ajoutez la paire clé-valeur cleanup.policy:compact au champ Paramètres non définis par défaut. Pour en savoir plus, consultez Mettre à jour un sujet Kafka.

Étapes suivantes

• Surveiller un cluster Connect