이 문서에서는 Connect 클러스터 및 커넥터의 문제 해결 안내를 제공합니다.
분리된 상태
연결 클러스터는 DETACHED 상태일 수 있습니다. 이 상태는 기본 Kafka 클러스터가 삭제되었거나 삭제 중임을 의미합니다.
Kafka Connect는 Kafka에 모든 상태를 저장하므로 Connect 클러스터가 영구적으로 중지됩니다. 연결 클러스터는 다시 연결할 수 없으므로 이 클러스터를 삭제해야 합니다.
클러스터별 한도
단일 연결 클러스터가 너무 많은 총 연결 작업을 관리하려고 하면 응답하지 않을 수 있습니다. 이 문제를 방지하려면 다음 한도가 적용됩니다.
- Connect 클러스터에는 최대 20개의 커넥터가 있을 수 있습니다.
- 커넥터는 최대 200개의 작업을 포함할 수 있습니다.
커넥터가 더 필요한 경우 동일한 Kafka 클러스터에 두 번째 Connect 클러스터를 연결하면 됩니다.
커넥터 문제 해결
커넥터가 시작되지 않거나 실행 중에 실패하면 작동 상태가 Failed입니다. 커넥터가 실행되는 동안 오류가 발생할 수도 있으며, 이러한 오류는 커넥터 로그에 표시됩니다.
커넥터 문제를 해결하려면 다음 단계를 따르세요.
커넥터 로그를 확인하여 오류를 식별합니다. 자세한 내용은 커넥터 로그 보기를 참고하세요.
오류의 근본 원인을 파악합니다. 다음 주제에서는 각 커넥터 유형에 발생할 수 있는 구체적인 오류를 설명합니다.
커넥터가 잘못 구성된 경우 커넥터의 구성을 업데이트한 다음 커넥터를 재개합니다. 일시적인 오류는 구성을 변경하지 않아도 될 수 있습니다.
커넥터의 작업 다시 시작 정책을 지수 백오프로 다시 시작하도록 설정하는 것이 좋습니다. 이 설정은 일시적인 오류로 인한 커넥터 오류를 방지하는 데 도움이 됩니다.
Connect 클러스터 오류
이 섹션에서는 Connect 클러스터에서 발생할 수 있는 오류를 설명합니다.
메타데이터 주제에 'cleanup policy=delete'이(가) 있습니다.
Connect 클러스터 로그에 다음과 유사한 오류가 표시됩니다.
org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.
이 오류는 다음과 같은 이유로 발생할 수 있습니다.
- Connect 클러스터의 기본 Kafka 클러스터가 삭제된 후 동일한 이름으로 다시 생성되었습니다.
- 기본 Kafka 클러스터에서 Connect 클러스터에 의해 생성된 메타데이터 주제가 삭제되었습니다.
이 오류를 해결하려면 다음 단계를 수행합니다.
기본 Kafka 클러스터에서 메타데이터 주제를 찾습니다. 메타데이터 주제는 다음 형식으로 이름이 지정됩니다.
connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID예를 들면 다음과 같습니다.
connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2각 메타데이터 주제에 대해 주제를 수정하고 기본값이 아닌 매개변수 필드에 키-값 쌍
cleanup.policy:compact를 추가합니다. 자세한 내용은 Kafka 주제 업데이트를 참고하세요.