Pub/Sub 커넥터 문제 해결

이 섹션에서는 Pub/Sub 소스 커넥터 또는 Pub/Sub 싱크 커넥터를 사용할 때 발생하는 일반적인 문제에 대한 문제 해결 안내를 제공합니다.

Pub/Sub 권한 누락

관리형 Kafka 서비스 계정에 Pub/Sub 리소스에 액세스할 권한이 없으면 다음 오류가 발생합니다.

PERMISSION_DENIED: User not authorized to perform this action.

이 오류는 여러 가지 이유로 발생할 수 있습니다.

  • Pub/Sub 소스 커넥터: 관리형 Kafka 서비스 계정에 Pub/Sub 구독에 액세스할 권한이 없을 수 있습니다. 이 문제를 해결하려면 관리형 Kafka 서비스 계정에 다음 Identity and Access Management (IAM) 역할을 모두 부여하세요.

    • Pub/Sub 구독자 (roles/pubsub.subscriber)
    • Pub/Sub 뷰어(roles/pubsub.viewer)

    자세한 내용은 Pub/Sub 구독에서 읽기 권한 부여를 참고하세요.

  • Pub/Sub 싱크 커넥터: 관리형 Kafka 서비스 계정에 Pub/Sub 주제에 게시할 권한이 없을 수 있습니다. 이 문제를 해결하려면 관리 Kafka 서비스에 Pub/Sub 게시자(roles/pubsub.publisher) IAM 역할을 부여하세요.

    자세한 내용은 Pub/Sub 주제에 게시할 권한 부여를 참고하세요.

구독을 확인하는 중에 오류가 발생했습니다.

Pub/Sub 소스 커넥터가 Pub/Sub 구독을 찾을 수 없는 경우 커넥터가 다음과 유사한 오류와 함께 실패합니다.

org.apache.kafka.connect.errors.ConnectException: Error verifying the subscription SUBSCRIPTION for project PROJECT

이 문제를 해결하려면 커넥터의 cps.subscription 구성에 올바른 구독이 지정되어 있고 구독이 프로젝트에 있는지 확인하세요.

커넥터 작업에서 레코드를 변환하지 못함

커넥터의 키 변환기 또는 값 변환기가 레코드의 데이터 유형과 호환되지 않으면 커넥터가 다음과 유사한 오류와 함께 실패합니다.

org.apache.kafka.connect.errors.DataException: Invalid schema type for
CONVERTER_NAME: DATA_FORMAT

이 문제를 해결하려면 스키마 데이터 유형을 지원하도록 키 변환기 또는 값 변환기를 올바른 클래스로 변경하세요.

예를 들어 키 변환기를 ByteArrayConverter로 설정하면 "Invalid schema type for ByteArrayConverter: STRING" 오류가 표시될 수 있습니다. 이 오류는 ByteArrayConverter가 STRING 유형을 지원하지 않기 때문에 발생합니다. 대신 org.apache.kafka.connect.storage.StringConverter를 사용하세요.

다음 단계