Memecahkan masalah cluster dan konektor Connect

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dokumen ini memberikan panduan pemecahan masalah untuk cluster dan konektor Connect.

Status terlepas

Cluster Connect dapat berada dalam status DETACHED. Status ini berarti cluster Kafka yang mendasarinya telah dihapus atau sedang dalam proses dihapus. Karena Kafka Connect menyimpan semua status di Kafka, Cluster Connect akan dihentikan secara permanen. Cluster Connect tidak dapat dilampirkan kembali, dan cluster ini harus dihapus.

Batas per cluster

Satu Cluster Connect dapat menjadi tidak responsif jika mencoba mengelola terlalu banyak total tugas Connect. Untuk mencegah masalah ini, batasan berikut berlaku:

• Connect Cluster dapat memiliki maksimum 20 konektor.
• Konektor dapat memiliki maksimum 200 tugas.

Jika memerlukan lebih banyak konektor, Anda dapat melampirkan Cluster Connect kedua ke cluster Kafka yang sama.

Memecahkan masalah konektor

Jika konektor gagal dimulai atau gagal saat berjalan, status operasional adalah Failed. Konektor juga dapat mengalami error saat berjalan; error ini muncul di log konektor.

Untuk memecahkan masalah konektor, lakukan langkah-langkah berikut.

1. Lihat log konektor untuk mengidentifikasi error. Untuk mengetahui informasi selengkapnya, lihat Melihat log konektor.

2. Identifikasi penyebab utama error. Topik berikut menjelaskan error tertentu yang mungkin terjadi untuk setiap jenis konektor:

   • Memecahkan masalah konektor sink BigQuery
   • Memecahkan masalah konektor sink Cloud Storage
   • Memecahkan masalah konektor MirrorMaker 2.0
   • Memecahkan masalah konektor Pub/Sub

3. Jika konektor salah dikonfigurasi, perbarui konfigurasi konektor, lalu lanjutkan konektor. Kegagalan sementara mungkin tidak memerlukan perubahan pada konfigurasi.

Sebagai praktik terbaik, tetapkan kebijakan mulai ulang tugas konektor untuk memulai ulang dengan backoff eksponensial. Setelan ini membantu menghindari kegagalan konektor karena error sementara.

Error penghubungan cluster

Bagian ini menjelaskan error yang mungkin terjadi di cluster Connect.

Topik metadata memiliki 'cleanup policy=delete'

Log cluster Connect menampilkan error yang mirip dengan berikut ini:

org.apache.kafka.common.config.ConfigException: Topic 'connect-offsets-
PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID' supplied via the
'offset.storage.topic' property is required to have 'cleanup policy=compact' to
guarantee consistency and durability of source connector offsets, but found the
topic currently has 'cleanup policy=delete'.

Error ini mungkin terjadi karena alasan berikut:

• Cluster Kafka utama cluster Connect dihapus, lalu dibuat ulang dengan nama yang sama.
• Topik metadata yang dibuat oleh cluster Connect di cluster Kafka utama telah dihapus.

Untuk mengatasi error ini, lakukan langkah-langkah berikut:

1. Temukan topik metadata di cluster Kafka utama. Topik metadata diberi nama dengan format berikut:

   connect-status-PROJECT_ID-LOCATION-CONNECT_CLUSTER_NAME-UNIQUE_ID

   Contoh:

   connect-status-project1-us-central1-connect1-3c563900-a4e4-4eDe-88f7-73b16d6344d2

2. Untuk setiap topik metadata, edit topik dan tambahkan pasangan nilai kunci cleanup.policy:compact ke kolom Parameter non-default. Untuk mengetahui informasi selengkapnya, lihat Memperbarui topik Kafka.

Langkah berikutnya

• Memantau cluster Connect