Ringkasan broker di Managed Service for Apache Kafka

Halaman ini menjelaskan cara Managed Service untuk Apache Kafka menyediakan broker untuk cluster Kafka Anda.

Ringkasan

Cluster Kafka terdiri dari satu atau beberapa broker. Aplikasi produsen mengirim pesan ke broker, dan aplikasi konsumen terhubung ke broker untuk membaca pesan. Beberapa konsumen dapat membaca pesan secara paralel, biasanya menggunakan a grup konsumen. Setiap partisi dalam topik diberi broker utama. Broker utama bertanggung jawab untuk mereplikasi data partisi yang diterimanya ke broker lain.

Managed Service untuk Apache Kafka otomatis membuat broker untuk Anda. Meskipun Anda tidak dapat mengonfigurasi jumlah broker secara langsung, Anda dapat menskalakan cluster untuk menambahkan broker.

Penyediaan broker

Saat Anda membuat cluster Managed Service untuk Apache Kafka, layanan ini akan menyediakan setidaknya satu broker di setiap tiga zona. Jumlah broker dihitung sebagai berikut:

number of brokers = max(3, ceiling(vCPUs / 15))

Misalnya, cluster dengan 75 vCPU dimulai dengan 5 broker.

Broker didistribusikan secara merata di seluruh zona, dan semua broker memiliki jumlah vCPU yang sama, yang mungkin merupakan nilai pecahan. Setiap broker memiliki minimal satu vCPU.

Layanan ini otomatis menyediakan kapasitas disk untuk broker. Secara opsional, Anda dapat mengonfigurasi kapasitas disk per broker saat membuat cluster dan menambahkannya nanti. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi ukuran disk broker.

Menskalakan cluster

Saat Anda meningkatkan ukuran cluster, vCPU tambahan akan didistribusikan di antara broker yang ada, hingga batas 15 vCPU per broker. Jika ukuran cluster melebihi 15 vCPU per broker, layanan akan menyediakan broker baru. Broker didistribusikan secara merata di antara tiga zona, dengan perbedaan maksimum satu.

Jika Anda mengurangi ukuran cluster, vCPU akan didistribusikan di antara broker yang ada, hingga minimum satu vCPU per broker. Broker tidak pernah dihapus selama masa aktif cluster. Setelah broker baru disediakan, broker tersebut dapat diturunkan skalanya menjadi satu vCPU, tetapi tidak pernah dihapus.

Menyeimbangkan kembali partisi broker

Sering kali, alasan untuk menskalakan cluster adalah mengurangi beban pada broker yang ada, dengan menetapkan kembali beberapa partisi ke broker baru. Proses ini disebut penyeimbangan kembali. Penyeimbangan kembali dapat dilakukan secara otomatis atau manual.

  • Penyeimbangan kembali otomatis. Penyeimbangan kembali otomatis adalah setelan di seluruh cluster. Saat broker baru disediakan, jika penyeimbangan kembali otomatis diaktifkan, layanan akan otomatis menyeimbangkan kembali partisi dari broker yang ada. Algoritma penyeimbangan kembali didasarkan pada jumlah partisi, dan bertujuan untuk mempertahankan jumlah partisi yang kira-kira sama per broker. Algoritma ini tidak memperhitungkan traffic sebenarnya yang ditayangkan oleh setiap partisi. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi penyeimbangan kembali.

  • Penyeimbangan kembali manual. Anda dapat menyeimbangkan kembali partisi secara manual dengan mengubah penetapan partisi. Anda mungkin melakukan hal ini karena penyeimbangan kembali otomatis dinonaktifkan, atau karena partisi menerima traffic yang jauh lebih banyak daripada partisi lain (disebut partisi aktif). Untuk mengetahui informasi selengkapnya, lihat Mengubah penetapan partisi

Langkah berikutnya