Ringkasan broker di Managed Service for Apache Kafka

Halaman ini menjelaskan cara Managed Service untuk Apache Kafka menyediakan broker untuk cluster Kafka Anda.

Ringkasan

Cluster Kafka terdiri dari satu atau beberapa broker. Aplikasi produsen mengirim pesan ke broker, dan aplikasi konsumen terhubung ke broker untuk membaca pesan. Beberapa konsumen dapat membaca pesan secara paralel, biasanya menggunakan grup konsumen. Setiap partisi dalam topik ditetapkan ke broker pemimpin. Pemimpin bertanggung jawab untuk mereplikasi data partisi yang diterimanya ke broker lain.

Managed Service untuk Apache Kafka secara otomatis membuat broker untuk Anda. Meskipun Anda tidak dapat mengonfigurasi jumlah broker secara langsung, Anda dapat menskalakan cluster untuk menambahkan broker.

Penyediaan broker

Saat Anda membuat cluster Managed Service untuk Apache Kafka, layanan ini akan menyediakan setidaknya satu broker di setiap tiga zona. Jumlah broker dihitung sebagai berikut:

number of brokers = max(3, ceiling(vCPUs / 15))

Misalnya, cluster dengan 75 vCPU dimulai dengan 5 broker.

Broker didistribusikan secara merata di seluruh zona, dan semua broker memiliki jumlah vCPU yang sama, yang mungkin berupa nilai pecahan. Setiap broker memiliki minimal satu vCPU.

Layanan ini otomatis menyediakan kapasitas disk untuk broker. Secara opsional, Anda dapat mengonfigurasi kapasitas disk per broker saat membuat cluster dan meningkatkannya nanti. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi ukuran disk broker.

Menskalakan cluster

Saat Anda meningkatkan ukuran cluster, vCPU tambahan akan didistribusikan di antara broker yang ada, hingga batas 15 vCPU per broker. Jika ukuran cluster melebihi 15 vCPU per broker, layanan akan menyediakan broker baru. Broker didistribusikan secara merata di antara tiga zona, dengan perbedaan maksimum satu.

Jika Anda mengurangi ukuran cluster, vCPU akan didistribusikan ke seluruh broker yang ada, hingga minimum satu vCPU per broker. Broker tidak pernah dihapus selama masa aktif cluster. Setelah disediakan, broker baru dapat diperkecil skalanya menjadi satu vCPU, tetapi tidak pernah dihapus.

Menyeimbangkan kembali partisi broker

Sering kali, alasan untuk menskalakan cluster adalah untuk mengurangi beban pada broker yang ada, dengan menetapkan ulang beberapa partisi ke broker baru. Proses ini disebut penyeimbangan ulang. Penyeimbangan ulang dapat dilakukan secara otomatis atau manual.

  • Penyeimbangan ulang otomatis. Penyeimbangan ulang otomatis adalah setelan di seluruh cluster. Saat broker baru disediakan, jika penyeimbangan ulang otomatis diaktifkan, layanan akan otomatis menyeimbangkan ulang partisi dari broker yang ada. Algoritma penyeimbangan ulang didasarkan pada jumlah partisi, dan bertujuan untuk mempertahankan jumlah partisi yang hampir sama per broker. Metode ini tidak memperhitungkan traffic sebenarnya yang ditayangkan oleh setiap partisi. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi penyeimbangan ulang.

  • Penyeimbangan ulang manual. Anda dapat menyeimbangkan ulang partisi secara manual dengan mengubah penetapan partisi. Anda dapat melakukannya karena penyeimbangan ulang otomatis dinonaktifkan, atau karena partisi menerima traffic yang jauh lebih banyak daripada partisi lain (disebut partisi aktif). Untuk mengetahui informasi selengkapnya, lihat Mengubah tugas partisi

Langkah berikutnya

Apache Kafka® adalah merek dagang terdaftar milik The Apache Software Foundation atau afiliasinya di Amerika Serikat dan/atau negara lainnya.