Dokumen ini menjelaskan cara Managed Service untuk Apache Kafka mengelola penyimpanan untuk cluster Kafka, dan cara mengonfigurasi kapasitas disk dalam cluster. Layanan ini otomatis menyediakan disk saat Anda membuat cluster, tetapi bergantung pada workload Kafka, Anda mungkin ingin mengalokasikan kapasitas disk yang lebih besar daripada default.
Ringkasan
Managed Service untuk Apache Kafka menggunakan tiered storage. Penyimpanan bertingkat menggabungkan dua tingkat penyimpanan:
- Sejumlah kecil penyimpanan lokal yang cepat, dalam bentuk disk yang telah disediakan dan terpasang ke broker.
- Penyimpanan jarak jauh yang efektif tanpa batas. Penyimpanan jarak jauh lebih murah dan tidak perlu disediakan sebelumnya.
Sistem penyimpanan bertingkat memungkinkan Anda menyimpan data dalam volume besar dengan risiko kehabisan kapasitas disk yang lebih kecil. Menggunakan penyimpanan cloud juga dapat lebih murah daripada hanya menggunakan penyimpanan lokal.
Saat menerima pesan, broker akan menulis pesan tersebut ke file segmen lokal. Saat file segmen mencapai ukuran atau usia maksimum, file tersebut ditutup (atau "di-roll") dan dipindahkan ke penyimpanan jarak jauh. Setiap saat, ada satu file segmen terbuka per partisi, sehingga volume penyimpanan lokal diskalakan dengan jumlah partisi dan ukuran maksimum file segmen. Broker yang menangani lebih banyak partisi memerlukan ruang penyimpanan lokal yang lebih besar.
Untuk menetapkan ukuran file segmen, tetapkan konfigurasi broker log.roll.ms dan
log.segment.bytes.
Jika Anda mengaktifkan pemadatan log, maka hanya penyimpanan lokal yang digunakan untuk topik tersebut.
Konfigurasi disk default
Secara default, Managed Service untuk Apache Kafka menyediakan kapasitas disk minimal 100 GiB per vCPU untuk setiap broker. Saat Anda menskalakan cluster, layanan memastikan bahwa broker memiliki minimal 100 GiB per CPU. Kapasitas disk per broker tidak pernah berkurang, meskipun jumlah vCPU per broker berkurang.
Untuk melihat berapa banyak kapasitas disk yang telah dialokasikan, lihat kapasitas disk efektif cluster.
Konfigurasi disk kustom
Konfigurasi disk default memberikan keseimbangan penyimpanan lokal yang aman dan hemat biaya bagi sebagian besar pengguna. Namun, Anda juga dapat menentukan ukuran disk lokal dengan menyetel konfigurasi disk kustom saat membuat atau memperbarui cluster.
Anda dapat memilih untuk menambah ukuran disk karena alasan berikut:
Pemadatan log dengan ruang kunci besar. Jika pemadatan log diaktifkan pada topik, Kafka akan menyimpan pesan terbaru untuk setiap kunci di disk. Ruang kunci yang besar dapat menyebabkan sejumlah besar pesan disimpan di disk tanpa batas waktu.
Jumlah partisi yang besar. Setiap partisi memerlukan ruang yang cukup untuk menyimpan segmen yang di-roll, ditambah ruang untuk file segmen baru saat broker menyalin file segmen yang di-roll ke penyimpanan jarak jauh. Jika Anda memiliki lebih dari 200 partisi per vCPU, pertimbangkan untuk menyetel konfigurasi penyimpanan kustom.
Beban tinggi. Broker yang kelebihan beban mungkin tidak memiliki kapasitas disk yang cukup untuk memindahkan file yang di-roll ke penyimpanan jarak jauh dengan cukup cepat, dan oleh karena itu mungkin memerlukan penyimpanan lokal yang lebih besar.
Error kehabisan ruang disk. Jika cluster Anda kehabisan ruang disk di broker, Anda dapat meningkatkan kapasitas disk agar cluster dapat beroperasi.
Untuk mengetahui informasi selengkapnya, lihat Memperkirakan ukuran disk yang diperlukan.
Persyaratan konfigurasi disk
Konfigurasi disk kustom harus memenuhi persyaratan berikut:
Ukuran disk per broker harus setidaknya sama dengan jumlah vCPU di setiap broker dikalikan dengan 100 GiB.
Misalnya, cluster dengan 6 vCPU dan 3 broker memerlukan setidaknya 200 GiB per broker.
Ukuran disk per broker tidak boleh melebihi 32.768 GiB (32 TiB).
Ukuran disk per broker tidak dapat dikurangi. Jika Anda memperbarui cluster, ukuran disk baru harus sama dengan atau lebih besar dari kapasitas disk efektif saat ini.
Jika Anda menskalakan cluster, jumlah vCPU dan ukuran disk yang diperbarui harus memenuhi persyaratan sebelumnya, dengan mempertimbangkan bahwa broker baru mungkin ditambahkan. Untuk menghitung jumlah broker, lihat Menskalakan cluster.
Misalnya, Anda memiliki cluster dengan 3 vCPU dan disk 200 GiB per broker. Jika Anda menskalakan cluster menjadi 9 vCPU, ukuran disk minimum adalah 300 GiB (9 vCPU / 3 broker × 100 GiB). Untuk memenuhi persyaratan ini, Anda perlu menetapkan ukuran disk bersama dengan jumlah vCPU dalam permintaan update yang sama.
Menetapkan konfigurasi disk kustom
Anda dapat menetapkan konfigurasi disk kustom saat membuat cluster, atau dengan mengupdate cluster yang ada. Konfigurasi berlaku untuk semua broker dalam cluster.
Konsol
Di halaman Create Kafka cluster atau Edit Kafka cluster, lakukan langkah-langkah berikut:
Di bagian Capacity configuration, klik tombol Enable custom local storage size ke posisi aktif.
Di kolom Custom local storage, masukkan ukuran disk per broker, dalam GiB. Nilai harus memenuhi Persyaratan konfigurasi disk, atau terjadi error.
Klik Simpan.
gcloud
Tentukan flag --broker-disk-size-gib dalam perintah
gcloud managed-kafka clusters create atau
gcloud managed-kafka clusters update.
Membuat cluster:
gcloud managed-kafka clusters create CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
# Other configruration flags
...
Memperbarui cluster:
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
Ganti kode berikut:
- CLUSTER_ID: Nama cluster.
- LOCATION: Lokasi cluster.
- DISK_SIZE: Ukuran disk per broker, dalam GiB. Nilai harus memenuhi Persyaratan konfigurasi disk, atau terjadi kesalahan.
Untuk mengetahui informasi selengkapnya tentang cara membuat dan memperbarui cluster Kafka, lihat dokumen berikut:
Melihat konfigurasi disk kustom
Untuk melihat konfigurasi disk kustom pada cluster Managed Service untuk Apache Kafka, lakukan langkah-langkah berikut.
Konsol
Di konsol Google Cloud , buka halaman Clusters.
Dari daftar cluster, klik cluster yang ingin Anda lihat.
Pilih tab Configurations.
Di bagian Kapasitas, jika cluster memiliki konfigurasi disk kustom, baris Penyimpanan lokal kustom menampilkan ukuran disk per broker. Jika tidak, baris akan menampilkan
Disabled.
gcloud
Jalankan perintah gcloud managed-kafka clusters describe:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION
Ganti kode berikut:
- CLUSTER_ID: Nama cluster.
- LOCATION: Lokasi cluster.
Dalam deskripsi cluster yang ditampilkan, kolom brokerCapacityConfig
menampilkan konfigurasi:
brokerCapacityConfig:
diskSizeGib: '3000'
Jika Anda tidak menetapkan konfigurasi disk kustom, kolom ini akan kosong:
brokerCapacityConfig: {}
Melihat kapasitas disk efektif
Kapasitas disk efektif cluster adalah jumlah ruang disk yang telah
disediakan per broker. Untuk melihat kapasitas disk efektif untuk cluster, jalankan
perintah gcloud managed-kafka clusters describe
dengan tanda --full.
Konsol
Di konsol Google Cloud , buka halaman Clusters.
Dari daftar cluster, klik cluster yang ingin Anda lihat.
Pilih tab Configurations.
Di bagian Kapasitas, baris Penyimpanan lokal efektif menampilkan ukuran disk per broker.
gcloud
gcloud managed-kafka clusters describe CLUSTER_ID --full \
--location=LOCATION
Ganti kode berikut:
- CLUSTER_ID: Nama cluster.
- LOCATION: Lokasi cluster.
Dalam deskripsi cluster yang ditampilkan, kolom effectiveCapacityConfig
berisi ukuran disk per broker dan jumlah broker:
effectiveCapacityConfig:
brokerCount: '3'
brokerDiskSizeGib: '1024'
Total kapasitas disk sama dengan brokerCount × brokerDiskSizeGib.
Harga
Jika cluster Anda menggunakan konfigurasi disk default, Anda akan ditagih untuk 100 GiB per vCPU cluster, meskipun ukuran disk sebenarnya per broker mungkin melebihi nilai ini.
Setelah Anda menyetel konfigurasi disk kustom di cluster, Anda akan ditagih untuk ukuran aktual disk di semua broker.