Managed Service untuk Apache Kafka mengumpulkan metrik yang dapat Anda gunakan untuk memantau cluster Kafka. Halaman ini menjelaskan cara melihat metrik ini di Google Cloud konsol.
Ringkasan
Managed Service untuk Apache Kafka mengekspor beberapa metrik yang tersedia dalam distribusi Kafka open source, serta metrik khusus layanan seperti latensi offset grup konsumen.
Metrik ini disusun ke dalam empat kategori resource:
Cluster: Metrik ini berguna untuk mempertahankan kondisi cluster secara keseluruhan.
Topik: Metrik ini mencakup tarif dan error penerbit dan konsumen. Metrik ini memantau kondisi keseluruhan aplikasi Kafka, dan masalah khusus untuk broker.
Partisi Topik: Metrik ini ditujukan untuk memantau dan men-debug masalah performa yang khusus untuk partisi individual, seperti distribusi kunci yang tidak merata.
Grup Konsumen Partisi Topik: Metrik ini memantau kondisi aplikasi konsumen, terutama latensi konsumen. Metrik error Kafka open source untuk grup konsumen tidak tersedia berdasarkan partisi, tetapi hanya di tingkat topik.
Beberapa metrik dapat dikelompokkan berdasarkan indeks broker. Berdasarkan indeks broker, Anda dapat mencari zona tempat broker tersebut disediakan. Untuk mengetahui informasi selengkapnya, lihat Melihat broker.
Melihat metrik untuk cluster Kafka
Anda dapat melihat metrik dengan cara berikut:
Halaman Detail cluster mencakup dasbor pemantauan untuk cluster, topik, dan grup konsumen. Dasbor ini berisi diagram yang telah ditentukan sebelumnya yang memungkinkan Anda melihat kondisi dan performa cluster secara keseluruhan.
Anda dapat menggunakan Metrics Explorer untuk melihat semua metrik yang tersedia, membuat diagram kustom, atau menggabungkan metrik di beberapa cluster.
Peran dan izin yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk melihat diagram pemantauan, minta administrator untuk memberi Anda peran IAM Managed Kafka Viewer (roles/managedkafka.Viewer) di project Anda.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Menggunakan dasbor pemantauan
Untuk melihat dasbor pemantauan untuk cluster Managed Service untuk Apache Kafka, lakukan langkah-langkah berikut:
Di Google Cloud konsol, buka halaman Cluster.
Klik nama cluster.
Untuk melihat metrik cluster, pilih tab Monitoring.
Untuk melihat metrik topik di cluster:
Pilih tab Resources.
Di daftar Topics, klik nama topik.
Di halaman Topic details, pilih tab Monitoring.
Untuk melihat metrik grup konsumen di cluster:
Pilih tab Resources.
Di daftar Consumer groups, klik nama grup konsumen.
Di halaman Consumer group details, pilih tab Monitoring.
Untuk mengetahui informasi selengkapnya, lihat Melihat cluster Kafka.
Menggunakan Metrics Explorer
Untuk melihat metrik Managed Service untuk Apache Kafka menggunakan Metrics Explorer, lakukan langkah-langkah berikut:
Di Google Cloud konsol, buka halaman Metrics Explorer.
Di bagian Configuration, klik Select a metric.
Di filter, masukkan
Apache Kafka.Di Active resources, pilih salah satu opsi berikut:
Cluster Apache Kafka
Topik Apache Kafka
Partisi Topik Apache Kafka
Grup Konsumen Partisi Topik Apache Kafka
Pilih metrik, lalu klik Apply.
Untuk mengetahui informasi selengkapnya tentang Metrics Explorer, lihat Membuat diagram dengan Metrics Explorer.
Metrik Managed Service untuk Apache Kafka
Tabel berikut mencantumkan metrik yang umum digunakan untuk memantau cluster Kafka dan resource cluster. Untuk daftar lengkap metrik yang tersedia, lihat Google Cloud metrik.
Layanan Managed Service untuk Apache Kafka diidentifikasi oleh URL layanan managedkafka.googleapis.com.
Metrik cluster
Metrik berikut berlaku untuk cluster. Untuk melihat metrik cluster tertentu, filter berdasarkan label cluster_id.
| Metrik | Deskripsi | Nama MBean yang Setara |
|---|---|---|
cpu/core_usage_time |
Penggunaan CPU kumulatif cluster dalam vCPU. Metrik ini dapat berguna untuk memahami biaya operasi cluster secara keseluruhan. | T/A |
cpu/limit |
Jumlah CPU saat ini yang dikonfigurasi untuk cluster. Dapat digunakan untuk
memantau penggunaan CPU sebagai rasio dengan metrik cpu/usage. |
T/A |
memory/usage |
Penggunaan RAM saat ini di cluster. Dapat digunakan untuk memantau
penggunaan RAM sebagai rasio dengan metrik memory/limit. |
T/A |
memory/limit |
Ukuran RAM cluster yang dikonfigurasi saat ini. Dapat digunakan untuk memantau
penggunaan RAM sebagai rasio dengan metrik memory/usage. |
T/A |
cluster_byte_in_count |
Jumlah total byte dari klien yang dikirim ke semua topik. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec |
cluster_byte_out_count |
Jumlah total byte yang dikirim ke klien dari semua topik. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec |
cluster_message_in_count |
Jumlah total pesan yang telah dipublikasikan ke semua topik. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec |
request_count |
Jumlah total permintaan yang dibuat ke broker | kafka.network:type=RequestMetrics,name=RequestsPerSec,request=
{Produce|FetchConsumer|FetchFollower},version=([0-9]+) |
request_byte_count |
Ukuran total, dalam byte, permintaan yang dibuat ke Cluster. | kafka.network:type=RequestMetrics,name=RequestBytes,request=
([-.\w]+) |
partitions |
Jumlah partisi saat ini yang ditangani oleh cluster ini, yang dipecah berdasarkan broker. | kafka.server:type=ReplicaManager,name=PartitionCount |
request_latencies |
Jumlah milidetik yang diperlukan untuk setiap permintaan, pada berbagai persentil | kafka.network:type=RequestMetrics,name=TotalTimeMs,request=
{Produce|FetchConsumer|FetchFollower} |
consumer_groups |
Jumlah Grup Konsumen saat ini yang menggunakan broker | kafka.server:type=GroupMetadataManager,name=NumGroups |
offline_partitions |
Jumlah partisi topik offline seperti yang diamati oleh pengontrol. | kafka.controller:type=KafkaController,name=OfflinePartitionCount |
Metrik topik
Metrik berikut berlaku untuk topik. Untuk melihat metrik topik tertentu, filter berdasarkan label cluster_id dan topic_id.
| Metrik | Deskripsi | Nama MBean yang setara |
|---|---|---|
message_in_count |
Jumlah total pesan yang dipublikasikan ke topik. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,
topic=([-.\w]+) |
byte_in_count |
Jumlah total byte dari klien yang dikirim ke topik. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+) |
topic_request_count |
Jumlah total permintaan produksi dan pengambilan yang dibuat ke topik. | kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+) |
topic_error_count |
Jumlah total permintaan produksi yang gagal dan permintaan pengambilan yang gagal yang dibuat ke topik. | kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+) |
byte_out_count |
Jumlah total byte yang dikirim ke klien. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec,
topic=([-.\w]+) |
Metrik partisi
Metrik berikut berlaku untuk partisi. Untuk melihat metrik partisi tertentu dalam topik, filter berdasarkan label cluster_id, topic_id, dan partition_index.
| Metrik | Deskripsi | Nama MBean yang setara |
|---|---|---|
consumer_lag |
Latensi replikasi dalam pesan antara pemimpin dan setiap pengikut replika. |
kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
|
log_segments |
Jumlah segmen log saat ini. Metrik ini berguna untuk memastikan penjenjangan penyimpanan tetap sehat. | kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+) |
first_offset |
Offset pertama untuk setiap partisi dalam topik. Jika digabungkan
dengan last_offset, metrik ini dapat digunakan untuk memantau batas atas
jumlah total pesan yang disimpan serta menemukan
offset sebenarnya dari pesan terlama. |
kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+) |
last_offset |
Offset terakhir dalam partisi. Metrik ini dapat digunakan untuk menemukan offset terbaru untuk setiap partisi dari waktu ke waktu. Metrik ini dapat berguna dalam mengidentifikasi offset tertentu yang diperlukan untuk memproses ulang data mulai dari waktu tertentu di masa lalu. | kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+) |
byte_size |
Ukuran partisi di disk dalam byte. | T/A |
Metrik grup konsumen
Metrik berikut berlaku untuk grup konsumen. Untuk melihat metrik grup konsumen tertentu, filter berdasarkan label consumer_group_id.
| Metrik | Deskripsi | Nama MBean yang setara |
|---|---|---|
offset_lag |
Perbedaan antara offset terbaru dan offset terakhir yang di-commit untuk grup konsumen untuk setiap partisi. Metrik ini memperkirakan jumlah pesan yang dihasilkan yang belum berhasil diproses oleh konsumen. | T/A |
Langkah berikutnya
Melihat semua metrik Managed Service untuk Apache Kafka