Bagian ini memberikan ringkasan metrik pemantauan yang tersedia untuk memantau Managed Service for Apache Kafka. Dokumen ini juga menunjukkan cara memantau penggunaan Managed Service for Apache Kafka di konsol Google Cloud menggunakan Monitoring.
Jika Anda ingin melihat metrik dari resource Google Cloud lain selain kumpulan lengkap metrik Managed Service for Apache Kafka, gunakan Monitoring.
Atau, Anda dapat menggunakan dasbor pemantauan dengan pilihan metrik yang disediakan dalam Managed Service for Apache Kafka. Untuk mengetahui informasi selengkapnya, lihat topik berikut:
Ringkasan metrik Managed Service for Apache Kafka
Managed Service untuk Apache Kafka mengekspor beberapa metrik yang tersedia di distribusi Kafka open source, serta metrik khusus layanan seperti jeda offset grup konsumen. Untuk pemantauan, layanan Managed Service for Apache Kafka diidentifikasi oleh URL layanan managedkafka.googleapis.com.
Metrik Managed Service for Apache Kafka disusun ke dalam empat kategori resource:
Cluster: Metrik ini ditujukan untuk menjaga kondisi cluster secara keseluruhan.
Topik: Metrik ini mencakup rasio dan error penayang dan konsumen. Metrik ini memantau kondisi keseluruhan aplikasi Kafka dan masalah khusus untuk broker.
Partisi Topik: Metrik ini ditujukan untuk memantau dan men-debug masalah performa khusus untuk setiap partisi. Contohnya adalah distribusi kunci yang tidak merata.
Grup Konsumen Partisi Topik: Metrik ini memantau kondisi aplikasi konsumen, terutama keterlambatan konsumen. Metrik error Kafka open source untuk grup konsumen tidak tersedia menurut partisi, tetapi hanya di tingkat topik.
Beberapa metrik dapat dikelompokkan menurut broker. Meskipun layanan Managed Service for Apache Kafka itu sendiri tidak mengekspos broker sebagai resource, pemantauannya sangat penting untuk mendeteksi skenario kegagalan seperti latensi karena broker yang kelebihan beban.
Metrik diberi nama mengikuti konvensi yang mencakup URL API layanan, resource yang dipantau, dan metrik. Misalnya, ID metrik
topik message_in_count adalah
managedkafka.googleapis.com/Topic/message_in_count.
Untuk mengakses metrik ini, lihat Melihat satu metrik Managed Service for Apache Kafka.
Sebelum memulai
Sebelum menggunakan Monitoring, pastikan Anda telah menyiapkan project Managed Service for Apache Kafka dengan penagihan diaktifkan. Salah satu cara untuk melakukannya adalah dengan menyelesaikan Panduan memulai Managed Service for Apache Kafka.
Peran dan izin yang diperlukan
Untuk mendapatkan izin yang
diperlukan guna melihat diagram pemantauan,
minta administrator untuk memberi Anda peran IAM
Managed Kafka Viewer (roles/managedkafka.Viewer)
di project Anda.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya tentang peran ini, lihat Peran bawaan Managed Service for Apache Kafka.
Melihat satu metrik Managed Service for Apache Kafka
Untuk melihat satu metrik Managed Service for Apache Kafka menggunakan konsol Google Cloud , lakukan langkah-langkah berikut:
Di Konsol Google Cloud , buka halaman Monitoring.
Di panel navigasi, pilih Metrics Explorer.
Di bagian Konfigurasi, klik Pilih metrik.
Di filter, masukkan
Apache Kafka.Di Resource aktif, pilih salah satu opsi berikut:
Cluster Apache Kafka
Topik Apache Kafka
Partisi Topik Apache Kafka
Grup Konsumen Partisi Topik Apache Kafka
Pilih metrik, lalu klik Terapkan.
Halaman untuk metrik tertentu akan terbuka.
Anda dapat mempelajari dasbor pemantauan lebih lanjut dengan membaca dokumentasi Cloud Monitoring.
Metrik cluster
| Metrik | Deskripsi | Nama MBean yang Setara |
|---|---|---|
| cpu/core_usage_time | Penggunaan CPU kumulatif cluster dalam vCPU. Hal ini dapat berguna untuk memahami biaya operasi cluster secara keseluruhan. | T/A |
| cpu/limit | Jumlah CPU saat ini yang dikonfigurasi untuk cluster. Dapat digunakan untuk
memantau penggunaan CPU sebagai rasio dengan metrik cpu/usage. |
T/A |
| memory/usage | Penggunaan RAM saat ini di cluster. Dapat digunakan untuk memantau
penggunaan RAM sebagai rasio dengan metrik memory/limit. |
T/A |
| memory/limit | Ukuran RAM cluster yang dikonfigurasi saat ini. Dapat digunakan untuk memantau
penggunaan RAM sebagai rasio dengan metrik memory/usage. |
T/A |
| cluster_byte_in_count | Jumlah total byte dari klien yang dikirim ke semua topik. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec |
| cluster_byte_out_count | Jumlah total byte yang dikirim ke klien dari semua topik. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec |
| cluster_message_in_count | Jumlah total pesan yang telah dipublikasikan ke semua topik. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec |
| request_count | Jumlah total permintaan yang dibuat ke broker | kafka.network:type=RequestMetrics,name=RequestsPerSec,request=
{Produce|FetchConsumer|FetchFollower},version=([0-9]+) |
| request_byte_count | Total ukuran, dalam byte, permintaan yang dibuat ke Cluster. | kafka.network:type=RequestMetrics,name=RequestBytes,request=
([-.\w]+) |
| partisi | Jumlah partisi saat ini yang ditangani oleh cluster ini, yang dikelompokkan menurut broker. | kafka.server:type=ReplicaManager,name=PartitionCount |
| request_latencies | Jumlah milidetik yang diperlukan untuk setiap permintaan, pada berbagai persentil | kafka.network:type=RequestMetrics,name=TotalTimeMs,request=
{Produce|FetchConsumer|FetchFollower} |
| consumer_groups | Jumlah Grup Konsumen saat ini yang menggunakan broker | kafka.server:type=GroupMetadataManager,name=NumGroups |
| offline_partitions | Jumlah partisi topik offline seperti yang diamati oleh pengontrol. | kafka.controller:type=KafkaController,name=OfflinePartitionCount |
Metrik topik
| Metrik | Deskripsi | Nama MBean yang setara |
|---|---|---|
| message_in_count | Jumlah total pesan yang dipublikasikan ke topik. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,
topic=([-.\w]+) |
| byte_in_count | Jumlah total byte dari klien yang dikirim ke topik. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+) |
| topic_request_count | Jumlah total permintaan produksi dan pengambilan yang dibuat ke topik. | kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+) |
| topic_error_count | Jumlah total permintaan pengambilan yang gagal dan pembuatan yang gagal yang dilakukan ke topik. | kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+) |
| byte_out_count | Jumlah total byte yang dikirim ke klien. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec,
topic=([-.\w]+) |
Metrik partisi
| Metrik | Deskripsi | Nama MBean yang setara |
|---|---|---|
| consumer_lag | Keterlambatan replikasi dalam pesan antara pemimpin dan setiap replika pengikut. |
kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
|
| log_segments | Jumlah segmen log saat ini. Hal ini berguna untuk memastikan tingkatan penyimpanan tetap dalam kondisi baik. | kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+) |
| first_offset | Offset pertama untuk setiap partisi dalam topik. Jika digabungkan
dengan last_offset, metode ini dapat digunakan untuk memantau batas
atas jumlah total pesan yang disimpan serta untuk menemukan
offset sebenarnya dari pesan terlama. |
kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+) |
| last_offset | Offset terakhir dalam partisi. Hal ini dapat digunakan untuk menemukan offset terbaru untuk setiap partisi dari waktu ke waktu. Hal ini dapat berguna dalam mengidentifikasi offset tertentu yang diperlukan untuk memproses ulang data mulai dari waktu tertentu di masa lalu. | kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+) |
| byte_size | Ukuran partisi di disk dalam byte. | - |
Metrik grup konsumen
| Metrik | Deskripsi | Nama MBean yang setara |
|---|---|---|
| Offset_lag | Perbedaan antara offset terbaru dan offset terakhir yang di-commit untuk grup konsumen untuk setiap partisi. Metrik ini memperkirakan jumlah pesan yang dihasilkan yang belum berhasil diproses oleh konsumen. | T/A |