Memantau cluster Google Cloud Managed Service for Apache Kafka

Managed Service for Apache Kafka mengumpulkan metrik yang dapat Anda gunakan untuk memantau cluster Kafka. Halaman ini menjelaskan cara melihat metrik ini di konsol Google Cloud .

Anda dapat melihat metrik dengan cara berikut:

  • Halaman Cluster details mencakup dasbor pemantauan untuk cluster, topik, dan grup konsumen. Dasbor ini berisi diagram standar yang memungkinkan Anda melihat kondisi dan performa cluster secara keseluruhan.

  • Anda dapat menggunakan Metrics Explorer untuk melihat semua metrik yang tersedia, membuat diagram kustom, atau menggabungkan metrik di beberapa cluster.

Ringkasan

Managed Service untuk Apache Kafka mengekspor beberapa metrik yang tersedia di distribusi Kafka open source, serta metrik khusus layanan seperti jeda offset grup konsumen. Untuk pemantauan, layanan Managed Service for Apache Kafka diidentifikasi oleh URL layanan managedkafka.googleapis.com.

Metrik disusun dalam empat kategori resource:

  • Cluster: Metrik ini berguna untuk menjaga kondisi keseluruhan cluster.

  • Topik: Metrik ini mencakup rasio dan error penayang dan konsumen. Mereka memantau kondisi keseluruhan aplikasi Kafka, dan masalah khusus untuk broker.

  • Partisi Topik: Metrik ini ditujukan untuk memantau dan men-debug masalah performa khusus untuk setiap partisi, seperti distribusi kunci yang tidak merata.

  • Grup Konsumen Partisi Topik: Metrik ini memantau kesehatan aplikasi konsumen, terutama keterlambatan konsumen. Metrik error Kafka open source untuk grup konsumen tidak tersedia menurut partisi, tetapi hanya di tingkat topik.

Beberapa metrik dapat dikelompokkan menurut indeks broker. Berdasarkan indeks broker, Anda dapat mencari zona tempat broker tersebut disediakan. Untuk mengetahui informasi selengkapnya, lihat Melihat broker.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang diperlukan guna melihat diagram pemantauan, minta administrator untuk memberi Anda peran IAM Managed Kafka Viewer (roles/managedkafka.Viewer) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran ini, lihat Peran bawaan Managed Service for Apache Kafka.

Melihat dasbor pemantauan

Untuk melihat dasbor pemantauan untuk cluster Managed Service for Apache Kafka, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Clusters.

    Buka Cluster

  2. Klik nama cluster.

  3. Untuk melihat metrik cluster, pilih tab Monitoring.

  4. Untuk melihat metrik topik dalam cluster:

    1. Pilih tab Resources.

    2. Di daftar Topik, klik nama topik.

    3. Di halaman Topic details, pilih tab Monitoring.

  5. Untuk melihat metrik grup konsumen di cluster:

    1. Pilih tab Resources.

    2. Di daftar Grup konsumen, klik nama grup konsumen.

    3. Di halaman Consumer group details, pilih tab Monitoring.

Untuk mengetahui informasi selengkapnya, lihat Melihat cluster Kafka.

Melihat metrik di Metrics Explorer

Untuk melihat metrik Managed Service for Apache Kafka menggunakan Metrics Explorer, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Metrics explorer.

    Buka Metrics Explorer

  2. Di bagian Konfigurasi, klik Pilih metrik.

  3. Di filter, masukkan Apache Kafka.

  4. Di Resource aktif, pilih salah satu opsi berikut:

    • Cluster Apache Kafka

    • Topik Apache Kafka

    • Partisi Topik Apache Kafka

    • Grup Konsumen Partisi Topik Apache Kafka

  5. Pilih metrik, lalu klik Terapkan.

Untuk mengetahui informasi selengkapnya tentang Metrics Explorer, lihat Membuat diagram dengan Metrics Explorer.

Metrik Managed Service for Apache Kafka

Tabel berikut mencantumkan metrik yang umum digunakan untuk memantau cluster Kafka dan resource cluster Anda. Untuk mengetahui daftar lengkap metrik yang tersedia, lihat MetrikGoogle Cloud .

Metrik cluster

Metrik berikut berlaku untuk cluster. Untuk melihat metrik untuk cluster tertentu, filter menurut label cluster_id.

Metrik Deskripsi Nama MBean yang Setara
cpu/core_usage_time Penggunaan CPU kumulatif cluster dalam vCPU. Hal ini dapat berguna untuk memahami biaya operasi cluster secara keseluruhan. T/A
cpu/limit Jumlah CPU saat ini yang dikonfigurasi untuk cluster. Dapat digunakan untuk memantau penggunaan CPU sebagai rasio dengan metrik cpu/usage. T/A
memory/usage Penggunaan RAM saat ini di cluster. Dapat digunakan untuk memantau penggunaan RAM sebagai rasio dengan metrik memory/limit. T/A
memory/limit Ukuran RAM cluster yang dikonfigurasi saat ini. Dapat digunakan untuk memantau penggunaan RAM sebagai rasio dengan metrik memory/usage. T/A
cluster_byte_in_count Jumlah total byte dari klien yang dikirim ke semua topik. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
cluster_byte_out_count Jumlah total byte yang dikirim ke klien dari semua topik. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec
cluster_message_in_count Jumlah total pesan yang telah dipublikasikan ke semua topik. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec
request_count Jumlah total permintaan yang dibuat ke broker kafka.network:type=RequestMetrics,name=RequestsPerSec,request= {Produce|FetchConsumer|FetchFollower},version=([0-9]+)
request_byte_count Total ukuran, dalam byte, permintaan yang dibuat ke Cluster. kafka.network:type=RequestMetrics,name=RequestBytes,request= ([-.\w]+)
partitions Jumlah partisi saat ini yang ditangani oleh cluster ini, yang dikelompokkan menurut broker. kafka.server:type=ReplicaManager,name=PartitionCount
request_latencies Jumlah milidetik yang diperlukan untuk setiap permintaan, pada berbagai persentil kafka.network:type=RequestMetrics,name=TotalTimeMs,request= {Produce|FetchConsumer|FetchFollower}
consumer_groups Jumlah Grup Konsumen saat ini yang menggunakan broker kafka.server:type=GroupMetadataManager,name=NumGroups
offline_partitions Jumlah partisi topik offline seperti yang diamati oleh pengontrol. kafka.controller:type=KafkaController,name=OfflinePartitionCount

Metrik topik

Metrik berikut berlaku untuk topik. Untuk melihat metrik topik tertentu, filter menurut label cluster_id dan topic_id.

Metrik Deskripsi Nama MBean yang setara
message_in_count Jumlah total pesan yang dipublikasikan ke topik. kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec, topic=([-.\w]+)
byte_in_count Jumlah total byte dari klien yang dikirim ke topik. kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+)
topic_request_count Jumlah total permintaan produksi dan pengambilan yang dibuat ke topik. kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+)
topic_error_count Jumlah total permintaan pengambilan yang gagal dan permintaan produksi yang gagal yang dibuat ke topik. kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)
kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+)
byte_out_count Jumlah total byte yang dikirim ke klien. kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec, topic=([-.\w]+)

Metrik partisi

Metrik berikut berlaku untuk partisi. Untuk melihat metrik partisi tertentu dalam topik, filter menurut label cluster_id, topic_id, dan partition_index.

Metrik Deskripsi Nama MBean yang setara
consumer_lag Keterlambatan replikasi dalam pesan antara pemimpin dan setiap replika pengikut. kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
log_segments Jumlah segmen log saat ini. Hal ini berguna untuk memastikan tingkatan penyimpanan tetap dalam kondisi baik. kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+)
first_offset Offset pertama untuk setiap partisi dalam topik. Jika dikombinasikan dengan last_offset, metode ini dapat digunakan untuk memantau batas atas jumlah total pesan yang disimpan serta untuk menemukan offset sebenarnya dari pesan terlama. kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+)
last_offset Offset terakhir dalam partisi. Hal ini dapat digunakan untuk menemukan offset terbaru untuk setiap partisi dari waktu ke waktu. Hal ini dapat berguna dalam mengidentifikasi offset tertentu yang diperlukan untuk memproses ulang data mulai dari waktu tertentu di masa lalu. kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+)
byte_size Ukuran partisi di disk dalam byte. T/A

Metrik grup konsumen

Metrik berikut berlaku untuk grup konsumen. Untuk melihat metrik grup konsumen tertentu, filter menurut label consumer_group_id.

Metrik Deskripsi Nama MBean yang setara
offset_lag Perbedaan antara offset terbaru dan offset terakhir yang di-commit untuk grup konsumen untuk setiap partisi. Metrik ini memperkirakan jumlah pesan yang dihasilkan yang belum berhasil diproses oleh konsumen. T/A

Langkah berikutnya