Menggunakan dasbor Grafana untuk memantau Spanner Omni

Pratinjau

Produk atau fitur ini adalah penawaran pratinjau yang tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan, dan hanya dapat digunakan untuk tujuan pengembangan, pengujian, pembuatan prototipe, dan demonstrasi program software. Alat ini tidak dapat digunakan untuk tujuan pemrosesan data atau komersial apa pun. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pantau kondisi dan performa deployment Spanner Omni Anda dengan dasbor Grafana. Dasbor ini memvisualisasikan metrik Spanner Omni yang dimasukkan ke Prometheus, sehingga memberikan insight yang komprehensif tentang status operasional deployment Anda. Anda mendapatkan visibilitas ke kondisi sistem secara keseluruhan, konsumsi resource, dan proses internal yang penting.

Inventaris dasbor

Tabel berikut memberikan ringkasan umum tentang dasbor yang tersedia:

Dasbor	Metrik utama	Tujuan utama
Ringkasan	QPS, latensi, throughput	Pantau performa deployment tingkat tinggi, termasuk kueri per detik (QPS), latensi permintaan, dan throughput data.
Insight sistem	CPU, memori, waktu tunggu kunci	Berfokus pada konsumsi resource dan kondisi tingkat database (misalnya, CPU, memori, dan waktu tunggu penguncian) untuk database yang dipilih.
Insight deployment	CPU, memori, dan pemanfaatan jaringan	Memberikan insight mendetail tentang konsumsi resource deployment secara keseluruhan dan statistik jaringan.
Sistem file Spanner Omni	Operasi file, latensi, dan throughput	Memantau operasi, performa, latensi, dan throughput sistem file yang mendasarinya.
gRPC	Jumlah, status, dan latensi RPC	Melacak statistik RPC mendetail untuk komunikasi sisi server dan sisi klien.
Pemadatan	Tingkat keberhasilan dan kegagalan pemadatan, jeda pemadatan	Memvisualisasikan performa pemeliharaan data latar belakang, dengan berfokus pada tingkat keberhasilan dan kegagalan pemadatan serta jeda pemadatan.
Memisahkan, menggabungkan, dan memindahkan	Jumlah pemisahan, penggabungan, dan pemindahan; ukuran grup	Pantau distribusi data dinamis, termasuk operasi direktori (pemisahan, penggabungan, dan pemindahan), ukuran grup data, dan potensi hotspot.
Tablet	Jumlah tablet, distribusi beban	Memberikan insight mendalam tentang statistik, operasi, dan distribusi pemuatan tablet, serta mengidentifikasi potensi hotspot.
TrueTime	Penyimpangan, ketidakpastian, pelanggaran SLA	Memantau kondisi dan keandalan layanan Spanner Omni TrueTime, termasuk penyimpangan, ketidakpastian, dan pelanggaran SLA.
Log bersama	Kecepatan tulis, tingkat error pengurutan	Pantau performa log bersama, khususnya kecepatan penulisan dan tingkat error pengurutan.

Berikut adalah beberapa diagram yang tersedia di dasbor:

• Kapasitas Komputasi (vCPU): Jumlah total vCPUs yang disediakan di seluruh deployment.

• Kapasitas Memori: Total memori fisik yang disediakan di seluruh deployment.

• Kapasitas Penyimpanan: Total dan kapasitas penyimpanan sistem file yang tersedia.

• Status Node: Melacak jumlah total dan server yang tidak responsif dalam deployment.

• Penggunaan Komputasi: Persentase total kapasitas vCPU yang digunakan.

• Penggunaan Memori: Total penggunaan memori di seluruh deployment. Penggunaan tinggi diharapkan karena Spanner Omni menggunakan memori tidak aktif untuk tujuan cache.

• Penggunaan Penyimpanan: Persentase total kapasitas penyimpanan yang digunakan.

• Penyimpanan yang Digunakan Per vCPU: Rasio total penyimpanan yang digunakan relatif terhadap total jumlah vCPU.

• Server: Tabel mendetail yang menampilkan metrik per server dan per zona untuk penggunaan CPU, penggunaan memori, waktu aktif, total vCPU, total memori, penyimpanan yang digunakan, dan kapasitas penyimpanan.

Dasbor insight sistem

Dasbor analisis sistem berfokus pada kondisi dan performa database dalam deployment. Dasbor ini mencakup diagram berikut:

• Ringkasan Pemakaian CPU: Penggunaan CPU database secara keseluruhan yang digabungkan di seluruh server yang dipilih.

• Penggunaan CPU menurut pengguna dan sistem: Penggunaan CPU dalam database yang dipilih, dikelompokkan menurut tugas dan prioritas pengguna dan sistem.

• Penggunaan CPU Menurut Jenis Operasi: Penggunaan CPU yang dikelompokkan menurut jenis operasi untuk database yang dipilih, yang digabungkan di seluruh server yang dipilih.

• Penggunaan CPU Menurut Jenis Operasi - Prioritas Tinggi: Penggunaan CPU dikelompokkan menurut jenis operasi dan difilter menurut prioritas tinggi untuk database yang dipilih, yang digabungkan di seluruh server yang dipilih.

• Penggunaan CPU Menurut Jenis Operasi - Prioritas Sedang: Penggunaan CPU yang dikelompokkan menurut jenis operasi dan difilter menurut prioritas sedang untuk database yang dipilih, yang diagregasi di seluruh server yang dipilih.

• Penggunaan CPU Menurut Jenis Operasi - Prioritas Rendah: Penggunaan CPU dikelompokkan menurut jenis operasi dan difilter menurut prioritas rendah untuk database yang dipilih, yang digabungkan di seluruh server yang dipilih.

• Latensi Permintaan (P50, P90, P99): Latensi dalam database yang dipilih, dikelompokkan menurut metode baca dan tulis di seluruh server yang dipilih.

• Latensi Permintaan Menurut Metode (P50, P90, P99): Latensi dalam database yang dipilih, dikelompokkan menurut metode API di seluruh server yang dipilih.

• Latensi Transaksi (P50, P90, P99): Latensi permintaan dalam database yang dipilih, dikelompokkan menurut jenis transaksi dan keterlibatan pemimpin di seluruh server yang dipilih.

• Throughput: Throughput baca dan tulis dalam database yang dipilih di seluruh server yang dipilih.

• Throughput Menurut Metode: Throughput dalam database yang dipilih, dikelompokkan menurut metode di seluruh server yang dipilih.

• Operasi Per Detik: Operasi per detik dalam database yang dipilih, yang dikelompokkan menurut metode baca dan tulis di seluruh server yang dipilih.

• Operasi Per Detik Menurut Metode: Operasi per detik dalam database yang dipilih, dikelompokkan menurut metode di seluruh server yang dipilih.

• Penggunaan Penyimpanan Menurut Database: Byte fisik yang tidak direplikasi yang digunakan oleh setiap database. Tablet pemimpin setiap grup memberikan metrik ini. Byte fisik yang direplikasi sebenarnya di semua tablet dalam grup mungkin lebih tinggi atau lebih rendah, bergantung pada status pemadatan di setiap tablet, tetapi metrik ini memberikan gambaran perkiraan tentang seberapa banyak penyimpanan fisik yang tidak direplikasi yang digunakan setiap database.

• Waktu Tunggu Kunci: Total waktu tunggu kunci untuk konflik kunci pada database yang dipilih dalam interval 5 menit.

• Rasio Transaksi yang Dibatalkan: Rasio transaksi yang dibatalkan atau dibatalkan. Rasio pembatalan dapat lebih tinggi jika terjadi konflik antar-transaksi.

• Jumlah Objek Skema: Jumlah objek skema untuk database yang dipilih.

• Peserta Transaksi: Distribusi jumlah peserta transaksi dalam setiap upaya penerapan untuk database.

Dasbor insight deployment

Dasbor insight deployment memberikan insight lebih lanjut tentang konsumsi resource deployment. Dasbor ini mencakup diagram berikut:

• Penggunaan CPU: Penggunaan CPU gabungan untuk server yang dipilih.

• Penggunaan CPU server: Penggunaan CPU untuk setiap server yang dipilih.

• Penggunaan CPU proses: Penggunaan CPU untuk setiap proses yang digabungkan di seluruh server yang dipilih.

• Penggunaan memori: Penggunaan memori gabungan untuk server yang dipilih. Nilai yang tinggi dapat diperkirakan karena Spanner Omni menyimpan data dalam cache di memori, yang dapat dikosongkan oleh Spanner Omni jika diperlukan.

• Penggunaan Memori Server: Penggunaan memori untuk setiap server yang dipilih. Nilai yang tinggi dapat diperkirakan karena Spanner Omni menyimpan data dalam cache di memori, yang dapat dikosongkan oleh Spanner Omni jika diperlukan.

• Ukuran Memori Fisik Proses: Ukuran memori fisik untuk setiap proses bagi server yang dipilih.

• Ukuran Memori Virtual Proses: Ukuran memori virtual untuk setiap proses bagi server yang dipilih.

• Perincian Memori Server: Penggunaan memori menurut kategori (cache, terfragmentasi, memtable_pinned, sistem, update, lainnya) yang digabungkan di seluruh server yang dipilih. Memori ini khusus untuk proses span_server.

• Byte yang Dikirim Jaringan: Byte yang dikirim per antarmuka yang digabungkan di semua server.

• Byte yang Diterima Jaringan: Byte yang diterima per antarmuka yang digabungkan di semua server.

• 10 Server Teratas Berdasarkan Byte yang Dikirim Jaringan: 10 server teratas berdasarkan byte yang dikirim jaringan (tampilan tabel).

• 10 Server Teratas Berdasarkan Byte yang Diterima Jaringan: 10 server teratas berdasarkan byte yang diterima jaringan (tampilan tabel).

Dasbor sistem file Spanner Omni

Dasbor sistem file Spanner Omni memantau operasi sistem file pokok yang penting untuk performa, termasuk kecepatan operasi, latensi, dan throughput. Dasbor ini mencakup diagram berikut:

• Grafik Operasi File:

  • Operasi Per Detik: Melacak total kecepatan operasi file, yang dikelompokkan menurut operasi.

  • Operasi lokal dan jarak jauh per detik: Melacak kecepatan operasi file, yang dipisahkan berdasarkan akses lokal versus jarak jauh.

  • Error Operasi Per Detik: Menampilkan tingkat kegagalan operasi sistem file, yang dikelompokkan menurut operasi dan status.

• Grafik Latensi: Mencakup diagram untuk latensi P50, P90, dan P99 untuk operasi file lokal dan jarak jauh, yang dikelompokkan menurut operasi.

• Grafik Throughput:

  • Throughput Baca dan Tulis Lokal dan Jarak Jauh: Melacak kecepatan throughput baca dan tulis, yang dipisahkan menurut akses lokal dan jarak jauh.

  • Byte Per Operasi: Mencakup P50 dan P90 byte yang ditransfer per operasi untuk akses lokal dan jarak jauh.

• Statistik sistem file:

  • Total Ukuran Sistem file menurut Zona: Menampilkan total ukuran sistem file yang disediakan, dikelompokkan menurut zona Spanner Omni.

  • Penggunaan sistem file menurut Zona: Menampilkan ukuran sistem file yang digunakan saat ini, yang dikelompokkan menurut zona Spanner Omni.

Dasbor gRPC

Dasbor gRPC melacak statistik RPC mendetail untuk semua server dalam deployment. Dasbor ini mencakup diagram berikut:

• Metrik Sisi Server: Memantau performa RPC dari perspektif server.

  • Latensi RPC Per Metode (P50, P90, P99): Latensi per metode RPC di sisi server.

  • Throughput yang Dikirim Server Per Metode: Byte yang dikirim per detik per metode untuk server yang dipilih.

  • Throughput yang Dikirim Server Per Proses: Byte yang dikirim per detik per proses untuk server yang dipilih.

  • Throughput yang Diterima Server Per Metode: Byte yang diterima per detik per metode untuk server yang dipilih.

  • Throughput yang Diterima Server Per Proses: Byte yang diterima per detik per proses untuk server yang dipilih.

  • Jumlah Status Kanonis Server Per Metode: Tingkat kemunculan kode status kanonis per metode untuk server yang dipilih.

  • RPC Selesai Server Per Metode: Tingkat RPCs yang selesai per metode untuk server yang dipilih.

  • Server Active Channels: Jumlah total channel gRPC sisi server yang dibuat sejak aplikasi dimulai dan tetap aktif.

• Metrik Sisi Klien: Memantau performa RPC dari perspektif klien.

  • Latensi Perjalanan Pulang Pergi Klien Per Metode (P50, P90, P99): Latensi RPC perjalanan pulang pergi per metode, yang mencakup latensi server, jaringan, dan waktu antrean.

  • Throughput yang Dikirim Klien Per Metode: Byte yang dikirim per detik per metode untuk server yang dipilih.

  • Throughput yang Dikirim Klien Per Proses: Byte yang dikirim per detik per proses untuk server yang dipilih.

  • Throughput yang Diterima Klien Per Metode: Byte yang diterima per detik per metode untuk server yang dipilih.

  • Throughput yang Diterima Klien Per Proses: Byte yang diterima per detik per proses untuk server yang dipilih.

  • Jumlah Status Kanonis Klien Per Metode: Tingkat kemunculan kode status kanonis per metode sebagai klien gRPC untuk server yang dipilih.

  • RPC yang Selesai Per Metode Klien: Tingkat penyelesaian RPCs klien per metode untuk server yang dipilih.

Dasbor pemadatan

Dasbor pemadatan menampilkan visualisasi performa tugas pemadatan di latar belakang. Dasbor ini mencakup diagram berikut:

• Pemadatan Berhasil dan Gagal (1 Jam Terakhir): Melacak jumlah pemadatan yang berhasil dan gagal yang dikelompokkan menurut jenis pemadatan dan per server.

• Tingkat Byte Output Pemadatan: Melacak tingkat byte output pemadatan selama interval 2 menit, yang dikelompokkan menurut jenis pemadatan dan per server.

• Distribusi Ukuran Input Pemadatan: Peta panas menampilkan distribusi ukuran input pemadatan.

• Ukuran Input Pemadatan (Rata-Rata): Menampilkan ukuran input pemadatan rata-rata, yang dikelompokkan menurut jenis pemadatan dan per server.

• Ukuran Input Pemadatan (Estimasi Persentil): Memberikan estimasi persentil (P50, P95, P99) ukuran input pemadatan, yang dikelompokkan menurut jenis pemadatan dan per server.

• Distribusi Keterlambatan Pemadatan Besar: Peta panas menampilkan distribusi keterlambatan pemadatan besar yang digabungkan di semua server.

• Keterlambatan Pemadatan Besar (Rata-Rata) Per Server: Menampilkan rata-rata keterlambatan pemadatan besar per server.

• Keterlambatan Pemadatan Besar (Estimasi Persentil) Per Server: Memberikan estimasi persentil (P50, P90, P99) keterlambatan pemadatan besar per server.

Membagi, menggabungkan, dan memindahkan dasbor

Dasbor pemisahan, penggabungan, dan pemindahan melacak distribusi data dinamis di seluruh cluster, termasuk operasi direktori dan ukuran grup. Dasbor ini mencakup diagram berikut:

• Distribusi Ukuran Pemisahan: Ukuran pemisahan direktori, termasuk persentil P50, P90, P99, dan P100, yang digabungkan di seluruh server yang dipilih.

• Distribusi Ukuran Grup: Semua byte yang dialokasikan untuk grup (persisten dan dalam memori), dengan persentil P50, P90, P99, dan P100, yang digabungkan di seluruh server yang dipilih.

• Distribusi Ukuran Grup Dalam Memori: Semua byte yang dialokasikan untuk struktur data dalam memori grup, dengan persentil P50, P90, P99, dan P100, yang digabungkan di seluruh server yang dipilih.

• Ukuran Grup Menurut Zona: Ukuran P50, P90, P99, dan P100 untuk semua byte yang dialokasikan (persisten dan dalam memori) untuk grup, dikelompokkan menurut zona Spanner Omni.

• Jumlah pemindahan data internal yang berhasil: Jumlah pemindahan, pemisahan, dan penggabungan direktori dan grup selama periode 1 jam, yang dikelompokkan menurut pemrakarsa, tindakan, dan jenis pemindahan.

• Jumlah pemindahan data internal yang gagal: Jumlah error dalam percobaan pemindahan, pemisahan, dan penggabungan direktori dan grup selama periode 1 jam.

• Error yang tidak dapat dibagi menurut alasan dan jenis: Tingkat error yang tidak dapat dibagi dengan penggabungan yang kelebihan beban diabaikan karena rentangnya tidak dapat dibagi.

• Skor Penggunaan CPU Split Puncak: Beban penggunaan CPU maksimum di semua split setiap database.

Dasbor tablet

Dasbor tablet memberikan insight mendalam tentang statistik, operasi, dan potensi hotspot tablet. Dasbor ini mencakup diagram berikut:

• Total Tablet Count: Jumlah total tablet Paxos di seluruh deployment.

• Jumlah Tablet Menurut Zona: Jumlah tablet, dikelompokkan menurut zona Spanner Omni.

• Jumlah Tablet Menurut Server: Jumlah tablet di server yang dipilih.

• Jumlah Pemimpin Menurut Zona: Jumlah tablet pemimpin, dikelompokkan menurut zona Spanner Omni.

• Jumlah Pemimpin Menurut Server: Jumlah tablet pemimpin di server yang dipilih.

• Tablet yang Tidak Ditetapkan Per Zona: Jumlah tablet yang tidak ditetapkan per zona.

• Pemuatan Tablet Berdasarkan Zona: Tingkat pemuatan tablet yang dikelompokkan berdasarkan zona.

• Pembongkaran Tablet Menurut Zona Menurut Alasan: Tingkat pembongkaran tablet per zona, yang dikategorikan menurut alasan pembongkaran.

• Beban Tablet Maksimum untuk Setiap Server: Tampilan tabel menampilkan beban komputasi maksimum untuk tablet di setiap server.

• Jumlah Tablet Aktif: Total jumlah tablet aktif (tablet yang melampaui batas beban komputasi).

• Distribusi Beban Tablet: Distribusi beban komputasi per tablet, menampilkan perkiraan persentil P50 dan P90, serta nilai MAX yang tepat.

Dasbor TrueTime

Dasbor TrueTime memberikan visibilitas ke kondisi dan keandalan layanan Spanner Omni TrueTime. Dasbor ini mencakup diagram berikut:

• Ketersediaan TrueTime: Memantau ketersediaan keseluruhan layanan TrueTime.

• Penyimpangan TrueTime persentil ke-99: Melacak penyimpangan TrueTime persentil ke-99.

• Ketidakpastian TrueTime P99: Melacak persentil ke-99 ketidakpastian TrueTime.

• Pelanggaran SLA clock: Menampilkan jumlah pelanggaran terhadap perjanjian tingkat layanan (SLA) clock.

• Jumlah migrasi VM: Melacak jumlah migrasi virtual machine.

• Penyimpangan TrueTime pada pemimpin: Memantau penyimpangan TrueTime secara khusus pada node pemimpin.

• PPM kemudi TrueTime yang diinginkan dan aktual: Membandingkan nilai kemudi parts-per-million (ppm) yang diinginkan dan aktual.

• Error pengarahan TrueTime: Melacak error dalam mekanisme pengarahan TrueTime.

Dasbor log bersama

Dasbor log bersama adalah dasbor khusus untuk memantau performa log bersama dan status pemulihan. Dasbor ini mencakup diagram berikut:

• Kecepatan Penulisan Log Bersama: Jumlah entri log bersama per detik, yang digabungkan dan dikelompokkan per database.

• Byte Log Bersama yang Ditulis: Byte log bersama yang ditulis per detik (throughput), digabungkan dan dikelompokkan per database.

• Kecepatan Penulisan Batch Log Bersama: Batch log bersama yang ditulis per detik dan digabungkan di seluruh server yang dipilih.

• Distribusi Latensi Penulisan Batch Log Bersama: Distribusi latensi P50, P90, dan P99 untuk penulisan batch log bersama.

• Distribusi Jumlah Entri Batch Log Bersama: Distribusi P50, P90, dan P99 jumlah entri dalam batch log bersama.

• Rasio Permintaan LogSort: Rasio permintaan LogSort yang diagregasi di seluruh server yang dipilih.

• Tingkat Error Pengurutan LogSort: Tingkat error pengurutan LogSort yang diagregasi di seluruh server yang dipilih.

• Pembaca Log Bersama yang Sedang Berlangsung: Jumlah total pembaca log bersama yang terlibat dalam pemulihan tablet.

Langkah berikutnya

• Gunakan pemberitahuan Prometheus untuk memantau Spanner Omni.

• Menambahkan enkripsi ke deployment Spanner Omni Kubernetes.

• Tambahkan enkripsi ke deployment VM Spanner Omni.