Menganalisis log menggunakan Logs Explorer dan Observability Analytics

Dokumen ini menjelaskan cara membuat kueri, melihat, dan menganalisis entri log menggunakan konsol Google Cloud . Ada dua antarmuka yang tersedia untuk Anda, Logs Explorer dan Observability Analytics. Anda dapat membuat kueri, melihat, dan menganalisis log dengan kedua antarmuka tersebut. Namun, keduanya menggunakan bahasa kueri yang berbeda dan memiliki kemampuan yang berbeda:

  • Untuk pemecahan masalah dan eksplorasi data log, gunakan Logs Explorer.

  • Untuk menggabungkan data log dan data trace, atau untuk membuat insight dan tren, gunakan Observability Analytics.

Anda dapat membuat kueri log dan menyimpan kueri dengan mengeluarkan perintah Logging API. Anda juga dapat membuat kueri log menggunakan Google Cloud CLI.

Menggunakan Logs Explorer

Logs Explorer dirancang untuk membantu Anda memecahkan masalah dan menganalisis performa layanan dan aplikasi. Misalnya, histogram menampilkan tingkat error. Jika melihat lonjakan error atau sesuatu yang menarik, Anda dapat menemukan dan melihat entri log yang sesuai. Saat entri log dikaitkan dengan grup error , entri log akan diberi anotasi dengan menu opsi yang memungkinkan Anda mengakses informasi selengkapnya tentang grup error.

Bahasa kueri yang sama didukung oleh Cloud Logging API, Google Cloud CLI, dan Logs Explorer. Untuk menyederhanakan pembuatan kueri saat menggunakan Logs Explorer, Anda dapat membuat kueri menggunakan menu, dengan memasukkan teks, dan, dalam beberapa kasus, dengan menggunakan opsi yang disertakan dengan tampilan entri log individual.

Logs Explorer tidak mendukung operasi gabungan, seperti menghitung jumlah entri log yang berisi pola tertentu. Untuk melakukan operasi gabungan, aktifkan analisis di bucket log, lalu gunakan Observability Analytics.

Untuk mengetahui detail tentang cara menelusuri dan melihat log dengan Logs Explorer, lihat Melihat log menggunakan Logs Explorer.

Mempelajari Observability Analytics

Dengan Observability Analytics, Anda dapat membuat insight dengan menjalankan kueri yang mengelompokkan dan menggabungkan data log. Insight ini dapat membantu mengurangi waktu yang Anda habiskan untuk memecahkan masalah. Untuk melihat hasil kueri, gunakan tabel, a diagram, atau keduanya. Diagram dapat membantu Anda mengidentifikasi pola dan tren dalam data log. Misalnya, screenshot berikut menampilkan hasil kueri yang ditampilkan sebagai tabel dan diagram:

Antarmuka pengguna untuk Analisis Observabilitas.

Observability Analytics mendukung hal berikut:

  • Mengelompokkan dan menggabungkan data log.

    Misalnya, Anda dapat menjalankan kueri SQL yang mengelompokkan entri log per jam, lalu menghitung untuk setiap grup, latensi rata-rata untuk permintaan HTTP yang dikeluarkan ke URL tertentu.

  • Kueri SQL yang menggunakan sintaksis pipe.

  • Kueri tampilan log dan tampilan analisis.

    Tampilan log memiliki skema yang ditentukan sistem. Anda menentukan skema untuk tampilan analisis.

  • Penggabungan data log dan data trace.

    Untuk mengetahui informasi tentang cara membuat kueri data trace, lihat Membuat kueri dan menganalisis trace.

Cloud Logging juga memungkinkan Anda membuat kueri data log dari BigQuery, tanpa mengekspor data tersebut ke BigQuery. Setelah mengupgrade bucket log untuk menggunakan Observability Analytics, buat set data BigQuery tertaut. Anda dapat membuat kueri set data BigQuery tertaut menggunakan layanan BigQuery.

Mengupgrade bucket log tidak akan memengaruhi penggunaan Logs Explorer. Logs Explorer hanya mengharuskan data log Anda disimpan dalam bucket log.

Batasan

  • Untuk mengupgrade bucket log yang ada agar dapat menggunakan Observability Analytics, batasan berikut berlaku:

    • Bucket log dibuat di level project. Google Cloud
    • Bucket log tidak terkunci kecuali jika bucket tersebut adalah bucket _Required.
    • Tidak ada update yang tertunda untuk bucket.

  • Entri log yang ditulis sebelum bucket diupgrade tidak langsung tersedia. Namun, setelah operasi backfill selesai, Anda dapat menganalisis entri log ini. Proses backfill mungkin memerlukan waktu beberapa hari.

  • Anda tidak dapat menggunakan halaman Observability Analytics untuk membuat kueri tampilan log jika bucket log memiliki kontrol akses tingkat kolom yang dikonfigurasi. Namun, Anda dapat mengeluarkan kueri melalui halaman Logs Explorer, dan Anda dapat membuat kueri set data BigQuery tertaut. Karena BigQuery tidak mendukung kontrol akses tingkat kolom, jika Anda membuat kueri set data BigQuery tertaut, Anda dapat membuat kueri semua kolom dalam entri log.

  • Entri log duplikat tidak dihapus sebelum kueri dijalankan. Perilaku ini berbeda dengan saat Anda membuat kueri entri log menggunakan Logs Explorer, yang menghapus entri duplikat dengan membandingkan nama log, stempel waktu, dan kolom ID penyisipan. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah: Ada entri log duplikat dalam hasil Observability Analytics saya.

Batasan penggabungan

Untuk menggabungkan tampilan, batasan berikut berlaku:

  1. Lokasi tampilan memenuhi salah satu hal berikut:

    • Semua tampilan memiliki lokasi yang sama.
    • Semua tampilan berada di lokasi global atau us.

  2. Jika resource penyimpanan menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), salah satu hal berikut harus benar:

    • Resource penyimpanan yang menggunakan CMEK menggunakan kunci Cloud KMS yang sama.
    • Resource penyimpanan yang menggunakan CMEK memiliki ancestor umum, dan ancestor tersebut menentukan kunci Cloud KMS default Cloud KMS yang berada di lokasi yang sama dengan resource penyimpanan.

    Jika satu atau beberapa resource penyimpanan menggunakan CMEK, sistem akan mengenkripsi data sementara yang dihasilkan oleh penggabungan dengan kunci Cloud KMS umum atau kunci Cloud KMS default ancestor.

Misalnya, Anda memiliki dua tampilan yang berada di lokasi yang sama. Kemudian, Anda dapat menggabungkan tampilan ini jika salah satu hal berikut berlaku:

  • Resource penyimpanan tidak menggunakan CMEK.
  • Satu resource penyimpanan menggunakan CMEK dan yang lainnya tidak.
  • Kedua resource penyimpanan menggunakan CMEK dan keduanya menggunakan kunci Cloud KMS yang sama.

  • Kedua resource penyimpanan menggunakan CMEK, tetapi menggunakan kunci yang berbeda. Namun, resource tersebut berbagi an ancestor yang menentukan kunci Cloud KMS default yang berada di lokasi yang sama dengan the resource penyimpanan.

    Misalnya, hierarki resource untuk bucket log dan bucket observabilitas mencakup organisasi yang sama. Anda dapat menggabungkan tampilan di bucket tersebut jika, untuk organisasi tersebut, Anda telah mengonfigurasi setelan resource default untuk Cloud Logging dan untuk bucket observabilitas dengan kunci Cloud KMS default yang sama untuk lokasi penyimpanan.

Harga

Untuk mengetahui informasi harga, lihat halaman Harga Google Cloud Observability. Jika Anda merutekan data log ke layanan Google Cloud lain, lihat dokumen berikut:

Tidak ada biaya penyerapan atau penyimpanan BigQuery saat Anda mengupgrade bucket untuk menggunakan Observability Analytics, lalu membuat set data BigQuery tertaut. Saat membuat set data BigQuery tertaut untuk bucket log, Anda tidak menyerap data log ke BigQuery. Sebagai gantinya, Anda mendapatkan akses baca ke data log yang disimpan di bucket log melalui set data BigQuery tertaut.

Biaya analisis BigQuery berlaku saat Anda menjalankan kueri SQL pada set data BigQuery tertaut BigQuery, yang mencakup penggunaan halaman BigQuery Studio, BigQuery API, dan alat command line BigQuery.

Blog

Untuk mengetahui informasi selengkapnya tentang Observability Analytics, lihat postingan blog berikut:

Langkah berikutnya