Menganalisis log menggunakan Logs Explorer dan Observability Analytics

Dokumen ini menjelaskan cara membuat kueri, melihat, dan menganalisis entri log menggunakan konsol Google Cloud . Ada dua antarmuka yang tersedia untuk Anda, yaitu Logs Explorer dan Observability Analytics. Anda dapat membuat kueri, melihat, dan menganalisis log dengan kedua antarmuka; namun, keduanya menggunakan bahasa kueri yang berbeda dan memiliki kemampuan yang berbeda:

  • Untuk pemecahan masalah dan eksplorasi data log, gunakan Logs Explorer.

  • Untuk menggabungkan data log dan trace, atau untuk membuat insight dan tren, gunakan Analytics Observasi.

Anda dapat membuat kueri log dan menyimpan kueri dengan mengeluarkan perintah Logging API. Anda juga dapat mengkueri log menggunakan Google Cloud CLI.

Menggunakan Logs Explorer

Logs Explorer dirancang untuk membantu Anda memecahkan masalah dan menganalisis performa layanan dan aplikasi Anda. Misalnya, histogram menampilkan tingkat error. Jika Anda melihat lonjakan error atau sesuatu yang menarik, Anda dapat menemukan dan melihat entri log yang sesuai. Jika entri log dikaitkan dengan grup error, entri log tersebut akan diberi anotasi dengan menu opsi yang memungkinkan Anda mengakses informasi selengkapnya tentang grup error.

Bahasa kueri yang sama didukung oleh Cloud Logging API, Google Cloud CLI, dan Logs Explorer. Untuk menyederhanakan pembuatan kueri saat Anda menggunakan Logs Explorer, Anda dapat membuat kueri menggunakan menu, dengan memasukkan teks, dan dalam beberapa kasus, dengan menggunakan opsi yang disertakan dengan tampilan setiap entri log.

Logs Explorer tidak mendukung operasi gabungan, seperti menghitung jumlah entri log yang berisi pola tertentu. Untuk melakukan operasi gabungan, aktifkan analisis di bucket log, lalu gunakan Observability Analytics.

Untuk mengetahui detail tentang cara menelusuri dan melihat log dengan Logs Explorer, lihat Melihat log menggunakan Logs Explorer.

Menjelajahi Analisis Kemampuan Observasi

Dengan Observability Analytics, Anda dapat menghasilkan insight dengan menjalankan kueri yang mengelompokkan dan menggabungkan data log Anda. Insight ini dapat membantu mengurangi waktu yang Anda habiskan untuk memecahkan masalah. Untuk melihat hasil kueri, gunakan tabel, diagram, atau keduanya. Diagram dapat membantu Anda mengidentifikasi pola dan tren dalam data log. Misalnya, screenshot berikut menampilkan hasil kueri yang ditampilkan sebagai tabel dan diagram:

Antarmuka pengguna untuk Analisis Observabilitas.

Analisis Observabilitas mendukung hal berikut:

  • Mengelompokkan dan menggabungkan data log.

    Misalnya, Anda dapat menjalankan kueri SQL yang mengelompokkan entri log menurut jam, lalu menghitung untuk setiap grup, latensi rata-rata untuk permintaan HTTP yang dikeluarkan ke URL tertentu.

  • Kueri SQL yang menggunakan sintaksis pipe.

  • Kueri tabel virtual log dan tabel virtual analisis.

    Tampilan log memiliki skema yang ditentukan sistem. Anda menentukan skema untuk tampilan analisis.

  • Penggabungan data log dan rekaman aktivitas.

    Untuk mengetahui informasi tentang cara membuat kueri data rekaman aktivitas, lihat Membuat kueri dan menganalisis rekaman aktivitas.

Cloud Logging juga memungkinkan Anda membuat kueri data log dari BigQuery, tanpa mengekspor data tersebut ke BigQuery. Setelah mengupgrade bucket log untuk menggunakan Observability Analytics, buat set data tertaut. Anda dapat membuat kueri set data tertaut menggunakan layanan BigQuery.

Mengupgrade bucket log tidak akan memengaruhi penggunaan Logs Explorer Anda. Logs Explorer hanya mengharuskan data log Anda disimpan di bucket log.

Pembatasan

  • Untuk mengupgrade bucket log yang ada agar dapat menggunakan Observability Analytics, batasan berikut berlaku:

    • Bucket log dibuat di tingkat project Google Cloud .
    • Bucket log tidak terkunci kecuali jika bucket tersebut adalah bucket _Required.
    • Tidak ada update tertunda ke bucket.

  • Entri log yang ditulis sebelum bucket diupgrade tidak akan langsung tersedia. Namun, setelah operasi pengisian ulang selesai, Anda dapat menganalisis entri log ini. Proses pengisian ulang mungkin memerlukan waktu beberapa hari.

  • Anda tidak dapat menggunakan halaman Observability Analytics untuk membuat kueri tampilan log saat bucket log telah mengonfigurasi kontrol akses tingkat kolom. Namun, Anda dapat mengeluarkan kueri melalui halaman Logs Explorer, dan Anda dapat membuat kueri set data BigQuery yang ditautkan. Karena BigQuery tidak mematuhi kontrol akses tingkat kolom, jika Anda mengirim kueri ke set data tertaut, Anda dapat mengirim kueri ke semua kolom dalam entri log.

  • Entri log duplikat tidak dihapus sebelum kueri dijalankan. Perilaku ini berbeda dengan saat Anda mengkueri entri log menggunakan Logs Explorer, yang menghapus entri duplikat dengan membandingkan nama log, stempel waktu, dan kolom ID penyisipan. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah: Ada entri log duplikat dalam hasil Analisis Observabilitas saya.

Batasan pada gabungan

Untuk menggabungkan tampilan, batasan berikut berlaku:

  1. Lokasi tampilan memenuhi salah satu hal berikut:

    • Semua tampilan memiliki lokasi yang sama.
    • Semua tampilan berada di lokasi global atau us.

  2. Saat resource penyimpanan menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), salah satu hal berikut akan berlaku:

    • Resource penyimpanan yang menggunakan CMEK menggunakan kunci Cloud KMS yang sama.
    • Resource penyimpanan yang menggunakan CMEK memiliki ancestor umum, dan ancestor tersebut menentukan kunci Cloud KMS default yang berada di lokasi yang sama dengan resource penyimpanan.

    Jika satu atau beberapa resource penyimpanan menggunakan CMEK, sistem akan mengenkripsi data sementara yang dihasilkan oleh gabungan dengan kunci Cloud KMS umum atau kunci Cloud KMS default ancestor.

Misalnya, Anda memiliki dua tampilan yang berada di lokasi yang sama. Kemudian, Anda dapat menggabungkan tampilan ini jika salah satu kondisi berikut berlaku:

  • Resource penyimpanan tidak menggunakan CMEK.
  • Satu resource penyimpanan menggunakan CMEK dan yang lainnya tidak.
  • Kedua resource penyimpanan menggunakan CMEK dan keduanya menggunakan kunci Cloud KMS yang sama.

  • Kedua resource penyimpanan menggunakan CMEK, tetapi menggunakan kunci yang berbeda. Namun, resource tersebut berbagi ancestor yang menentukan kunci Cloud KMS default yang berada di lokasi yang sama dengan resource penyimpanan.

    Misalnya, anggaplah hierarki resource untuk bucket log dan bucket pengamatan mencakup organisasi yang sama. Anda dapat menggabungkan tampilan di bucket tersebut jika, untuk organisasi tersebut, Anda telah mengonfigurasi setelan resource default untuk Cloud Logging dan untuk bucket kemampuan pengamatan dengan kunci Cloud KMS default yang sama untuk lokasi penyimpanan.

Harga

Untuk mengetahui informasi harga, lihat halaman Harga Google Cloud Observability. Jika Anda merutekan data log ke layanan Google Cloud lain, lihat dokumen berikut:

Tidak ada biaya penyerapan atau penyimpanan BigQuery saat Anda mengupgrade bucket untuk menggunakan Observability Analytics, lalu membuat set data tertaut. Saat membuat set data tertaut untuk bucket log, Anda tidak menyerap data log ke BigQuery. Sebagai gantinya, Anda mendapatkan akses baca ke data log yang disimpan di bucket log Anda melalui set data tertaut.

Biaya analisis BigQuery berlaku saat Anda menjalankan kueri SQL pada set data yang ditautkan ke BigQuery, yang mencakup penggunaan halaman BigQuery Studio, BigQuery API, dan alat command line BigQuery.

Blog

Untuk mengetahui informasi selengkapnya tentang Analisis Observabilitas, lihat postingan blog berikut:

Langkah berikutnya