Menganalisis log menggunakan Logs Explorer dan Log Analytics

Dokumen ini menjelaskan cara membuat kueri, melihat, dan menganalisis entri log menggunakan konsol Google Cloud . Ada dua antarmuka yang tersedia untuk Anda, yaitu Logs Explorer dan Log Analytics. Anda dapat membuat kueri, melihat, dan menganalisis log dengan kedua antarmuka; namun, keduanya menggunakan bahasa kueri yang berbeda dan memiliki kemampuan yang berbeda:

  • Untuk pemecahan masalah dan eksplorasi data log, gunakan Logs Explorer.

  • Untuk menggabungkan data log dan rekaman aktivitas, atau untuk membuat insight dan tren, gunakan Log Analytics.

Anda dapat membuat kueri log dan menyimpan kueri dengan mengeluarkan perintah Logging API. Anda juga dapat mengkueri log menggunakan Google Cloud CLI.

Menggunakan Logs Explorer

Logs Explorer dirancang untuk membantu Anda memecahkan masalah dan menganalisis performa layanan dan aplikasi Anda. Misalnya, histogram menampilkan tingkat error. Jika Anda melihat lonjakan error atau sesuatu yang menarik, Anda dapat menemukan dan melihat entri log yang sesuai. Jika entri log dikaitkan dengan grup error, entri log tersebut dianotasi dengan menu opsi yang memungkinkan Anda mengakses informasi selengkapnya tentang grup error.

Bahasa kueri yang sama didukung oleh Cloud Logging API, Google Cloud CLI, dan Logs Explorer. Untuk menyederhanakan pembuatan kueri saat Anda menggunakan Logs Explorer, Anda dapat membuat kueri menggunakan menu, dengan memasukkan teks, dan dalam beberapa kasus, dengan menggunakan opsi yang disertakan dengan tampilan entri log individual.

Logs Explorer tidak mendukung operasi gabungan, seperti menghitung jumlah entri log yang berisi pola tertentu. Untuk melakukan operasi gabungan, aktifkan analisis di bucket log, lalu gunakan Log Analytics.

Untuk mengetahui detail tentang cara menelusuri dan melihat log dengan Logs Explorer, lihat Melihat log menggunakan Logs Explorer.

Mempelajari Log Analytics

Dengan Log Analytics, Anda dapat menghasilkan insight dengan menjalankan kueri yang mengelompokkan dan menggabungkan data log Anda. Insight ini dapat membantu mengurangi waktu yang Anda habiskan untuk memecahkan masalah. Untuk melihat hasil kueri, gunakan tabel, diagram, atau keduanya. Diagram dapat membantu Anda mengidentifikasi pola dan tren dalam data log. Misalnya, screenshot berikut menampilkan hasil kueri yang ditampilkan sebagai tabel dan diagram:

Antarmuka pengguna untuk Log Analytics.

Log Analytics mendukung hal berikut:

  • Mengelompokkan dan menggabungkan data log.

    Misalnya, Anda dapat menjalankan kueri SQL yang mengelompokkan entri log menurut jam, lalu menghitung untuk setiap grup, latensi rata-rata untuk permintaan HTTP yang dikeluarkan ke URL tertentu.

  • Kueri SQL yang menggunakan sintaksis pipe.

  • Kueri tabel virtual log dan tabel virtual analisis.

    Tampilan log memiliki skema yang ditentukan sistem. Anda menentukan skema untuk tampilan analisis.

  • Penggabungan data log dan rekaman aktivitas.

    Untuk mengetahui informasi tentang cara membuat kueri data rekaman aktivitas, lihat Membuat kueri dan menganalisis rekaman aktivitas.

Cloud Logging juga memungkinkan Anda membuat kueri data log dari BigQuery, tanpa mengekspor data tersebut ke BigQuery. Setelah mengupgrade bucket log untuk menggunakan Log Analytics, buat set data tertaut. Anda dapat membuat kueri set data tertaut menggunakan layanan BigQuery.

Mengupgrade bucket log tidak akan memengaruhi penggunaan Logs Explorer Anda. Logs Explorer hanya mengharuskan data log Anda disimpan dalam bucket log.

Pembatasan

  • Untuk mengupgrade bucket log yang ada agar dapat menggunakan Log Analytics, batasan berikut berlaku:

    • Bucket log dibuat di tingkat project Google Cloud .
    • Bucket log tidak terkunci kecuali jika bucket tersebut adalah bucket _Required.
    • Tidak ada update tertunda pada bucket.

  • Entri log yang ditulis sebelum bucket diupgrade tidak akan langsung tersedia. Namun, setelah operasi pengisian ulang selesai, Anda dapat menganalisis entri log ini. Proses pengisian ulang mungkin memerlukan waktu beberapa hari.

  • Anda tidak dapat menggunakan halaman Log Analytics untuk membuat kueri tampilan log saat bucket log telah dikonfigurasi dengan kontrol akses tingkat kolom. Namun, Anda dapat mengeluarkan kueri melalui halaman Logs Explorer, dan Anda dapat membuat kueri set data BigQuery yang ditautkan. Karena BigQuery tidak mematuhi kontrol akses tingkat kolom, jika Anda mengirim kueri ke set data tertaut, Anda dapat mengirim kueri ke semua kolom dalam entri log.

  • Jika Anda membuat kueri beberapa tampilan log, tampilan tersebut harus disimpan di lokasi yang sama. Misalnya, jika dua tampilan berada di lokasi us-east1, satu kueri dapat mengkueri kedua tampilan tersebut. Anda juga dapat membuat kueri dua tampilan yang berada di multi-region us. Namun, jika lokasi tampilan adalah global, maka tampilan tersebut dapat berada di lokasi fisik mana pun. Oleh karena itu, gabungan antara dua tampilan yang memiliki lokasi global mungkin gagal.

  • Jika Anda membuat kueri beberapa tampilan log dan bucket log yang mendasarinya dikonfigurasi dengan kunci Cloud KMS yang berbeda, kueri akan gagal kecuali jika batasan berikut terpenuhi:

    Jika batasan sebelumnya terpenuhi, kunci Cloud KMS induk akan mengenkripsi data sementara yang dihasilkan oleh kueri Log Analytics.

  • Entri log duplikat tidak dihapus sebelum kueri dijalankan. Perilaku ini berbeda dengan saat Anda mengkueri entri log menggunakan Logs Explorer, yang menghapus entri duplikat dengan membandingkan nama log, stempel waktu, dan kolom ID penyisipan. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah: Ada entri log duplikat dalam hasil Log Analytics saya.

Harga

Untuk mengetahui informasi harga, lihat halaman Harga Google Cloud Observability. Jika Anda merutekan data log ke layanan Google Cloud lain, lihat dokumen berikut:

Tidak ada biaya penyerapan atau penyimpanan BigQuery saat Anda mengupgrade bucket untuk menggunakan Log Analytics, lalu membuat set data tertaut. Saat membuat set data tertaut untuk bucket log, Anda tidak menyerap data log ke BigQuery. Sebagai gantinya, Anda mendapatkan akses baca ke data log yang disimpan di bucket log Anda melalui set data tertaut.

Biaya analisis BigQuery berlaku saat Anda menjalankan kueri SQL pada set data yang ditautkan ke BigQuery, yang mencakup penggunaan halaman BigQuery Studio, BigQuery API, dan alat command line BigQuery.

Blog

Untuk mengetahui informasi selengkapnya tentang Log Analytics, lihat postingan blog berikut:

Langkah berikutnya