Menganalisis volume log dengan Observability Analytics

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dokumen ini menjelaskan cara menggunakan Observability Analytics untuk memperkirakan volume log entri yang dapat ditagih. Anda dapat menulis kueri yang melaporkan dan menggabungkan volume yang dapat ditagih menurut dimensi yang berbeda, seperti jenis resource atau nama aplikasi, lalu membuat diagram dan melihat hasil kueri.

Cara membuat kueri untuk volume yang dapat ditagih

Volume log entri yang dapat ditagih, yaitu ukuran yang dilaporkan ke Penagihan Cloud, tersedia melalui kolom storage_bytes. Dalam kueri, Anda dapat menggunakan kolom storage_bytes dengan cara yang sama seperti menggunakan kolom skema yang jenis datanya adalah INTEGER. Misalnya, Anda dapat menyertakannya dalam klausa SELECT, dalam pernyataan CASE, dan dalam ekspresi tabel umum. Untuk mengetahui informasi selengkapnya tentang cara membuat kueri log, lihat dokumen berikut:

• Membuat kueri dan melihat log di Observability Analytics
• Contoh kueri SQL

Karena Penagihan Cloud menggunakan volume yang dapat ditagih saat menentukan biaya, Anda dapat menulis kueri yang membantu Anda memahami sumber biaya. Misalnya, Anda dapat menulis kueri yang membantu Anda menentukan aplikasi mana yang menulis log entri terbanyak. Untuk mempelajari cara menghubungkan volume yang dapat ditagih dengan biaya, lihat bagian Cloud Logging di halaman harga Google Cloud Observability.

Volume log entri yang dapat ditagih bukanlah ukuran LogEntry objek yang dikirim ke Cloud Logging API. Volume yang dapat ditagih mencakup byte yang diperlukan untuk serialisasi dan metadata.

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum dapat menggunakan Observability Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Observability Analytics:

1. Di Google Cloud konsol, buka halaman Logs Storage:

   Buka Logs Storage

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda kueri, pastikan kolom Observability Analytics available menampilkan Open. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Observability Analytics:

• Untuk mendapatkan izin yang diperlukan untuk menggunakan Observability Analytics dan membuat kueri tampilan log, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

  • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
  • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

  Anda dapat membatasi prinsipal ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dibuat di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

  Izin ini sama dengan izin yang Anda perlukan untuk melihat log entri di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari _Default log bucket, lihat Peran Cloud Logging.

• Untuk mendapatkan izin yang diperlukan untuk membuat kueri tampilan analisis, minta administrator untuk memberi Anda peran IAM Observability Analytics User (roles/observability.analyticsUser) di project Anda.

Contoh kueri

Bagian ini memberikan contoh kueri yang menganalisis data dari satu tampilan log. Jika Anda menyimpan data di beberapa tampilan log dan ingin menghitung nilai gabungan untuk data yang disimpan dalam tampilan tersebut, Anda harus menggunakan pernyataan UNION.

Anda dapat membuat kueri log entri menggunakan halaman Observability Analytics atau di mana pun Anda dapat membuat kueri set data BigQuery, yang mencakup halaman BigQuery Studio dan Looker Studio, serta alat command line bq.

Untuk menggunakan kueri contoh, lakukan hal berikut:

• Halaman Observability Analytics: Ganti VIEW dengan nama tampilan log. Formatnya adalah project_ID.region.bucket_ID.view_ID.

  Buka Log Analytics

• Set data BigQuery: Ganti VIEW dengan jalur ke tabel di set data tertaut.

  Buka BigQuery Studio

Membuat kueri untuk volume log menurut aplikasi

Untuk menghitung total byte per hari, per aplikasi, untuk log entri yang ditulis terhadap resource Google Kubernetes Engine dan yang memiliki payload JSON, gunakan kueri berikut:

SELECT
  timestamp_trunc(timestamp,DAY) as day,
  JSON_VALUE(labels["k8s-pod/app"]) as app_id,
  SUM(storage_bytes) as total_bytes
FROM
  `VIEW`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"
GROUP BY ALL

Untuk memvisualisasikan data, Anda dapat membuat diagram.

Catatan: Kueri sebelumnya menggabungkan data dalam interval satu hari. Untuk membuat diagram yang menampilkan data selama beberapa hari, Anda mungkin perlu mengubah pemilih rentang waktu. Dalam contoh berikut, kueri mengevaluasi data selama rentang waktu 14 days.

Dalam contoh berikut, data ditampilkan sebagai diagram batang bertumpuk. Setiap batang pada diagram menampilkan jumlah total byte yang disimpan, yang diatur menurut aplikasi. Dalam contoh ini, aplikasi frontend menghasilkan data log terbanyak:

Membuat kueri untuk volume log menurut nama log

Untuk mencantumkan jumlah byte yang disimpan dan nama log untuk setiap log entri yang memiliki payload JSON dan yang ditulis terhadap resource Google Kubernetes Engine, gunakan kueri berikut:

SELECT
  log_id AS log_name,
  storage_bytes
FROM
  `VIEW`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"

Kueri sebelumnya tidak menggabungkan hasil. Sebagai gantinya, ada satu baris untuk setiap log entri, dan baris tersebut berisi nama log dan jumlah byte yang disimpan. Jika Anda membuat diagram data ini, Anda dapat memvisualisasikan bagian data log seperti yang ditulis ke log yang berbeda:

Diagram sebelumnya menunjukkan bahwa sebagian besar data log ditulis ke log bernama stdout.

Menggunakan alat command line bq untuk membuat kueri volume log menurut nama log

Anda dapat menyertakan kolom storage_bytes dalam kueri yang Anda jalankan melalui halaman BigQuery Studio atau menggunakan alat command line bq.

Kueri berikut melaporkan nama log dan jumlah byte yang disimpan untuk setiap log entri:

bq query --use_legacy_sql=false  'SELECT log_id as log_name,
  storage_bytes FROM `VIEW`'

Hasil kueri ini mirip dengan hasil berikut:

+----------+---------------+
| log_name | storage_bytes |
+----------+---------------+
| stdout   |           716 |
| stdout   |           699 |
| stdout   |           917 |
| stdout   |           704 |

Setiap baris sesuai dengan satu log entri. Nilai kolom storage_bytes adalah volume yang dapat ditagih untuk log entri tersebut.

Batasan

Kolom storage_bytes hanya tersedia jika hal berikut benar:

• Bucket log diupgrade untuk menggunakan Observability Analytics.

• Kueri Anda dijalankan di halaman Observability Analytics atau di mana pun Anda dapat membuat kueri set data BigQuery, yang mencakup halaman BigQuery Studio dan Looker Studio, serta alat command line bq.

• Log entri ditulis pada atau setelah 1 Januari 2024.