Menganalisis data rekaman aktivitas dengan BigQuery

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dokumen ini menjelaskan cara membuat set data BigQuery tertaut untuk data rekaman aktivitas, dan cara membuat kueri set data tersebut. Set data tertaut memungkinkan Anda membuat dan menjalankan kueri yang menggabungkan data pengamatan dengan data bisnis lainnya. Misalnya, Anda dapat mengkueri set data tertaut dari BigQuery Studio dan dari Looker Studio. Anda juga dapat menjalankan kueri Log Analytics di backend BigQuery.

Untuk mulai menggunakan Log Analytics, lihat Membuat kueri dan menganalisis rekaman aktivitas.

Saat Anda memerlukan set data tertaut

Anda tidak memerlukan set data BigQuery tertaut saat ingin membuat kueri data rekaman aktivitas, atau membuat kueri data rekaman aktivitas dan log. Untuk skenario tersebut, Anda dapat menggunakan halaman Log Analytics. Untuk mengetahui informasi tentang cara membuat kueri data log, lihat Membuat kueri dan menganalisis log dengan Log Analytics.

Anda memerlukan set data BigQuery yang ditautkan saat ingin melakukan salah satu hal berikut:

• Gabungkan data rekaman aktivitas dengan set data BigQuery lainnya.
• Kueri data rekaman aktivitas dari layanan lain seperti halaman BigQuery Studio atau Looker Studio.
• Menjalankan kueri dari halaman Log Analytics di mesin BigQuery.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Membuat set data BigQuery tertaut

Bagian ini menjelaskan API yang harus diaktifkan, peran yang diperlukan untuk membuat set data tertaut, dan cara membuat set data tertaut.

Prasyarat

1. Selesaikan langkah-langkah di bagian Sebelum memulai.

2. Untuk mendapatkan izin yang Anda perlukan untuk membuat link pada set data kemampuan pengamatan, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

   • Editor Kemampuan Observasi (roles/observability.editor)
   • Pengguna BigQuery (roles/bigquery.user)
   • Logs Viewer (roles/logging.viewer)

   Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

   Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat link pada set data observasi

REST

Untuk membuat link ke set data BigQuery, kirim permintaan ke endpoint projects.locations.buckets.datasets.links.create.

Anda harus menentukan parameter induk, yang memiliki bentuk berikut:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Kolom dalam ekspresi sebelumnya memiliki arti berikut:

• PROJECT_ID: ID project.
• LOCATION: Lokasi bucket pengamatan.
• BUCKET_ID: ID bucket kemampuan observasi. Misalnya, ID ini mungkin _Trace.
• DATASET_ID: ID set data yang dikueri. Misalnya, ID ini mungkin Spans.

Perintah ini memerlukan parameter kueri dan isi permintaan:

• Parameter kueri, linkId, harus ditentukan dan disetel ke nama set data BigQuery. Contoh, linkId="my_link". Nama set data BigQuery harus unik untuk project Google Cloud Anda, dan harus dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, dan garis bawah.

• Isi permintaan adalah objek Link. Nilai kolom name memiliki format berikut:

  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID
  

  Nilai yang Anda berikan untuk kolom name harus cocok dengan set data BigQuery tertaut yang dirujuk oleh parameter kueri.

  Kolom LINK_ID adalah nama set data BigQuery.

Responsnya adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi data status.

Untuk daftar lengkap endpoint Observability API, lihat dokumentasi referensi Observability API.

Membuat kueri data rekaman aktivitas dari BigQuery Studio

Bagian ini menjelaskan cara membuat kueri data rekaman aktivitas dari halaman BigQuery Studio.

Untuk mempelajari biaya yang terkait dengan penggunaan BigQuery, lihat harga BigQuery.

Prasyarat

1. Selesaikan langkah-langkah di bagian Sebelum memulai.

2. Untuk mendapatkan izin yang diperlukan untuk membuat kueri set data tertaut dari BigQuery, minta administrator untuk memberi Anda peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) di project atau set data tertaut Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

   Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

3. Pastikan set data BigQuery tertaut untuk bucket pengamatan bernama _Trace ada. Jika set data tertaut tidak ada, buat set data tersebut.

Menggunakan BigQuery Studio

Untuk membuka BigQuery dari halaman Log Analytics lalu membuat kueri data rekaman aktivitas, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Log Analytics:

   Buka Log Analytics

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Masukkan atau muat kueri. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri dan menganalisis rekaman aktivitas.

3. Di toolbar, luaskan menu berlabel Run query atau Run on BigQuery, lalu pilih Open in BigQuery.

   Halaman BigQuery Studio akan terbuka. Di halaman ini, pernyataan FROM menentukan set data tertaut menggunakan Sintaksis jalur tabel BigQuery. Anda dapat melakukan tindakan yang didukung pada kueri, seperti mengeditnya.

   Jika opsi Buka di BigQuery dinonaktifkan, berarti set data tertaut tidak ada atau Anda tidak memiliki izin yang diperlukan untuk membuka dan melihat kueri di BigQuery.

4. Di halaman BigQuery Studio, klik Run query.

Menjalankan kueri di mesin BigQuery

Secara default, halaman Log Analytics menjalankan kueri yang Anda tulis di mesin kueri default. Kueri yang Anda jalankan bersaing dengan semua kueri lainnya untuk mendapatkan slot. Oleh karena itu, eksekusi kueri mungkin tertunda karena slot tidak tersedia. Mesin kueri default hanya dapat membuat kueri tampilan pengamatan, tampilan pada bucket log, dan tampilan analisis.

Saat Anda membuat set data tertaut, halaman Log Analytics memungkinkan Anda memilih antara mesin kueri default dan mesin BigQuery. Jika Anda telah mencadangkan slot BigQuery dan jika Anda memilih opsi untuk menjalankan kueri di mesin BigQuery, maka slot yang dicadangkan akan digunakan. Kueri yang dijalankan di mesin BigQuery dapat mengkueri tampilan kemampuan pengamatan, tampilan di bucket log, dan tampilan analisis. Kueri ini juga dapat menggabungkan data pengamatan Anda dengan tabel BigQuery.

Ada dua kasus penggunaan utama untuk menjalankan kueri di mesin BigQuery:

• Anda membuat kebijakan pemberitahuan berbasis SQL. Kueri untuk kebijakan ini harus dijalankan oleh mesin BigQuery.

  Catatan: Anda tidak dapat mengonfigurasi kebijakan pemberitahuan berbasis SQL untuk membuat kueri tampilan pada set data kemampuan pengamatan.

• Anda ingin menyimpan diagram ke dasbor tempat diagram menampilkan hasil gabungan antara data observabilitas dan data bisnis lainnya.

  Klausa FROM harus menentukan tampilan pada set data observasi atau tampilan pada bucket log, dan harus ada juga set data tertaut untuk data yang dibuat kuerinya. Untuk menggabungkan data pengamatan dengan data bisnis lainnya, tambahkan pernyataan JOIN yang menentukan tabel BigQuery. Anda harus memiliki izin IAM yang diperlukan untuk mengkueri tabel BigQuery.

Untuk mempelajari biaya yang terkait dengan penggunaan BigQuery, lihat harga BigQuery.

Prasyarat

1. Selesaikan langkah-langkah di bagian Sebelum memulai.

2. Untuk mendapatkan izin yang Anda perlukan untuk menjalankan kueri dari Log Analytics menggunakan slot BigQuery, minta administrator untuk memberi Anda peran IAM berikut:

   • Pengakses Tampilan Observasi (roles/observability.viewAccessor) pada tampilan observasi yang ingin Anda kueri. Peran ini mendukung kondisi IAM, yang memungkinkan Anda membatasi pemberian akses ke tampilan tertentu. Jika Anda tidak melampirkan kondisi pada pemberian peran, akun utama dapat mengakses semua tampilan kemampuan pengamatan.
   • Logs Viewer (roles/logging.viewer) di project Anda
   • Pengguna BigQuery (roles/bigquery.user) di project Anda
   • BigQuery Job User (roles/bigquery.jobUser) di project Anda

   Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

   Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

3. Pastikan set data BigQuery tertaut untuk bucket pengamatan bernama _Trace ada. Jika set data tertaut tidak ada, buat set data tersebut.

Jika Anda berencana mengonfigurasi halaman Log Analytics untuk menjalankan kueri pada slot BigQuery dan jika Anda menggunakan project dengan Kontrol Layanan Virtual Private Cloud (VPC), pastikan Anda menggunakan BigQuery Enterprise Edition. Untuk mengetahui informasi selengkapnya, lihat Memahami edisi BigQuery.

Menggunakan mesin BigQuery

Untuk menjalankan kueri di mesin BigQuery saat menggunakan halaman Log Analytics, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Log Analytics:

   Buka Log Analytics

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Masukkan atau muat kueri. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri dan menganalisis rekaman aktivitas.

3. Buka toolbar dan pastikan tombol berlabel Run on BigQuery ditampilkan.

   Jika toolbar menampilkan Run Query, klik Settings, lalu pilih BigQuery.

   Tombol Jalankan di BigQuery yang dinonaktifkan menunjukkan bahwa tidak ada set data tertaut. Untuk mengatasi kegagalan ini, buat set data BigQuery tertaut.

4. Klik Run on BigQuery.

Langkah berikutnya

• Pantau hasil kueri SQL Anda dengan kebijakan pemberitahuan.
• Menyimpan dan membagikan kueri SQL.
• Membuat diagram hasil kueri SQL.
• Contoh kueri SQL.