Menganalisis data rekaman aktivitas dengan BigQuery

Dokumen ini menjelaskan cara membuat set data BigQuery tertaut untuk data pelacakan Anda, dan cara membuat kueri set data tersebut. Set data tertaut memungkinkan Anda membuat dan menjalankan kueri yang menggabungkan data observabilitas Anda dengan data bisnis lainnya. Misalnya, Anda dapat membuat kueri set data tertaut dari BigQuery Studio dan dari Data Studio. Anda juga dapat menjalankan kueri Observability Analytics di backend BigQuery.

Untuk mulai menggunakan Observability Analytics, lihat Membuat kueri dan menganalisis pelacakan.

Kapan Anda memerlukan set data tertaut

Anda tidak memerlukan set data BigQuery tertaut jika Anda ingin membuat kueri data pelacakan, atau membuat kueri data pelacakan dan log. Untuk skenario tersebut, Anda dapat menggunakan halaman Observability Analytics. Untuk mengetahui informasi tentang cara membuat kueri data log, lihat Membuat kueri dan menganalisis log dengan Observability Analytics.

Anda memerlukan set data BigQuery tertaut jika ingin melakukan salah satu hal berikut:

Tindakan sistem yang terjadi saat Anda membuat set data tertaut

Saat membuat set data tertaut, Anda akan memulai operasi yang berjalan lama. Beberapa tindakan terjadi sebagai bagian dari operasi tersebut:

  • Log audit mencatat permintaan untuk membuat link dan penyelesaian operasi.

  • Jika Akun Layanan Monitoring tidak ada, Google Cloud Observability akan membuatnya.

    Cloud Monitoring API harus diaktifkan agar akun layanan ini dapat dibuat.

  • Google Cloud Observability memerlukan akun layanan sebelum dapat membuat set data tertaut. Jika diperlukan, akun layanan akan dibuat:

  • Log audit mencatat permintaan dari pengelola agen layanan untuk memberikan peran IAM Agen Layanan Monitoring kepada Akun Layanan Monitoring .

Sebelum memulai

  1. Login ke akun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Bagian ini menjelaskan API mana yang harus diaktifkan, peran yang diperlukan untuk membuat set data tertaut, dan cara membuat set data tertaut.

Prasyarat

  1. Selesaikan langkah-langkah di bagian Sebelum memulai.

  2. Untuk mendapatkan izin yang Anda perlukan untuk membuat link di set data observabilitas, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

gcloud

Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:

  • LINK_ID: Nama set data BigQuery.
  • DATASET_ID: ID set data. Data pelacakan Anda disimpan dalam set data bernama Spans.
  • BUCKET_ID: ID bucket observabilitas. Misalnya, ID ini mungkin _Trace.
  • LOCATION: Lokasi bucket observabilitas.
  • PROJECT_ID: ID project.

Jalankan perintah gcloud beta observability buckets datasets links create:

Linux, macOS, atau Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

Perintah buat memulai operasi yang berjalan lama. Berikut adalah contoh respons saat perintah berhasil: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Untuk membuat link ke set data BigQuery, kirim permintaan ke projects.locations.buckets.datasets.links.create endpoint.

Anda harus menentukan parameter induk, yang memiliki bentuk berikut:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Kolom dalam ekspresi sebelumnya memiliki arti berikut:

  • PROJECT_ID: ID project.
  • LOCATION: Lokasi bucket observabilitas.
  • BUCKET_ID: ID bucket observabilitas. Misalnya, ID ini mungkin _Trace.
  • DATASET_ID: ID set data yang dikueri. Misalnya, ID ini mungkin Spans.

Perintah ini memerlukan parameter kueri dan isi permintaan:

  • Parameter kueri, linkId, harus ditentukan dan ditetapkan ke nama set data BigQuery. Misalnya, linkId="my_link". Nama set data BigQuery harus unik untuk project Google Cloud Anda, dan harus dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, digit, dan garis bawah.

  • Isi permintaan adalah Link objek. Nilai kolom name memiliki format berikut:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    Nilai yang Anda berikan untuk kolom name harus cocok dengan set data BigQuery tertaut yang direferensikan oleh parameter kueri.

    Kolom LINK_ID adalah nama set data BigQuery.

Responsnya adalah Operation objek. Objek ini berisi informasi tentang progres metode. Saat metode selesai, objek Operation berisi data status.

Untuk mengetahui daftar lengkap endpoint Observability API, lihat dokumentasi referensi Observability API.

Jika Anda mengalami error izin saat membuat set data tertaut, lihat Memecahkan masalah error izin.

Membuat kueri data pelacakan dari BigQuery Studio

Bagian ini menjelaskan cara membuat kueri data pelacakan dari halaman BigQuery Studio.

Untuk mempelajari biaya yang terkait dengan penggunaan BigQuery, lihat harga BigQuery.

Prasyarat

  1. Selesaikan langkah-langkah di bagian Sebelum memulai.

  2. Untuk mendapatkan izin yang Anda perlukan untuk membuat kueri set data tertaut dari BigQuery, minta administrator untuk memberi Anda peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) di project atau set data tertaut Anda. Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  3. Pastikan set data BigQuery tertaut untuk bucket observabilitas bernama _Trace ada. Jika set data tertaut tidak ada, buat set data tersebut.

Menggunakan BigQuery Studio

Untuk membuka BigQuery dari halaman Observability Analytics, lalu membuat kueri data pelacakan, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman Observability Analytics:

    Buka Observability Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Masukkan atau muat kueri. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri dan menganalisis pelacakan.

  3. Di toolbar, luaskan menu berlabel Run query atau Run on BigQuery, lalu pilih Open in BigQuery.

    Halaman BigQuery Studio akan terbuka. Di halaman ini, pernyataan FROM menentukan set data tertaut menggunakan sintaksis jalur Tabel BigQuery . Anda dapat melakukan tindakan yang didukung pada kueri, seperti mengeditnya.

    Jika opsi Open in BigQuery dinonaktifkan, berarti set data tertaut tidak ada atau Anda tidak memiliki izin yang diperlukan untuk membuka dan melihat kueri di BigQuery.

  4. Di halaman BigQuery Studio, klik Run query.

Menjalankan kueri di mesin BigQuery

Secara default, halaman Observability Analytics menjalankan kueri yang Anda tulis di mesin kueri default. Kueri yang Anda jalankan bersaing dengan semua kueri lainnya untuk mendapatkan slot. Oleh karena itu, ada kemungkinan eksekusi kueri tertunda karena slot tidak tersedia. Mesin kueri default hanya dapat membuat kueri tampilan observabilitas, tampilan di bucket log, dan tampilan analisis.

Saat Anda membuat set data tertaut, halaman Observability Analytics memungkinkan Anda memilih antara mesin kueri default dan mesin BigQuery. Jika Anda telah memesan slot BigQuery dan jika Anda memilih opsi untuk menjalankan kueri di mesin BigQuery, maka slot yang Anda pesan akan digunakan. Kueri yang dijalankan di mesin BigQuery dapat membuat kueri tampilan observabilitas, tampilan di bucket log, dan tampilan analisis. Kueri ini juga dapat menggabungkan data observabilitas Anda dengan tabel BigQuery.

Ada dua kasus penggunaan utama untuk menjalankan kueri di mesin BigQuery:

  • Anda membuat kebijakan pemberitahuan berbasis SQL. Kueri untuk kebijakan ini harus dijalankan di mesin BigQuery.

  • Anda ingin menyimpan diagram ke dasbor tempat diagram menampilkan hasil gabungan antara data observabilitas dan data bisnis lainnya.

    Klausul FROM harus menentukan tampilan di set data observabilitas atau tampilan di bucket log, dan harus ada set data tertaut untuk data yang dikueri. Untuk menggabungkan data observabilitas Anda dengan data bisnis lainnya, tambahkan pernyataan JOIN yang menentukan tabel BigQuery. Anda harus memiliki izin IAM yang diperlukan untuk membuat kueri tabel BigQuery.

Untuk mempelajari biaya yang terkait dengan penggunaan BigQuery, lihat harga BigQuery.

Prasyarat

  1. Selesaikan langkah-langkah di bagian Sebelum memulai.

  2. Untuk mendapatkan izin yang Anda perlukan untuk menjalankan kueri dari Observability Analytics menggunakan slot BigQuery, minta administrator untuk memberi Anda peran IAM berikut:

    • Observability View Accessor (roles/observability.viewAccessor) pada tampilan observabilitas yang ingin Anda kueri. Peran ini mendukung kondisi IAM, yang memungkinkan Anda membatasi pemberian ke tampilan tertentu. Jika Anda tidak melampirkan kondisi ke pemberian peran, akun utama dapat mengakses semua tampilan observabilitas.
    • Logs Viewer (roles/logging.viewer) di project Anda
    • Pengguna BigQuery (roles/bigquery.user) di project Anda
    • BigQuery Job User (roles/bigquery.jobUser) di project Anda

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  3. Pastikan set data BigQuery tertaut untuk bucket observabilitas bernama _Trace ada. Jika set data tertaut tidak ada, buat set data tersebut.

Jika Anda berencana mengonfigurasi halaman Observability Analytics untuk menjalankan kueri di slot BigQuery dan jika Anda menggunakan project dengan Kontrol Layanan Virtual Private Cloud (VPC), pastikan Anda menggunakan BigQuery Edisi Enterprise. Untuk mengetahui informasi selengkapnya, lihat Memahami edisi BigQuery.

Menggunakan mesin BigQuery

Untuk menjalankan kueri di mesin BigQuery saat menggunakan halaman Observability Analytics, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman Observability Analytics:

    Buka Observability Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Masukkan atau muat kueri. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri dan menganalisis pelacakan.

  3. Buka toolbar dan pastikan tombol berlabel Run on BigQuery ditampilkan.

    Jika toolbar menampilkan Run Query, lalu klik Settings dan pilih BigQuery.

    Tombol Run on BigQuery yang dinonaktifkan menunjukkan bahwa tidak ada set data tertaut. Untuk mengatasi kegagalan ini, buat set data BigQuery tertaut.

  4. Klik Run on BigQuery.

Langkah berikutnya