Membuat set data BigQuery tertaut di bucket log

Untuk menganalisis data log menggunakan layanan BigQuery—seperti BigQuery Studio atau Data Studio—buat set data BigQuery tertaut di bucket log Anda. Set data ini memungkinkan Anda menggabungkan data log dengan set data lainnya. Anda juga dapat membuat kebijakan pemberitahuan yang memantau hasil kueri SQL.

Set data BigQuery tertaut adalah pointer hanya baca ke bucket log Anda. Set data ini memungkinkan Anda menggunakan layanan BigQuery untuk membuat kueri data log tanpa menduplikasi data atau membayar penyimpanan terpisah di BigQuery.

Anda tidak dapat membuat set data BigQuery tertaut untuk tampilan analisis.

Jika Anda belum memahami Observability Analytics, lihat Ringkasan Observability Analytics.

Kapan Anda memerlukan set data BigQuery tertaut

Anda tidak memerlukan set data BigQuery tertaut jika ingin membuat kueri data log, atau membuat kueri data log dan data trace. Untuk skenario tersebut, Anda dapat menggunakan halaman Observability Analytics. Anda juga dapat menyimpan dan membagikan kueri, serta menyimpan kueri ke dasbor kustom. Untuk mengetahui informasi tentang cara membuat kueri data trace, lihat Membuat kueri dan menganalisis trace.

Anda memerlukan set data BigQuery tertaut jika ingin melakukan salah satu hal berikut:

Set data BigQuery tertaut untuk bucket log memungkinkan BigQuery membaca data di bucket log.

Cara bucket log dan tampilan log dipetakan ke objek BigQuery

Saat Anda membuat set data BigQuery tertaut untuk bucket log, set data baru akan tersedia untuk BigQuery. Anda menentukan nama set data BigQuery tertaut selama proses penautan. Tampilan log dalam bucket log akan otomatis dipetakan ke tampilan virtual dalam set data. Nama tampilan virtual sama dengan tampilan log yang sesuai.

Misalnya, project my_project memiliki bucket log bernama example, dan bucket log ini memiliki tampilan log bernama _AllLogs. Jika Anda membuat set data BigQuery tertaut untuk bucket log tersebut dengan nama my_dataset, halaman Explorer BigQuery akan menampilkan entri my_project. Turunan entri my_project adalah set data dengan nama my_dataset, dan set data tersebut mencantumkan tampilan virtual bernama _AllLogs.

Implikasi kontrol akses saat menggunakan set data BigQuery tertaut

Saat akun utama membuat kueri tampilan pada set data BigQuery tertaut, kueri tersebut akan berjalan melalui lapisan izin BigQuery, bukan lapisan izin Cloud Logging. Oleh karena itu, peran dan izin BigQuery yang diberikan kepada akun utama pada set data BigQuery tertaut menentukan apakah akun utama tersebut dapat membuat kueri set data.

Anda tidak dapat membatasi akun utama ke tampilan virtual tertentu dalam set data tertaut. Jika akun utama telah diberi akses ke set data BigQuery tertaut, akun utama tersebut dapat membuat kueri setiap tampilan dalam set data tersebut.

Tindakan sistem yang terjadi saat Anda membuat set data tertaut

Saat Anda membuat link pada set data observabilitas, hal berikut akan terjadi:

  • Google Cloud Observability mungkin membuat akun layanan berikut atau mengubah pemberian peran IAM-nya:

  • Log audit mencatat permintaan untuk membuat link dan permintaan dari pengelola agen layanan untuk memberikan peran IAM Agen Layanan Monitoring kepada Akun Layanan Monitoring. Log ini juga mencatat penyelesaian operasi yang berjalan lama.

Sebelum memulai

  1. Sign in to your Google Cloud account. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Untuk mendapatkan izin yang diperlukan guna membuat set data tertaut, minta administrator untuk memberi Anda peran IAM Penulis Konfigurasi Log (roles/logging.configWriter) pada project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  7. Pastikan bucket log Anda telah diupgrade untuk menggunakan Observability Analytics:

    1. Di Google Cloud konsol, buka halaman Logs Storage:

      Buka Logs Storage

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Jika bucket log menampilkan Upgrade, klik Upgrade dan selesaikan dialog.

Jika Anda ingin menggunakan kemampuan BigQuery untuk menganalisis data log, upgrade bucket log untuk menggunakan Observability Analytics, lalu buat set data tertaut. Dengan konfigurasi ini, Logging akan menyimpan data log Anda, tetapi BigQuery dapat membaca data log tersebut.

Google Cloud Konsol

Untuk membuat link ke set data BigQuery untuk bucket log yang ada, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket log dan pastikan kolom Observability Analytics available menampilkan Open.

    Jika kolom ini menampilkan Upgrade, berarti bucket log belum di upgrade untuk menggunakan Observability Analytics. Konfigurasi Observability Analytics:

    1. Klik Upgrade.
    2. Klik Confirm di dialog.

    Setelah upgrade selesai, lanjutkan ke langkah berikutnya.

  3. Di bucket log, klik More, lalu klik Edit bucket.

    Dialog Edit bucket log akan terbuka.

  4. Pilih Create a new BigQuery dataset that links to this bucket , lalu masukkan nama untuk set data baru.

    Nama set data harus unik untuk setiap Google Cloud project. Jika Anda memasukkan nama set data yang ada, Anda akan menerima error berikut: Dataset name must be unique in the selected region.

  5. Klik Done , lalu klik Update bucket.

    Setelah Logging menampilkan nama set data tertaut di halaman Logs Storage, mungkin perlu waktu beberapa menit sebelum BigQuery mengenali set data tersebut.

gcloud

Untuk membuat set data tertaut untuk bucket log yang diupgrade untuk menggunakan Observability Analytics, jalankan perintah gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk Google Cloud project.

Perintah links create bersifat asinkron. Hasil metode asinkron adalah objek Operation, dan berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Perintah links create memerlukan waktu beberapa menit untuk diselesaikan.

Misalnya, perintah berikut akan membuat set data tertaut bernama mylink untuk bucket log bernama my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Nama set data harus unik untuk setiap Google Cloud project. Jika Anda mencoba membuat set data dengan nama yang sama dengan set data yang ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Observability Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

REST

Untuk membuat set data BigQuery tertaut untuk bucket log yang ada yang diupgrade untuk menggunakan Observability Analytics, panggil metode asinkron projects.locations.buckets.links.create dari Cloud Logging API.

Siapkan argumen ke metode sebagai berikut:

  1. Buat isi permintaan untuk perintah create. Isi permintaan diformat sebagai objek Link.
  2. Untuk parameter kueri perintah, gunakan linkId=LINK_ID. LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk Google Cloud project.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Saat metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Metode links.create memerlukan waktu beberapa menit untuk diselesaikan.

Nama set data harus unik untuk setiap Google Cloud project. Jika Anda mencoba membuat set data dengan nama yang sama dengan set data yang ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Observability Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

Langkah berikutnya