Membuat set data BigQuery tertaut di bucket log

Set data BigQuery tertaut di bucket log memungkinkan Anda membuat kueri dan menganalisis data log menggunakan layanan BigQuery seperti BigQuery Studio dan Data Studio. Karena set data BigQuery tertaut adalah pointer hanya baca ke bucket log, Anda dapat menggabungkan data log dengan set data lain dan membuat kebijakan pemberitahuan berbasis SQL tanpa menduplikasi data atau membayar penyimpanan BigQuery terpisah.

Anda tidak dapat membuat set data BigQuery tertaut untuk tampilan analisis. Jika Anda belum memahami Observability Analytics, lihat Ringkasan Observability Analytics.

Kapan Anda memerlukan set data BigQuery tertaut

Anda tidak memerlukan set data BigQuery tertaut saat ingin mengkueri data log, atau mengkueri data log dan trace. Untuk skenario tersebut, Anda dapat menggunakan halaman Observability Analytics. Anda juga dapat menyimpan dan membagikan kueri, serta menyimpan kueri ke dasbor kustom. Untuk mengetahui informasi tentang cara membuat kueri data trace, lihat Membuat kueri dan menganalisis trace.

Anda memerlukan set data BigQuery tertaut jika ingin melakukan salah satu hal berikut:

Set data BigQuery tertaut untuk bucket log memungkinkan BigQuery membaca data di bucket log.

Cara bucket log dan tampilan log dipetakan ke objek BigQuery

Saat Anda membuat set data BigQuery tertaut untuk bucket log, set data baru akan tersedia untuk BigQuery. Anda menentukan nama set data BigQuery tertaut selama proses penautan. Setiap tampilan log dalam bucket log akan otomatis dipetakan ke tampilan virtual dalam set data. Nama tampilan virtual sama dengan tampilan log yang sesuai.

Misalnya, project my_project memiliki bucket log bernama example, dan bucket log ini memiliki tampilan log bernama _AllLogs. Jika Anda membuat set data BigQuery tertaut untuk bucket log tersebut dengan nama my_dataset, maka halaman Explorer BigQuery akan menampilkan entri my_project. Turunan dari entri my_project adalah set data dengan nama my_dataset, dan set data tersebut mencantumkan tampilan virtual bernama _AllLogs.

Implikasi kontrol akses saat menggunakan set data BigQuery tertaut

Saat akun utama mengkueri tampilan pada set data BigQuery yang ditautkan, kueri tersebut berjalan melalui lapisan izin BigQuery, bukan lapisan izin Cloud Logging. Oleh karena itu, peran dan izin BigQuery yang diberikan kepada akun utama di set data BigQuery tertaut menentukan apakah akun utama tersebut dapat membuat kueri set data.

Anda tidak dapat membatasi akun utama ke tampilan virtual tertentu dalam set data tertaut. Jika akun utama telah diberi akses ke set data BigQuery tertaut, akun utama tersebut dapat mengkueri setiap tampilan dalam set data tersebut.

Tindakan sistem yang terjadi saat Anda membuat set data tertaut

Saat Anda membuat link di set data kemampuan observasi, hal berikut akan terjadi:

  • Google Cloud Observability dapat membuat akun layanan berikut atau mengubah pemberian peran IAM-nya:

  • Log audit mencatat permintaan untuk membuat link dan permintaan dari pengelola agen layanan untuk memberikan peran IAM Agen Layanan Monitoring kepada Akun Layanan Monitoring. Log ini juga mencatat penyelesaian operasi yang berjalan lama.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Untuk mendapatkan izin yang diperlukan untuk membuat set data tertaut, minta administrator untuk memberi Anda peran IAM Logs Configuration Writer (roles/logging.configWriter) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  7. Pastikan bucket log Anda telah diupgrade untuk menggunakan Observability Analytics:

    1. Di konsol Google Cloud , buka halaman Logs Storage:

      Buka Logs Storage

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Jika bucket log menampilkan Upgrade, klik Upgrade dan selesaikan dialog.

Jika Anda ingin menggunakan kemampuan BigQuery untuk menganalisis data log, upgrade bucket log untuk menggunakan Observability Analytics, lalu buat set data tertaut. Dengan konfigurasi ini, Logging menyimpan data log Anda, tetapi BigQuery dapat membaca data log tersebut.

Konsol Google Cloud

Untuk membuat link ke set data BigQuery untuk bucket log yang ada, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket log dan pastikan kolom Observability Analytics available menampilkan Open.

    Jika kolom ini menampilkan Upgrade, berarti bucket log belum diupgrade untuk menggunakan Observability Analytics. Konfigurasikan Observability Analytics:

    1. Klik Upgrade.
    2. Klik Confirm di dialog.

    Setelah upgrade selesai, lanjutkan ke langkah berikutnya.

  3. Di bucket log, klik More, lalu klik Edit bucket.

    Dialog Edit log bucket akan terbuka.

  4. Pilih Create a new BigQuery dataset that links to this bucket dan masukkan nama untuk set data baru.

    Nama set data harus unik untuk setiap project Google Cloud . Jika Anda memasukkan nama set data yang sudah ada, Anda akan menerima error berikut: Dataset name must be unique in the selected region.

  5. Klik Done, lalu klik Update bucket.

    Setelah Logging menampilkan nama set data tertaut di halaman Logs Storage, mungkin perlu waktu beberapa menit sebelum BigQuery mengenali set data tersebut.

gcloud

Untuk membuat set data tertaut untuk bucket log yang diupgrade agar dapat menggunakan Observability Analytics, jalankan perintah gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Perintah links create bersifat asinkron. Hasil dari metode asinkron adalah objek Operation, dan berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Perintah links create memerlukan waktu beberapa menit hingga selesai.

Misalnya, perintah berikut akan membuat set data tertaut bernama mylink untuk bucket log bernama my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Nama set data harus unik untuk setiap project Google Cloud . Jika Anda mencoba membuat set data dengan nama yang sama dengan set data yang sudah ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Observability Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

REST

Untuk membuat set data BigQuery tertaut untuk bucket log yang ada yang diupgrade menggunakan Observability Analytics, panggil metode projects.locations.buckets.links.create asinkron dari Cloud Logging API.

Siapkan argumen untuk metode ini sebagai berikut:

  1. Buat isi permintaan untuk perintah create. Isi permintaan diformat sebagai objek Link.
  2. Untuk parameter kueri perintah, gunakan linkId=LINK_ID. LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Metode links.create memerlukan waktu beberapa menit hingga selesai.

Nama set data harus unik untuk setiap project Google Cloud . Jika Anda mencoba membuat set data dengan nama yang sama dengan set data yang sudah ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Observability Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

Langkah berikutnya