Mengonfigurasi bucket log

Anda dapat membuat, melihat, dan mengelola bucket Cloud Logging untuk menyimpan dan memusatkan data log menggunakan konsol Google Cloud , Google Cloud CLI, atau Logging API. Anda juga dapat mengonfigurasi periode retensi dan mengunci bucket untuk memenuhi persyaratan kepatuhan.

Untuk menganalisis data log Anda dengan Observability Analytics, yang menyediakan antarmuka SQL, upgrade bucket log Anda. Antarmuka ini memungkinkan Anda membuat kueri data log serta menggabungkan data log dan trace.

Untuk menganalisis data log dengan layanan BigQuery, buat set data BigQuery tertaut di bucket log Anda. Set data ini bersifat hanya baca dan dikueri dengan cara yang sama seperti set data BigQuery lainnya. Atau, Anda dapat mengarahkan entri log langsung ke BigQuery.

Untuk mengetahui informasi konseptual, lihat Menyimpan entri log.

Sebelum memulai

Konfigurasikan project, peran IAM, dan pilih antarmuka yang ingin Anda gunakan.

Mengonfigurasi project dan peran Anda

Untuk mulai menggunakan bucket, lakukan hal berikut:

Pilih antarmuka yang ingin Anda gunakan

Konsol Google Cloud

Saat menggunakan konsol Google Cloud untuk mengakses layanan dan API Google Cloud , Anda tidak perlu menyiapkan autentikasi.

gcloud

Di konsol Google Cloud , aktifkan Cloud Shell.

Aktifkan Cloud Shell

Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

    Instal Google Cloud CLI.

    Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Membuat bucket

Petunjuk ini mengasumsikan bahwa Anda menggunakan enkripsi yang dikelola Google. Jika Anda lebih memilih untuk menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), lihat Mengonfigurasi CMEK untuk penyimpanan log.

Anda dapat membuat maksimum 100 bucket per projectGoogle Cloud . Anda tidak dapat membuat bucket log di folder atau organisasi.

Untuk membuat bucket log yang ditentukan pengguna untuk project Google Cloud Anda, lakukan hal berikut:

Konsol Google Cloud

Untuk membuat bucket log di project Google Cloud Anda, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Klik Create log bucket.

  3. Masukkan Name dan Description untuk bucket Anda.

  4. Opsional: Upgrade bucket Anda untuk menggunakan Observability Analytics.

    1. Pilih Upgrade untuk menggunakan Observability Analytics.

      Saat mengupgrade bucket untuk menggunakan Observability Analytics, Anda dapat mengkueri log di halaman Observability Analytics menggunakan kueri SQL. Anda juga dapat terus melihat log menggunakan Logs Explorer.

    2. Opsional: Untuk melihat log Anda di BigQuery, pilih Create a new BigQuery dataset that links to this bucket dan masukkan nama set data yang unik.

      Jika Anda memilih opsi ini, BigQuery dapat membaca data yang disimpan di bucket log Anda. Sekarang Anda dapat membuat kueri di antarmuka BigQuery tempat Anda dapat menggabungkan data log, dan juga mengakses data dari alat lain seperti Data Studio dan Looker.

  5. Untuk memilih region penyimpanan log Anda, klik menu Select log bucket region, lalu pilih region.

  6. Opsional: Untuk menetapkan periode retensi kustom untuk log di bucket, klik Berikutnya.

    Di kolom Retention period, masukkan jumlah hari, antara 1 hari dan 3650 days, yang Anda inginkan agar Cloud Logging mempertahankan log Anda. Jika Anda tidak menyesuaikan periode retensi, defaultnya adalah 30 days.

    Anda juga dapat memperbarui periode retensi data untuk bucket log setelah membuatnya.

  7. Klik Create bucket.

    Setelah bucket log dibuat, Logging akan mengupgrade bucket dan membuat link set data, jika opsi ini dipilih.

    Mungkin perlu waktu beberapa saat untuk menyelesaikan langkah-langkah ini.

gcloud

Untuk hanya membuat bucket log, jalankan perintah gcloud logging buckets create. Jika Anda ingin mengupgrade bucket log untuk menggunakan Observability Analytics, sertakan flag --enable-analytics dan --async, dan pastikan Anda menetapkan variabel LOCATION ke wilayah yang didukung:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

Flag --async memaksa perintah menjadi asinkron. Hasil dari metode asinkron adalah objek Operation; objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi informasi tentang keberhasilan atau kegagalan permintaan. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Jika Anda tidak ingin mengupgrade bucket log untuk menggunakan Observability Analytics, hapus flag --enable-analytics dan --async.

Misalnya, jika Anda ingin membuat bucket dengan BUCKET_ID my-bucket di region global, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Misalnya, untuk membuat bucket dengan my-upgraded-bucket BUCKET_ID di lokasi global, lalu mengupgrade bucket log untuk menggunakan Observability Analytics, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

Untuk membuat bucket, gunakan metode projects.locations.buckets.create atau projects.locations.buckets.createAsync. Siapkan argumen untuk metode ini sebagai berikut:

  1. Tetapkan parameter parent sebagai resource tempat bucket akan dibuat: projects/PROJECT_ID/locations/LOCATION

    Variabel LOCATION mengacu pada region tempat Anda ingin menyimpan log.

    Misalnya, jika Anda ingin membuat bucket untuk project my-project di region global, parameter parent Anda akan terlihat seperti ini: projects/my-project/locations/global

  2. Tetapkan parameter bucketId; misalnya, my-bucket.

  3. Lakukan salah satu tindakan berikut:

    • Untuk membuat bucket log, lalu mengupgrade bucket log agar dapat menggunakan Observability Analytics:

      1. Tetapkan boolean LogBucket.analyticsEnabled ke true.

      2. Panggil metode asinkron projects.locations.buckets.createAsync untuk membuat bucket.

        Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

        Metode createAsync memerlukan waktu beberapa menit hingga selesai. Metode ini tidak menghasilkan pesan error atau gagal saat boolean analyticsEnabled ditetapkan ke true.

    • Jika tidak, panggil metode sinkron projects.locations.buckets.create untuk membuat bucket.

Setelah membuat bucket, buat sink untuk merutekan entri log ke bucket Anda dan konfigurasikan tampilan log untuk mengontrol siapa yang dapat mengakses log di bucket baru Anda dan log mana yang dapat diakses oleh mereka. Anda juga dapat memperbarui bucket untuk mengonfigurasi retensi kustom dan kolom yang dibatasi.

Mencantumkan dan melihat detail bucket log

Bagian ini menjelaskan cara mencantumkan dan melihat detail bucket log dalam project, folder, atau organisasi.

Membuat daftar bucket

Untuk mencantumkan bucket log yang terkait dengan project Google Cloud , dan untuk melihat detail seperti setelan retensi, lakukan hal berikut:

Konsol Google Cloud

Di konsol Google Cloud , buka halaman Logs Storage:

Buka Logs Storage

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Tabel bernama Log buckets mencantumkan bucket yang terkait dengan projectGoogle Cloud saat ini.

Tabel ini mencantumkan atribut berikut untuk setiap bucket log:

  • Name: Nama bucket log.
  • Description: Deskripsi bucket.
  • Periode retensi data: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • Region: Lokasi geografis tempat data bucket disimpan.
  • Status: Apakah bucket dikunci atau tidak dikunci.

Jika bucket menunggu penghapusan oleh Cloud Logging, entri tabelnya akan dianotasi dengan simbol peringatan .

gcloud

Jalankan perintah gcloud logging buckets list:

gcloud logging buckets list

Anda akan melihat atribut berikut untuk bucket log:

  • LOCATION: Region tempat data bucket disimpan.
  • BUCKET_ID: Nama bucket log.
  • RETENTION_DAYS: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • LIFECYCLE_STATE: Menunjukkan apakah bucket sedang menunggu penghapusan oleh Cloud Logging.
  • LOCKED: Apakah bucket terkunci atau tidak terkunci.
  • CREATE_TIME: Stempel waktu yang menunjukkan kapan bucket dibuat.
  • UPDATE_TIME: Stempel waktu yang menunjukkan kapan bucket terakhir diubah.

Anda juga dapat melihat atribut untuk satu bucket saja. Misalnya, untuk melihat detail bucket log _Default di region global, jalankan perintah gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Untuk mencantumkan bucket log yang terkait dengan project Google Cloud , gunakan projects.locations.buckets.list di Logging API.

Melihat detail bucket

Detail bucket log mencakup nama, deskripsi, lokasi, dan periode retensi. Anda juga dapat melihat informasi tentang kapan bucket log dibuat dan terakhir diperbarui, serta nama set data BigQuery yang ditautkan, jika ada.

Untuk melihat detail satu bucket log, lakukan hal berikut:

Konsol Google Cloud

Di konsol Google Cloud , buka halaman Logs Storage:

Buka Logs Storage

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Di bucket log, klik More, lalu pilih View bucket details.

Dialog ini mencantumkan atribut berikut untuk bucket log:

  • Name: Nama bucket log.
  • Description: Deskripsi bucket log.
  • Periode retensi data: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • Region: Lokasi geografis tempat data bucket disimpan.
  • Observability Analytics: Menunjukkan apakah bucket Anda diupgrade untuk menggunakan Observability Analytics.
  • Analisis BigQuery: Menunjukkan apakah set data BigQuery ditautkan ke bucket Anda.
  • Set data BigQuery: Menyediakan link ke set data BigQuery Anda, yang akan terbuka di halaman BigQuery Studio. Tanggal penautan BigQuery diaktifkan juga ditampilkan.

gcloud

Jalankan perintah gcloud logging buckets describe.

Misalnya, perintah berikut melaporkan detail bucket _Default:

gcloud logging buckets describe _Default --location=global

Anda akan melihat atribut berikut untuk bucket log:

  • createTime: Stempel waktu yang menunjukkan kapan bucket dibuat.
  • description: Deskripsi bucket log.
  • lifecycleState: Menunjukkan apakah bucket sedang menunggu penghapusan oleh Cloud Logging.
  • name: Nama bucket log.
  • retentionDays: Jumlah hari data bucket akan disimpan oleh Cloud Logging.
  • updateTime: Stempel waktu yang menunjukkan kapan bucket terakhir diubah.

REST

Untuk melihat detail satu bucket log, gunakan projects.locations.buckets.get di Logging API.

Mengelola bucket

Bagian ini menjelaskan cara mengelola bucket log menggunakan Google Cloud CLI atau konsol Google Cloud .

Mengupdate bucket

Untuk memperbarui properti bucket, seperti deskripsi atau periode retensi, lakukan hal berikut:

Konsol Google Cloud

Untuk memperbarui properti bucket, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk bucket yang ingin Anda perbarui, klik More.

  3. Pilih Edit bucket.

  4. Edit bucket sesuai kebutuhan.

  5. Klik Update bucket.

gcloud

Untuk memperbarui properti bucket, jalankan perintah gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Contoh:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Untuk memperbarui properti bucket, gunakan projects.locations.buckets.patch di Logging API.

Mengonfigurasi retensi kustom

Saat membuat bucket log, Anda dapat menyesuaikan periode penyimpanan log oleh Cloud Logging di bucket tersebut. Anda juga dapat mengonfigurasi periode retensi data untuk bucket log _Default saat bucket log tersebut berada dalam project.

Anda tidak dapat mengubah periode retensi data bucket log _Required. Anda juga tidak dapat memperpanjang periode retensi data bucket log yang ada di folder atau organisasi. Namun, Anda dapat membuat sink log untuk merutekan entri log level folder atau organisasi ke bucket log yang ada dalam project, lalu mengonfigurasi periode retensi data bucket log tersebut.

Jika periode retensi data sebuah bucket log dipersingkat, akan ada masa tenggang 7 hari untuk mengamankan log yang telah habis masa berlakunya agar tidak dihapus. Anda tidak dapat membuat kueri atau melihat log yang telah habis masa berlakunya. Namun, selama periode 7 hari ini, Anda dapat memulihkan akses penuh dengan memperpanjang periode retensi bucket. Log yang disimpan selama masa tenggang ini mengurangi biaya retensi Anda.

Penerapan retensi adalah proses yang memiliki konsistensi tertunda. Jika Anda menulis entri log ke bucket log saat entri log tersebut lebih lama dari periode retensi bucket, Anda mungkin dapat melihat entri log ini secara singkat. Misalnya, jika Anda mengirim entri log yang berusia 10 hari ke bucket log dengan periode retensi 7 hari, entri log tersebut akan disimpan dan pada akhirnya dihapus. Entri log ini tidak berkontribusi pada biaya retensi Anda. Indeks ini termasuk dalam biaya penyimpanan Anda. Untuk meminimalkan biaya penyimpanan, jangan menulis entri log yang lebih lama dari periode retensi bucket Anda.

Untuk memperbarui periode retensi data untuk bucket log kustom atau untuk bucket log _Default yang ada dalam project, lakukan hal berikut:

Konsol Google Cloud

Untuk memperbarui periode retensi bucket log, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk bucket yang ingin Anda perbarui, klik More, lalu pilih Edit bucket.

  3. Di kolom Retention, masukkan jumlah hari, antara 1 hari dan3650 days, yang Anda inginkan agar Cloud Logging mempertahankan log Anda.

  4. Klik Update bucket. Periode retensi baru Anda akan muncul di daftar Bucket log.

gcloud

Untuk memperbarui periode retensi data untuk bucket log yang ditentukan pengguna atau untuk bucket log _Default yang ada dalam project, jalankan perintah gcloud logging buckets update, setelah menetapkan nilai untuk RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Misalnya, untuk mempertahankan log di bucket _Default di lokasi global selama setahun, perintah Anda akan terlihat seperti berikut:

gcloud logging buckets update _Default --location=global --retention-days=365

Jika Anda memperpanjang periode retensi bucket, aturan retensi akan berlaku untuk ke depannya dan tidak berlaku surut. Log tidak dapat dipulihkan setelah periode retensi yang berlaku berakhir.

Mengunci bucket

Saat mengunci bucket agar tidak diupdate, Anda juga mengunci kebijakan retensi bucket. Setelah kebijakan retensi dikunci, Anda tidak dapat menghapus bucket hingga setiap entri log dalam bucket memenuhi periode retensi bucket. Jika Anda ingin mencegah penghapusan project yang berisi bucket log terkunci secara tidak sengaja, tambahkan lien ke project tersebut. Untuk mempelajari lebih lanjut, lihat Melindungi project dengan lien.

Untuk mencegah siapa pun memperbarui atau menghapus bucket log, kunci bucket. Untuk mengunci bucket, lakukan hal berikut:

Konsol Google Cloud

Konsol Google Cloud tidak mendukung penguncian bucket log.

gcloud

Untuk mengunci bucket, jalankan perintah gcloud logging buckets update dengan flag --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Contoh:

gcloud logging buckets update my-bucket --location=global --locked

REST

Untuk mengunci atribut bucket, gunakan projects.locations.buckets.patch di Logging API. Tetapkan parameter locked ke true.

Menghapus bucket

Anda dapat menghapus bucket log yang memenuhi salah satu kondisi berikut:

  • Bucket log tidak terkunci.
  • Bucket log dikunci dan semua entri log di bucket log telah memenuhi periode retensi bucket.

Anda tidak dapat menghapus bucket log dalam salah satu situasi berikut:

  • Bucket log dikunci dari update dan menyimpan entri log yang belum memenuhi periode retensi bucket.

  • Ada satu atau beberapa link di bucket log. Untuk menentukan apakah ada link di bucket log, Anda dapat menggunakan konsol Google Cloud atau menjalankan perintah gcloud logging links list.

    Jika perlu, hapus link menggunakan perintah gcloud logging links delete. Jika Anda menghapus link, Anda juga akan menghapus semua artefak terkait, yang mungkin mencakup set data BigQuery yang ditautkan.

Setelah Anda mengeluarkan perintah penghapusan, bucket log akan beralih ke status DELETE_REQUESTED, dan tetap dalam status tersebut selama 7 hari. Selama jangka waktu ini, Logging akan terus merutekan log ke bucket log. Anda dapat berhenti merutekan log ke bucket log dengan menghapus atau mengubah sink log yang merutekan entri log ke bucket.

Anda tidak dapat membuat bucket log baru yang menggunakan nama yang sama dengan bucket log yang berada dalam status DELETE_REQUESTED.

Untuk menghapus bucket log, lakukan langkah-langkah berikut:

Konsol Google Cloud

Untuk menghapus bucket log, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket yang ingin Anda hapus, lalu klik More.

  3. Jika kolom Linked dataset in BigQuery menampilkan link, hapus set data BigQuery yang ditautkan:

    1. Klik Edit bucket.
    2. Hapus centang Create a new BigQuery dataset that links to this bucket, klik Done, lalu klik Update bucket.

      Setelah Anda kembali ke halaman Logs Storage, klik More untuk bucket yang ingin Anda hapus, lalu lanjutkan ke langkah berikutnya.

  1. Pilih Delete bucket.

  2. Di panel konfirmasi, klik Hapus.

  3. Di halaman Logs Storage, bucket Anda memiliki indikator bahwa bucket tersebut menunggu penghapusan. Bucket, termasuk semua log di dalamnya, akan dihapus setelah 7 hari.

gcloud

Untuk menghapus bucket log, jalankan perintah gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

REST

Untuk menghapus bucket, gunakan projects.locations.buckets.delete di Logging API.

Memulihkan bucket yang dihapus

Anda dapat memulihkan, atau membatalkan penghapusan, bucket log yang berada dalam status menunggu penghapusan. Untuk memulihkan bucket log, lakukan hal berikut:

Konsol Google Cloud

Untuk memulihkan bucket log yang menunggu penghapusan, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk bucket yang ingin Anda pulihkan, klik More, lalu pilih Restore deleted bucket.

  3. Di panel konfirmasi, klik Pulihkan.

  4. Di halaman Logs Storage, indikator penghapusan yang tertunda akan dihapus dari bucket log Anda.

gcloud

Untuk memulihkan bucket log yang menunggu penghapusan, jalankan perintah gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Untuk memulihkan bucket yang menunggu penghapusan, gunakan projects.locations.buckets.undelete di Logging API.

Mengaktifkan Observability Analytics dan pembuatan kueri dari BigQuery

Bagian ini menjelaskan cara melakukan hal berikut:

  • Upgrade bucket log Anda agar dapat menganalisis data log menggunakan Observability Analytics, yang menyediakan antarmuka SQL.

  • Membuat link di bucket log. Link menyediakan koneksi antara bucket log dan set data BigQuery tertaut. Anda dapat menggunakan layanan BigQuery untuk mengkueri set data tertaut.

Mengupgrade bucket untuk menggunakan Observability Analytics

Setelah Anda mengupgrade bucket untuk menggunakan Observability Analytics, setiap entri log baru yang masuk akan tersedia untuk dianalisis di antarmuka Observability Analytics. Anda tidak dapat mengurungkan operasi upgrade pada bucket.

Untuk mengupgrade bucket yang ada agar dapat menggunakan Observability Analytics, batasan berikut berlaku:

  • Bucket log dibuat di level project Google Cloud .
  • Bucket log tidak dikunci kecuali jika bucket tersebut adalah bucket _Required.
  • Tidak ada update yang tertunda pada bucket.

  • Untuk project di dalam perimeter Kontrol Layanan VPC:

    1. Perimeter tidak boleh membatasi layanan berikut:

      • logging.googleapis.com
      • cloudkms.googleapis.com: Diperlukan untuk bucket log yang menggunakan CMEK.

    2. Anda tidak dapat menggunakan aturan ingress atau egress berbasis identitas untuk memberikan akses lintas perimeter ke kunci Cloud Key Management Service jika bucket log dan kunci Cloud KMS Anda berada di perimeter Kontrol Layanan VPC yang berbeda.

Mengupgrade bucket mungkin memerlukan waktu hingga 10 menit. Untuk mengetahui informasi pemecahan masalah, lihat Memecahkan masalah upgrade bucket untuk menggunakan Observability Analytics.

Konsol Google Cloud

Untuk mengupgrade bucket yang ada agar dapat menggunakan Observability Analytics, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket yang ingin Anda upgrade.

  3. Jika kolom Observability Analytics available menampilkan Upgrade, Anda dapat mengupgrade bucket log untuk menggunakan Observability Analytics. Klik Upgrade.

    Dialog akan terbuka. Klik Konfirmasi.

gcloud

Untuk mengupgrade bucket log agar dapat menggunakan Observability Analytics, jalankan perintah gcloud logging buckets update. Anda harus menetapkan flag --enable-analytics, dan sebaiknya sertakan juga flag --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

Flag --async memaksa perintah menjadi asinkron. Responsnya adalah objek Operation. Lakukan polling pada metode projects.locations.operations.get hingga kolom Operation.done ditetapkan ke true. Kolom lain dalam struktur Operation memberikan informasi tentang keberhasilan atau kegagalan permintaan. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

REST

Untuk mengupgrade bucket log agar dapat menggunakan Observability Analytics, gunakan metode projects.locations.buckets.updateAsync Cloud Logging API.

Siapkan argumen untuk metode ini sebagai berikut:

  1. Tetapkan boolean LogBucket.analyticsEnabled ke true.
  2. Untuk parameter kueri perintah, gunakan updateMask=analyticsEnabled.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi informasi tentang keberhasilan atau kegagalan permintaan. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Metode updateAsync mungkin memerlukan waktu beberapa menit untuk selesai.

Jika Anda ingin menggunakan kemampuan BigQuery untuk menganalisis data log, upgrade bucket log untuk menggunakan Observability Analytics, lalu buat set data tertaut. Dengan konfigurasi ini, Logging menyimpan data log Anda, tetapi BigQuery dapat membaca data log tersebut.

Konsol Google Cloud

Untuk membuat link ke set data BigQuery untuk bucket log yang ada, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Logs Storage

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Temukan bucket log dan pastikan kolom Observability Analytics available menampilkan Open.

    Jika kolom ini menampilkan Upgrade, berarti bucket log belum diupgrade untuk menggunakan Observability Analytics. Konfigurasikan Observability Analytics:

    1. Klik Upgrade.
    2. Klik Confirm di dialog.

    Setelah upgrade selesai, lanjutkan ke langkah berikutnya.

  3. Di bucket log, klik More, lalu klik Edit bucket.

    Dialog Edit log bucket akan terbuka.

  4. Pilih Create a new BigQuery dataset that links to this bucket dan masukkan nama untuk set data baru.

    Nama set data harus unik untuk setiap project Google Cloud . Jika Anda memasukkan nama set data yang sudah ada, Anda akan menerima error berikut: Dataset name must be unique in the selected region.

  5. Klik Done, lalu klik Update bucket.

    Setelah Logging menampilkan nama set data tertaut di halaman Logs Storage, mungkin perlu waktu beberapa menit sebelum BigQuery mengenali set data tersebut.

gcloud

Untuk membuat set data tertaut untuk bucket log yang diupgrade agar dapat menggunakan Observability Analytics, jalankan perintah gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Perintah links create bersifat asinkron. Hasil dari metode asinkron adalah objek Operation, dan berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Perintah links create memerlukan waktu beberapa menit hingga selesai.

Misalnya, perintah berikut akan membuat set data tertaut bernama mylink untuk bucket log bernama my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Nama set data harus unik untuk setiap project Google Cloud . Jika Anda mencoba membuat set data dengan nama yang sama dengan set data yang sudah ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Observability Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

REST

Untuk membuat set data BigQuery tertaut untuk bucket log yang ada yang diupgrade menggunakan Observability Analytics, panggil metode projects.locations.buckets.links.create asinkron dari Cloud Logging API.

Siapkan argumen untuk metode ini sebagai berikut:

  1. Buat isi permintaan untuk perintah create. Isi permintaan diformat sebagai objek Link.
  2. Untuk parameter kueri perintah, gunakan linkId=LINK_ID. LINK_ID yang Anda berikan digunakan sebagai nama set data BigQuery, dan nilai kolom ini harus unik untuk project Google Cloud Anda.

Respons terhadap metode asinkron adalah objek Operation. Objek ini berisi informasi tentang progres metode. Setelah metode selesai, objek Operation akan berisi status. Untuk mengetahui informasi selengkapnya, lihat Metode API asinkron.

Metode links.create memerlukan waktu beberapa menit hingga selesai.

Nama set data harus unik untuk setiap project Google Cloud . Jika Anda mencoba membuat set data dengan nama yang sama dengan set data yang sudah ada, Anda akan menerima error berikut:

BigQuery dataset with name "LINK_ID" already exists.

Jika Anda mencoba membuat set data tertaut untuk bucket log yang tidak diupgrade untuk menggunakan Observability Analytics, error berikut akan dilaporkan:

A link can only be created for an analytics-enabled bucket.

Melakukan polling metode API asinkron

Respons metode asinkron seperti projects.locations.buckets.createAsync adalah objek Operation.

Aplikasi yang memanggil metode API asinkron harus melakukan polling metode operation.get hingga nilai kolom Operation.done adalah true:

  • Jika done adalah false, berarti operasi sedang berlangsung.

    Untuk memuat ulang informasi status, kirim permintaan GET ke metode operation.get.

  • Jika done adalah true, artinya operasi sudah selesai dan kolom error atau response ditetapkan:

    • error: Jika ditetapkan, operasi asinkron gagal. Nilai kolom ini adalah objek Status yang berisi kode error gRPC dan pesan error.
    • response: Jika ditetapkan, operasi asinkron berhasil diselesaikan, dan nilainya mencerminkan hasilnya.

Untuk melakukan polling perintah asinkron menggunakan Google Cloud CLI, jalankan perintah berikut:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Untuk informasi selengkapnya, lihat gcloud logging operations describe.

Membaca dan menulis entri log

Anda tidak menulis log langsung ke bucket log. Sebagai gantinya, Anda menulis log ke resourceGoogle Cloud : project, folder, atau organisasi Google Cloud . Sink di resource induk kemudian merutekan log ke tujuan, termasuk bucket log. Sink merutekan log ke tujuan bucket log jika log cocok dengan filter sink dan sink memiliki izin untuk merutekan log ke bucket log. Untuk mengetahui informasi selengkapnya, lihat Entri log rute.

Setiap bucket log memiliki serangkaian tampilan log. Untuk membaca log dari bucket log, Anda memerlukan akses ke tampilan log di bucket log. Tampilan log memungkinkan Anda memberi pengguna akses hanya ke sebagian log yang disimpan di bucket log. Untuk mempelajari lebih lanjut tampilan log, lihat Menyimpan entri log dan Mengonfigurasi tampilan log di bucket log.

Untuk membaca log dari bucket log, lakukan hal berikut:

Konsol Google Cloud

  1. Di konsol Google Cloud , buka halaman Logs Explorer:

    Buka Logs Explorer

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk menyesuaikan log yang ditampilkan di Logs Explorer, klik Refine scope, lalu pilih salah satu opsi. Misalnya, Anda dapat melihat log yang disimpan dalam project atau berdasarkan tampilan log.

  3. Klik Terapkan. Panel Query results akan dimuat ulang dengan log yang cocok dengan opsi yang Anda pilih.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Logs Explorer: Mempersempit cakupan.

gcloud

Untuk membaca log dari bucket log, gunakan perintah gcloud logging read dan tambahkan LOG_FILTER untuk memilih data:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

Untuk membaca log dari bucket log, gunakan metode entries.list. Tetapkan resourceNames untuk menentukan bucket dan tampilan log yang sesuai, dan tetapkan filter untuk memilih data.

Untuk mengetahui informasi mendetail tentang sintaksis pemfilteran, lihat Bahasa kueri logging.

Memantau volume

Bagian ini menjelaskan cara memantau volume data log Anda.

Melacak volume log yang disimpan di bucket log

Halaman Logs Storage di konsol Google Cloud melacak volume data log yang disimpan di bucket log:

Di konsol Google Cloud , buka halaman Logs Storage:

Buka Logs Storage

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Halaman Logs Storage menampilkan ringkasan statistik untuk projectGoogle Cloud Anda:

Statistik ringkasan melaporkan jumlah data log yang disimpan di bucket log untuk project yang dipilih.

Statistik berikut dilaporkan:

  • Penyerapan bulan berjalan: Jumlah data log yang telah disimpan projectGoogle Cloud Anda di bucket log sejak hari pertama bulan kalender berjalan.

  • Penyerapan bulan sebelumnya: Jumlah data log yang disimpan projectGoogle Cloud Anda di bucket log pada bulan kalender terakhir.

  • Projected ingestion by EOM: Perkiraan jumlah data log yang akan disimpan oleh projectGoogle Cloud Anda di bucket log pada akhir bulan kalender saat ini, berdasarkan penggunaan saat ini.

  • Penyimpanan yang dapat ditagih bulan ini: Jumlah data log yang telah dipertahankan selama lebih dari 30 hari yang ditagih.

Statistik sebelumnya tidak menyertakan log di bucket _Required. Log dalam bucket tersebut tidak dapat dikecualikan atau dinonaktifkan.

Halaman Router Log di konsol Google Cloud memberi Anda alat yang dapat digunakan untuk meminimalkan biaya penyimpanan log di bucket log atau untuk penyimpanan yang melebihi alokasi bulanan Anda. Anda dapat melakukan hal berikut:

  • Menonaktifkan penyimpanan log di level bucket.
  • Mengecualikan entri log tertentu agar tidak disimpan di bucket log.

Untuk mengetahui informasi selengkapnya, lihat Mengelola sink.

Pemberitahuan tentang byte log bulanan yang disimpan di bucket log

Untuk membuat kebijakan pemberitahuan, buka halaman Logs Storage di konsolGoogle Cloud , klik Create usage alert, dan lengkapi dialog. Halaman Create alerting policy akan otomatis mengisi kolom jenis metrik dengan logging.googleapis.com/billing/bytes_ingested.

Untuk membuat kebijakan pemberitahuan yang akan dipicu saat jumlah byte log yang ditulis ke bucket log melampaui batas yang ditentukan pengguna untuk Cloud Logging, gunakan setelan berikut.

Kolom New condition
Nilai
Resource and Metric Di menu Resources, pilih Global.
Di menu Kategori metrik, pilih Metrik berbasis log.
Di menu Metrics, pilih Monthly log bytes ingested.
Filter Tidak ada.
Di seluruh deret waktu
Agregasi deret waktu		 sum
Rolling window 60 m
Rolling window function max
Kolom Configure alert trigger
Nilai
Condition type Threshold
Alert trigger Any time series violates
Threshold position Above threshold
Threshold value Anda menentukan nilai yang dapat diterima.
Retest window Nilai minimum yang dapat diterima adalah 30 menit.

Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan, lihat Ringkasan pemberitahuan.

Memecahkan masalah umum

Jika Anda mengalami masalah saat menggunakan bucket log, lihat langkah-langkah pemecahan masalah dan jawaban atas pertanyaan umum berikut.

Mengapa saya tidak dapat menghapus bucket ini?

Jika Anda mencoba menghapus bucket, lakukan hal berikut:

  • Pastikan Anda memiliki izin yang benar untuk menghapus bucket. Untuk mengetahui daftar izin yang Anda perlukan, lihat Kontrol akses dengan IAM.

  • Tentukan apakah bucket dikunci dengan mencantumkan atribut bucket. Jika bucket dikunci, periksa periode retensi bucket. Anda tidak dapat menghapus bucket yang terkunci hingga semua log dalam bucket telah memenuhi periode retensi data bucket.

  • Pastikan bucket log tidak memiliki link. Anda tidak dapat menghapus bucket log yang berisi link.

    Error berikut ditampilkan sebagai respons terhadap perintah delete pada bucket log yang memiliki set data BigQuery tertaut:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    Untuk mencantumkan link yang terkait dengan bucket log, jalankan perintah gcloud logging links list atau jalankan metode API projects.locations.buckets.links.list.

    Untuk menghapus link, gunakan perintah gcloud logging links delete.

Akun layanan mana yang merutekan log ke bucket saya?

Untuk menentukan apakah ada akun layanan yang memiliki izin IAM untuk merutekan log ke bucket Anda, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman IAM:

    Buka IAM

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah IAM & Admin.

  2. Dari tab Permissions, lihat berdasarkan Roles. Anda akan melihat tabel yang berisi semua peran dan akun utama IAM yang terkait dengan projectGoogle Cloud Anda.

  3. Di kotak teks Filter tabel, masukkan Logs Bucket Writer.

    Anda akan melihat akun utama dengan peran Logs Bucket Writer. Jika akun utama adalah akun layanan, ID-nya akan berisi string gserviceaccount.com.

  4. Opsional: Jika Anda ingin menghapus akun layanan agar tidak dapat merutekan log ke project Google Cloud Anda, pilih kotak centang untuk akun layanan, lalu klik Hapus.

Mengapa saya melihat log untuk project Google Cloud meskipun saya mengecualikannya dari sink _Default?

Anda mungkin melihat log di bucket log dalam project Google Cloud terpusat, yang menggabungkan log dari seluruh organisasi Anda.

Jika Anda menggunakan Logs Explorer untuk mengakses log ini dan melihat log yang Anda kecualikan dari sink _Default, tampilan Anda mungkin ditetapkan ke level projectGoogle Cloud .

Untuk memperbaiki masalah ini, pilih Log view di menu Refine scope, lalu pilih tampilan log yang terkait dengan bucket _Default di projectGoogle Cloud Anda. Anda tidak akan melihat log yang dikecualikan lagi.

Langkah berikutnya

Untuk mengetahui informasi tentang metode API bucket log, lihat dokumentasi referensi LogBucket.

Jika Anda mengelola organisasi atau folder, Anda dapat menentukan lokasi bucket log _Default dan _Required resource turunan. Anda juga dapat mengonfigurasi apakah bucket log menggunakan CMEK dan perilaku sink log _Default. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan default untuk organisasi dan folder.

Untuk mengetahui informasi tentang cara menangani kasus penggunaan umum dengan bucket log, lihat topik berikut: