Ringkasan penyimpanan Google Cloud Observability

Google Cloud Observability menyimpan dan mengatur data telemetri dari Cloud Logging, Cloud Monitoring, dan Cloud Trace di seluruh container penyimpanan terstruktur. Memahami model penyimpanan membantu Anda mengonfigurasi residensi data, menerapkan kebijakan enkripsi, dan menghubungkan telemetri ke layanan analisis seperti BigQuery.

Data log

Data log berada di bucket log, yang merupakan container yang digunakan Logging untuk menyimpan data log Anda. Setiap Google Cloud project, akun penagihan, folder, dan organisasi berisi bucket log bernama _Required dan _Default.

Secara default, data log berada di Google Cloud project, akun penagihan, folder, atau organisasi tempat data berasal. Namun, Anda dapat mengonfigurasi Logging untuk merutekan data log dari resource tempat data tersebut berasal ke lokasi lain, seperti project lain atau bucket log terpusat. Untuk mengetahui informasi selengkapnya, lihat Menyimpan entri log dan Merutekan entri log.

Cloud Logging memungkinkan Anda membuat data log Anda menjadi regional:

  • Kebijakan organisasi dapat membatasi lokasi bucket log baru dan mewajibkan bucket log menggunakan kunci enkripsi yang dikelola pelanggan (CMEK).

  • Untuk organisasi dan folder, setelan resource default untuk Cloud Logging memungkinkan Anda mengonfigurasi hal berikut:

    • Lokasi bucket log _Required dan _Default baru.
    • Kunci KMS untuk mengenkripsi data log Anda.
    • Konfigurasi sink default.

    Turunan dalam hierarki resource akan otomatis mewarisi setelan ini, kecuali jika turunan tersebut juga mengonfigurasi setelan resource default. Misalnya, jika Anda mengonfigurasi setelan resource default untuk Cloud Logging bagi organisasi, semua folder dan project dalam hierarki resource organisasi akan otomatis mewarisi setelan tersebut. Namun, jika Anda menetapkan setelan resource default untuk Cloud Logging untuk folder di organisasi tersebut, setelan tingkat folder akan digunakan.

    Setelan resource default untuk Cloud Logging hanya berlaku untuk resource baru, bukan resource yang sudah ada. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan resource default untuk Cloud Logging.

Data metrik

Data metrik berada di project Google Cloud tempat data berasal.

Untuk mengetahui informasi tentang kebijakan penyimpanan, lihat Residensi data untuk Monitoring.

Data rekaman aktivitas

Data rekaman aktivitas disimpan dalam set data yang dikelola oleh bucket kemampuan pengamatan bernama _Trace. Untuk menyimpan set data, bucket _Trace harus ada. Bucket _Trace dapat dibuat secara otomatis atau manual:

  • Pembuatan otomatis: Sistem akan otomatis membuat bucket sebagai respons terhadap penerimaan data rekaman aktivitas dari aplikasi atau Google Cloud layanan. Sistem menggunakan setelan default yang berlaku untuk bucket kemampuan pengamatan guna menentukan lokasi dan kunci enkripsi bucket. Jika Anda belum menentukan setelan default, sistem akan memilih lokasi yang didukung dan bucket akan menggunakan enkripsi default Google.

    Data trace yang dihasilkan oleh Cloud Run Functions, Cloud Run, dan App Engine tidak menyebabkan sistem membuat bucket kemampuan pengamatan. Rentang dari layanan ini hanya disimpan jika bucket kemampuan pengamatan ada.

  • Pembuatan manual: Anda dapat menggunakan Observability API untuk membuat bucket _Trace sebelum project Google Cloud Anda menerima data rekaman aktivitas. Anda harus memberikan lokasi bucket. Anda dapat menyediakan kunci Cloud Key Management Service:

    • Jika Anda memberikan kunci, sistem akan menggunakan kunci tersebut untuk mengenkripsi data yang disimpan.
    • Jika Anda tidak memberikan kunci Cloud KMS, setelan default yang berlaku untuk resource induk bucket akan menentukan kunci enkripsi. Jika setelan default menentukan kunci Cloud KMS, maka kunci tersebut akan mengenkripsi data yang disimpan. Jika tidak, enkripsi default Google akan digunakan.

Saat bucket _Trace dibuat, sistem juga membuat set data bernama Spans untuk bucket, dan tampilan bernama _AllSpans pada set data. Tampilan tersebut mencakup semua data dalam set data.

Untuk informasi selengkapnya, lihat referensi berikut:

Model penyimpanan kemampuan observasi

Model penyimpanan Observability API mengandalkan arsitektur berikut:

Bucket kemampuan observasi
Bucket kemampuan pengamatan adalah entitas pengelolaan untuk set data, yang menyimpan data. Bucket observasi berada di lokasi tertentu dan memiliki kebijakan retensi data. Saat Google Cloud layanan menggunakan Observability API untuk menyimpan datanya, sistem akan membuat bucket observasi berdasarkan nama layanan, set data untuk menyimpan data, dan tampilan untuk memberikan akses baca ke data yang disimpan. Misalnya, untuk layanan Cloud Trace, sistem akan memberi nama bucket yang dibuat sistem _Trace, set data Spans, dan tampilan _AllSpans. Untuk mempelajari struktur bucket kemampuan observasi, lihat Bucket.
Set data
Set data menyimpan data. Sistem akan otomatis membuat satu set data saat membuat bucket observabilitas, yang mengelola set data tersebut. Misalnya, saat membuat bucket _Trace, sistem juga membuat set data bernama Spans, yang menyimpan data rekaman aktivitas Anda. Untuk mempelajari struktur set data, lihat Dataset.
Tampilan pada set data
Setiap set data menghosting satu atau beberapa tampilan. Tampilan memberikan akses baca ke subset entri dalam set data. Sistem membuat satu tampilan saat membuat set data. Tampilan tersebut mencakup semua data dalam set data. Nama tampilan bergantung pada layanan. Misalnya, untuk layanan Cloud Trace, sistem membuat tampilan bernama _AllSpans di set data Spans. Untuk mempelajari struktur tampilan, lihat View.
Link pada set data

Setiap set data dapat berisi maksimal satu link. Saat Anda membuat link untuk set data, sistem akan membuat set data BigQuery tertaut. Kemudian, Anda dapat membuat kueri data di set data menggunakan BigQuery atau oleh layanan lain yang menggunakan BigQuery API. Untuk mempelajari struktur link, lihat Link.

Sistem tidak otomatis membuat link pada set data.

Misalnya, data rekaman aktivitas Anda berada di set data 'Spans' dalam bucket pengamatan '_Trace'. Sistem akan membuat tampilan '_AllSpans' pada set data ini yang mencakup semua rentang yang disimpan.

Residensi data untuk bucket kemampuan observasi

Jika Anda memiliki persyaratan kepatuhan atau peraturan untuk menyimpan data di lokasi tertentu atau menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), sebaiknya Anda mengonfigurasi kebijakan organisasi dan setelan default untuk bucket kemampuan pengamatan.

Untuk organisasi, folder, dan project, setelan default untuk bucket kemampuan pengamatan memungkinkan Anda mengonfigurasi hal berikut:

  • Lokasi penyimpanan default.
  • Untuk setiap lokasi, kunci Cloud Key Management Service default.

Ada dua cara berbeda yang digunakan sistem untuk setelan default:

  • Saat sistem otomatis membuat bucket pengamatan, sistem akan menggunakan setelan default untuk menentukan lokasi bucket dan kunci enkripsi. Jika Anda belum menentukan setelan default, sistem akan memilih lokasi dan bucket akan menggunakan enkripsi default Google.

  • Saat memulai pembuatan bucket kemampuan pengamatan dengan mengirimkan permintaan API, Anda memberikan lokasi. Namun, sistem akan otomatis menggunakan kunci Cloud KMS yang ditentukan oleh setelan default untuk mengenkripsi data, kecuali jika argumen ke permintaan API menentukan kunci.

Karena induk bucket pengamatan selalu berupa project, saat Anda membuat bucket, sistem akan menelusuri setelan default tingkat project terlebih dahulu. Jika tidak ada, sistem akan menelusuri leluhur induk untuk menemukan setelan default. Misalnya, jika Anda menentukan setelan default untuk folder, setelan tersebut akan diterapkan ke turunan folder, kecuali turunan yang telah dikonfigurasi dengan setelan default.

Anda juga dapat menggunakan kebijakan organisasi untuk membatasi lokasi bucket observabilitas baru, mewajibkan penggunaan CMEK, atau membatasi kunci Cloud KMS yang dapat digunakan untuk enkripsi. Jika mengonfigurasi kebijakan organisasi yang mewajibkan penggunaan CMEK, Anda harus mengonfigurasi setelan default untuk bucket observabilitas. Jika tidak, penyediaan bucket observabilitas yang dibuat sistem akan gagal.

Untuk mengetahui informasi selengkapnya, lihat Menetapkan default untuk bucket kemampuan observasi.

Batasan

Anda tidak dapat melakukan hal berikut:

  • Ubah atau hapus bucket pengamatan.
  • Membuat, menghapus, atau mengubah set data.
  • Membuat, menghapus, atau mengubah tampilan.
  • Gunakan konsol Google Cloud untuk membuat daftar bucket, set data, tampilan, atau link.

Langkah berikutnya