Ringkasan penyimpanan Google Cloud Observability

Google Cloud Observability menyimpan dan mengatur data telemetri dari Cloud Logging, Cloud Monitoring, dan Cloud Trace di seluruh container penyimpanan terstruktur. Memahami model penyimpanan membantu Anda mengonfigurasi residensi data, menerapkan kebijakan enkripsi, dan menghubungkan telemetri ke layanan analisis seperti BigQuery.

Data log

Data log berada di bucket log, yang merupakan container yang digunakan Logging untuk menyimpan data log Anda. Setiap Google Cloud project, akun penagihan, folder, dan organisasi berisi bucket log bernama _Required dan _Default.

Secara default, data log berada di Google Cloud project, akun penagihan, folder, atau organisasi tempat data berasal. Namun, Anda dapat mengonfigurasi Logging untuk merutekan data log dari resource tempat data berasal ke lokasi lain, seperti project lain atau bucket log terpusat. Untuk mengetahui informasi selengkapnya, lihat Menyimpan entri log dan Merutekan entri log.

Cloud Logging memungkinkan Anda melakukan regionalisasi data log:

  • Kebijakan organisasi dapat membatasi lokasi bucket log baru dan mewajibkan bucket log menggunakan kunci enkripsi yang dikelola pelanggan (CMEK).

  • Untuk organisasi dan folder, setelan resource default untuk Cloud Logging memungkinkan Anda mengonfigurasi hal berikut:

    • Lokasi bucket log _Required dan _Default baru.
    • Kunci KMS untuk mengenkripsi data log Anda.
    • Konfigurasi sink default.

    Turunan dalam hierarki resource otomatis mewarisi setelan ini, kecuali jika mereka juga mengonfigurasi setelan resource default. Misalnya, jika Anda mengonfigurasi setelan resource default untuk Cloud Logging untuk organisasi, semua folder dan project dalam hierarki resource organisasi akan otomatis mewarisi setelan tersebut. Namun, jika Anda menetapkan setelan resource default untuk Cloud Logging untuk folder di organisasi tersebut, setelan tingkat folder akan digunakan.

    Setelan resource default untuk Cloud Logging hanya berlaku untuk resource baru, bukan resource yang ada. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan resource default untuk Cloud Logging.

Data metrik

Data metrik berada di Google Cloud project tempat data berasal.

Untuk mengetahui informasi tentang kebijakan penyimpanan, lihat Residensi data untuk Monitoring.

Data trace

Data trace disimpan dalam set data yang dikelola oleh bucket kemampuan observasi bernama _Trace. Untuk menyimpan set data, bucket _Trace harus ada. Bucket _Trace dapat dibuat secara otomatis atau manual:

  • Pembuatan otomatis: Sistem otomatis membuat bucket sebagai respons terhadap penerimaan data trace dari aplikasi atau layanan Google Cloud . Sistem menggunakan setelan default yang berlaku untuk bucket kemampuan observasi guna menentukan lokasi dan kunci enkripsi bucket. Jika Anda belum menentukan setelan default, sistem akan memilih lokasi yang didukung dan bucket akan menggunakan enkripsi default Google.

    Data trace yang dihasilkan oleh Cloud Run Functions, Cloud Run, dan App Engine tidak menyebabkan sistem membuat bucket kemampuan observasi. Rentang dari layanan ini hanya disimpan jika bucket kemampuan observasi ada.

  • Pembuatan manual: Anda dapat menggunakan Observability API untuk membuat bucket _Trace sebelum project Google Cloud Anda menerima data trace. Anda harus memberikan lokasi bucket. Anda dapat memberikan kunci Cloud Key Management Service:

    • Jika Anda memberikan kunci, sistem akan menggunakan kunci tersebut untuk mengenkripsi data yang disimpan.
    • Jika Anda tidak memberikan kunci Cloud KMS, setelan default yang berlaku untuk resource induk bucket akan menentukan kunci enkripsi. Jika setelan default menentukan kunci Cloud KMS, kunci tersebut akan mengenkripsi data yang disimpan. Jika tidak, enkripsi default Google akan digunakan.

Saat bucket _Trace dibuat, sistem juga membuat set data bernama Spans untuk bucket, dan tampilan bernama _AllSpans pada set data. Tampilan tersebut mencakup semua data dalam set data.

Untuk mengetahui informasi selengkapnya, lihat referensi berikut:

Model penyimpanan kemampuan observasi

Model penyimpanan Observability API mengandalkan arsitektur berikut:

Bucket kemampuan observasi
Bucket kemampuan observasi adalah entity pengelolaan untuk set data, yang menyimpan data. Bucket kemampuan observasi berada di lokasi tertentu dan memiliki kebijakan retensi data. Saat Google Cloud layanan menggunakan Observability API untuk menyimpan datanya, sistem akan membuat bucket kemampuan observasi berdasarkan nama layanan, set data untuk menyimpan data, dan tampilan untuk memberikan akses baca ke data yang disimpan. Misalnya, untuk layanan Cloud Trace, sistem akan memberi nama bucket yang dibuat sistem _Trace, set data Spans, dan tampilan _AllSpans. Untuk mempelajari struktur bucket kemampuan observasi, lihat Bucket.
Set data
Set data menyimpan data. Sistem otomatis membuat satu set data saat membuat bucket kemampuan observasi, yang mengelola set data. Misalnya, saat sistem membuat bucket _Trace, sistem juga membuat set data bernama Spans, yang menyimpan data trace Anda. Untuk mempelajari struktur set data, lihat Dataset.
Tampilan pada set data
Setiap set data menghosting satu tampilan atau lebih. Tampilan memberikan akses baca ke subset entri dalam set data. Sistem membuat satu tampilan saat membuat set data. Tampilan tersebut mencakup semua data dalam set data. Nama tampilan bergantung pada layanan. Misalnya, untuk layanan Cloud Trace, sistem membuat tampilan bernama _AllSpans pada set data Spans. Untuk mempelajari struktur tampilan, lihat View.
Link pada set data

Setiap set data dapat berisi maksimal satu link. Saat Anda membuat link untuk set data, sistem akan membuat set data BigQuery tertaut. Kemudian, Anda dapat membuat kueri data dalam set data menggunakan BigQuery atau oleh layanan lain yang menggunakan BigQuery API. Untuk mempelajari struktur link, lihat Link.

Sistem tidak otomatis membuat link pada set data.

Misalnya, data trace Anda berada di set data Spans di dalam bucket kemampuan observasi _Trace. Sistem membuat tampilan _AllSpans pada set data ini yang mencakup semua rentang yang disimpan.

Residensi data untuk bucket kemampuan observasi

Jika Anda memiliki persyaratan kepatuhan atau peraturan untuk menyimpan data di lokasi tertentu atau menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), sebaiknya konfigurasikan kebijakan organisasi dan setelan default untuk bucket kemampuan observasi.

Untuk organisasi, folder, dan project, setelan default untuk bucket kemampuan observasi memungkinkan Anda mengonfigurasi hal berikut:

  • Lokasi penyimpanan default.
  • Untuk setiap lokasi, kunci Cloud Key Management Service default.

Ada dua cara berbeda sistem menggunakan setelan default:

  • Saat sistem otomatis membuat bucket kemampuan observasi, sistem akan menggunakan setelan default untuk menentukan lokasi dan kunci enkripsi bucket. Jika Anda belum menentukan setelan default, sistem akan memilih lokasi dan bucket akan menggunakan enkripsi default Google.

  • Saat Anda memulai pembuatan bucket kemampuan observasi dengan mengeluarkan permintaan API, Anda akan memberikan lokasi. Namun, sistem akan otomatis menggunakan kunci Cloud KMS yang ditentukan oleh setelan default untuk mengenkripsi data, kecuali jika argumen ke permintaan API menentukan kunci.

Karena induk bucket kemampuan observasi selalu berupa project, saat Anda membuat bucket, sistem akan menelusuri setelan default tingkat project terlebih dahulu. Jika tidak ada, sistem akan menelusuri setelan default dari ancestor induk. Misalnya, jika Anda menentukan setelan default untuk folder, setelan tersebut akan berlaku untuk turunan folder, kecuali turunan yang telah mengonfigurasi setelan default.

Anda juga dapat menggunakan kebijakan organisasi untuk membatasi lokasi bucket kemampuan observasi baru, mewajibkan penggunaan CMEK, atau membatasi kunci Cloud KMS yang dapat digunakan untuk enkripsi. Jika Anda mengonfigurasi kebijakan organisasi yang mewajibkan penggunaan CMEK, Anda harus mengonfigurasi setelan default untuk bucket kemampuan observasi. Jika tidak, penyediaan untuk bucket kemampuan observasi yang dibuat sistem akan gagal.

Untuk mengetahui informasi selengkapnya, lihat Menetapkan setelan default untuk bucket kemampuan observasi.

Batasan

Anda tidak dapat melakukan hal berikut:

  • Mengubah atau menghapus bucket kemampuan observasi.
  • Membuat, menghapus, atau mengubah set data.
  • Membuat, menghapus, atau mengubah tampilan.
  • Menggunakan Google Cloud konsol untuk mencantumkan bucket, set data, tampilan, atau link.

Langkah berikutnya