Mengumpulkan log konteks Cloud Storage
Versi Parser: 1.0
Dokumen ini menjelaskan cara mengekspor dan menyerap log konteks Cloud Storage ke Google Security Operations menggunakan Cloud Storage. Parser membersihkan dan menyusun data JSON yang masuk dari log Cloud Storage. Kemudian, parser memetakan kolom yang relevan ke model data terpadu (UDM), memperkaya data dengan label dan metadata untuk representasi dan analisis yang konsisten dalam ekosistem keamanan.
Sebelum memulai
Pastikan Anda memiliki prasyarat berikut:
- Instance Google SecOps.
- Cloud Storage sudah disiapkan dan aktif di lingkungan Google Cloud Anda.
- Akses istimewa ke Google Cloud dan izin yang sesuai.
Membuat bucket Cloud Storage
- Login ke Google Cloud console.
Buka halaman Cloud Storage Buckets.
Klik Buat.
Di halaman Buat bucket, masukkan informasi bucket Anda. Setelah menyelesaikan setiap langkah berikut, klik Continue untuk melanjutkan ke langkah berikutnya:
Di bagian Get started, lakukan tindakan berikut:
- Masukkan nama unik yang memenuhi persyaratan nama bucket; misalnya, google-storage-context-logs.
Untuk mengaktifkan namespace hierarkis, klik panah peluas untuk meluaskan bagian Optimize for file oriented and data-intensive workloads, lalu pilih Enable Hierarchical namespace on this bucket.
Untuk menambahkan label bucket, klik panah peluas untuk meluaskan bagian Labels.
Klik Add label, lalu tentukan kunci dan nilai untuk label Anda.
Di bagian Choose where to store your data, lakukan tindakan berikut:
- Pilih Location type.
Gunakan menu jenis lokasi untuk memilih Location tempat data objek dalam bucket Anda akan disimpan secara permanen.
Untuk menyiapkan replikasi lintas bucket, luaskan bagian Set up cross-bucket replication.
Di bagian Choose a storage class for your data, pilih default storage class untuk bucket, atau pilih Autoclass untuk pengelolaan kelas penyimpanan otomatis untuk data bucket Anda.
Di bagian Choose how to control access to objects, pilih not untuk menerapkan public access prevention, lalu pilih access control model untuk objek bucket Anda.
Di bagian Choose how to protect object data, lakukan hal berikut:
- Pilih salah satu opsi di bagian Perlindungan data yang ingin Anda tetapkan untuk bucket.
- Untuk memilih cara data objek Anda akan dienkripsi, klik panah peluas berlabel Data encryption, lalu pilih Data encryption method.
Klik Create.
Mengonfigurasi ekspor log konteks Cloud Storage
- Login ke Google Cloud console.
- Buka Logging > Log Router.
- Klik Create Sink.
Berikan parameter konfigurasi berikut:
- Sink Name: masukkan nama yang bermakna; misalnya,
Storage-Context-Sink. - Sink Destination: pilih Cloud Storage Storage dan masukkan URI untuk bucket Anda; misalnya,
gs://google-storage-context-logs/. Filter Log:
logName="*storage*" resource.type="gcs_bucket"
- Sink Name: masukkan nama yang bermakna; misalnya,
Klik Create.
Mengonfigurasi izin untuk Cloud Storage
- Buka IAM & Admin > IAM.
- Temukan akun layanan Cloud Logging.
- Berikan roles/storage.admin pada bucket.
Menyiapkan feed
Ada dua titik entri yang berbeda untuk menyiapkan feed di platform Google SecOps:
- Settings > Data Management > Feeds > Add New Feed (Di platform khusus SIEM, Settings > Feeds > Add New Feed)
- Content Hub > Paket Konten > Mulai
Cara menyiapkan feed konteks Cloud Storage
- Klik paket Google Cloud Compute platform.
- Temukan jenis log GCP Google Cloud Storage Context, lalu klik Add new feed.
Tentukan nilai untuk kolom berikut:
- Source Type: Google Cloud Storage V2.
- Storage Bucket URI: URL bucket Cloud Storage; misalnya,
gs://compute-context-logs/. URL ini harus diakhiri dengan garis miring (/). - Opsi penghapusan sumber: pilih opsi penghapusan sesuai preferensi Anda.
- Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.
Opsi lanjutan
- Nama Feed: Nilai yang diisi otomatis yang mengidentifikasi feed.
- Namespace Aset: Namespace yang terkait dengan feed.
- Label Penyerapan: Label yang diterapkan ke semua peristiwa dari feed ini.
- Klik Buat feed.
Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi beberapa feed untuk berbagai jenis log dalam kelompok produk ini, lihat Mengonfigurasi feed menurut produk.
Tabel Pemetaan UDM
| Kolom log | pemetaan UDM | Logika |
|---|---|---|
| ancestor | event.idm.entity.entity.resource.attribute.labels.value | Nilai ancestor diekstrak dari array ancestors di log mentah. |
| assetType | event.idm.entity.entity.resource.type | Dipetakan langsung dari kolom assetType di log mentah. |
| insertId | event.idm.entity.metadata.product_entity_id | Dipetakan langsung dari kolom insertId di log mentah. |
| labels.compute.googleapis.com/resource_name | event.idm.entity.entity.resource.name | Dipetakan langsung dari kolom labels.compute.googleapis.com/resource_name di log mentah. |
| labels.k8s-pod/controller-revision-hash | event.idm.entity.entity.file.sha1 | Dipetakan langsung dari kolom labels.k8s-pod/controller-revision-hash di log mentah. |
| labels.k8s-pod/name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom labels.k8s-pod/name di log mentah. |
| labels.k8s-pod/pod-template-generation | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom labels.k8s-pod/pod-template-generation di log mentah. |
| logName | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom logName di log mentah. |
| nama | event.idm.entity.entity.resource.name | Dipetakan langsung dari kolom nama di log mentah. |
| receiveTimestamp | event.idm.entity.entity.resource.attribute.creation_time | Dikonversi ke format stempel waktu dari kolom receiveTimestamp di log mentah. |
| resource.data.iamConfiguration.publicAccessPrevention | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.iamConfiguration.publicAccessPrevention di log mentah. |
| resource.data.id | event.idm.entity.entity.resource.product_object_id | Dipetakan langsung dari kolom resource.data.id di log mentah. |
| resource.data.kind | event.idm.entity.entity.resource.type | Dipetakan langsung dari kolom resource.data.kind di log mentah. |
| resource.data.labels.app_id | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.app_id di log mentah. |
| resource.data.labels.app_name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.app_name di log mentah. |
| resource.data.labels.bucket_id | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.bucket_id di log mentah. |
| resource.data.labels.data_classification | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.data_classification di log mentah. |
| resource.data.labels.dept_name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.dept_name di log mentah. |
| resource.data.labels.dept_no | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.dept_no di log mentah. |
| resource.data.labels.environment | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.environment di log mentah. |
| resource.data.labels.goog-composer-environment | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.goog-composer-environment di log mentah. |
| resource.data.labels.goog-composer-location | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.goog-composer-location di log mentah. |
| resource.data.labels.goog-composer-version | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.goog-composer-version di log mentah. |
| resource.data.labels.technical_contact | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.technical_contact di log mentah. |
| resource.data.labels.type | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.data.labels.type di log mentah. |
| resource.data.location | event.idm.entity.entity.location.name | Dipetakan langsung dari kolom resource.data.location di log mentah. |
| resource.data.projectNumber | event.idm.entity.entity.resource.attribute.cloud.project.id | Dipetakan langsung dari kolom resource.data.projectNumber di log mentah. |
| resource.data.selfLink | event.idm.entity.entity.url | Dipetakan langsung dari kolom resource.data.selfLink di log mentah. |
| resource.data.timeCreated | event.idm.entity.entity.resource.attribute.creation_time | Dikonversi ke format stempel waktu dari kolom resource.data.timeCreated di log mentah. |
| resource.data.updated | event.idm.entity.entity.resource.attribute.last_update_time | Dikonversi ke format stempel waktu dari kolom resource.data.updated di log mentah. |
| resource.discoveryDocumentUri | event.idm.entity.entity.file.full_path | Dipetakan langsung dari kolom resource.discoveryDocumentUri di log mentah. |
| resource.labels.cluster_name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.labels.cluster_name di log mentah. |
| resource.labels.container_name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.labels.container_name di log mentah. |
| resource.labels.location | event.idm.entity.entity.location.name | Dipetakan langsung dari kolom resource.labels.location di log mentah. |
| resource.labels.namespace_name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.labels.namespace_name di log mentah. |
| resource.labels.pod_name | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.labels.pod_name di log mentah. |
| resource.labels.project_id | event.idm.entity.entity.resource.attribute.cloud.project.id | Dipetakan langsung dari kolom resource.labels.project_id di log mentah. |
| resource.parent | event.idm.entity.entity.resource.parent | Dipetakan langsung dari kolom resource.parent di log mentah. |
| resource.type | event.idm.entity.entity.resource.type | Dipetakan langsung dari kolom resource.type di log mentah. |
| resource.version | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom resource.version di log mentah. |
| textPayload | event.idm.entity.entity.resource.attribute.labels.value | Dipetakan langsung dari kolom textPayload di log mentah. |
| T/A | event.idm.entity.metadata.collected_timestamp | Stempel waktu yang dikumpulkan adalah stempel waktu entri log. |
| T/A | event.idm.entity.metadata.entity_type | Dihardcode ke RESOURCE. |
| T/A | event.idm.entity.metadata.product_name | Dihardcode ke GCP Storage Context. |
| T/A | event.idm.entity.metadata.vendor_name | Dihardcode ke Google Cloud Platform. |
| T/A | event.idm.entity.entity.resource.attribute.cloud.environment | Dihardcode ke GOOGLE_CLOUD_PLATFORM. |
| T/A | event.idm.entity.entity.resource.resource_type | Dihardcode ke STORAGE_BUCKET. |
| T/A | event.timestamp | Stempel waktu peristiwa adalah stempel waktu entri log. |
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.