Mengumpulkan log konteks Cloud Storage

Versi Parser: 1.0

Didukung di:

Dokumen ini menjelaskan cara mengekspor dan menyerap log konteks Cloud Storage ke Google Security Operations menggunakan Cloud Storage. Parser membersihkan dan menyusun data JSON yang masuk dari log Cloud Storage. Kemudian, parser memetakan kolom yang relevan ke model data terpadu (UDM), memperkaya data dengan label dan metadata untuk representasi dan analisis yang konsisten dalam ekosistem keamanan.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps.
  • Cloud Storage sudah disiapkan dan aktif di lingkungan Google Cloud Anda.
  • Akses istimewa ke Google Cloud dan izin yang sesuai.

Membuat bucket Cloud Storage

  1. Login ke Google Cloud console.
  2. Buka halaman Cloud Storage Buckets.

    Buka Bucket

  3. Klik Buat.

  4. Di halaman Buat bucket, masukkan informasi bucket Anda. Setelah menyelesaikan setiap langkah berikut, klik Continue untuk melanjutkan ke langkah berikutnya:

    1. Di bagian Get started, lakukan tindakan berikut:

      1. Masukkan nama unik yang memenuhi persyaratan nama bucket; misalnya, google-storage-context-logs.
      2. Untuk mengaktifkan namespace hierarkis, klik panah peluas untuk meluaskan bagian Optimize for file oriented and data-intensive workloads, lalu pilih Enable Hierarchical namespace on this bucket.

      3. Untuk menambahkan label bucket, klik panah peluas untuk meluaskan bagian Labels.

      4. Klik Add label, lalu tentukan kunci dan nilai untuk label Anda.

    2. Di bagian Choose where to store your data, lakukan tindakan berikut:

      1. Pilih Location type.
      2. Gunakan menu jenis lokasi untuk memilih Location tempat data objek dalam bucket Anda akan disimpan secara permanen.

      3. Untuk menyiapkan replikasi lintas bucket, luaskan bagian Set up cross-bucket replication.

    3. Di bagian Choose a storage class for your data, pilih default storage class untuk bucket, atau pilih Autoclass untuk pengelolaan kelas penyimpanan otomatis untuk data bucket Anda.

    4. Di bagian Choose how to control access to objects, pilih not untuk menerapkan public access prevention, lalu pilih access control model untuk objek bucket Anda.

    5. Di bagian Choose how to protect object data, lakukan hal berikut:

      1. Pilih salah satu opsi di bagian Perlindungan data yang ingin Anda tetapkan untuk bucket.
      2. Untuk memilih cara data objek Anda akan dienkripsi, klik panah peluas berlabel Data encryption, lalu pilih Data encryption method.
  5. Klik Create.

Mengonfigurasi ekspor log konteks Cloud Storage

  1. Login ke Google Cloud console.
  2. Buka Logging > Log Router.
  3. Klik Create Sink.
  4. Berikan parameter konfigurasi berikut:

    • Sink Name: masukkan nama yang bermakna; misalnya, Storage-Context-Sink.
    • Sink Destination: pilih Cloud Storage Storage dan masukkan URI untuk bucket Anda; misalnya, gs://google-storage-context-logs/.
    • Filter Log:

      logName="*storage*"
      resource.type="gcs_bucket"
      
  5. Klik Create.

Mengonfigurasi izin untuk Cloud Storage

  1. Buka IAM & Admin > IAM.
  2. Temukan akun layanan Cloud Logging.
  3. Berikan roles/storage.admin pada bucket.

Menyiapkan feed

Ada dua titik entri yang berbeda untuk menyiapkan feed di platform Google SecOps:

  • Settings > Data Management > Feeds > Add New Feed (Di platform khusus SIEM, Settings > Feeds > Add New Feed)
  • Content Hub > Paket Konten > Mulai

Cara menyiapkan feed konteks Cloud Storage

  1. Klik paket Google Cloud Compute platform.
  2. Temukan jenis log GCP Google Cloud Storage Context, lalu klik Add new feed.
  3. Tentukan nilai untuk kolom berikut:

    • Source Type: Google Cloud Storage V2.
    • Storage Bucket URI: URL bucket Cloud Storage; misalnya, gs://compute-context-logs/. URL ini harus diakhiri dengan garis miring (/).
    • Opsi penghapusan sumber: pilih opsi penghapusan sesuai preferensi Anda.
  • Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.

Opsi lanjutan

  • Nama Feed: Nilai yang diisi otomatis yang mengidentifikasi feed.
  • Namespace Aset: Namespace yang terkait dengan feed.
  • Label Penyerapan: Label yang diterapkan ke semua peristiwa dari feed ini.
  1. Klik Buat feed.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi beberapa feed untuk berbagai jenis log dalam kelompok produk ini, lihat Mengonfigurasi feed menurut produk.

Tabel Pemetaan UDM

Kolom log pemetaan UDM Logika
ancestor event.idm.entity.entity.resource.attribute.labels.value Nilai ancestor diekstrak dari array ancestors di log mentah.
assetType event.idm.entity.entity.resource.type Dipetakan langsung dari kolom assetType di log mentah.
insertId event.idm.entity.metadata.product_entity_id Dipetakan langsung dari kolom insertId di log mentah.
labels.compute.googleapis.com/resource_name event.idm.entity.entity.resource.name Dipetakan langsung dari kolom labels.compute.googleapis.com/resource_name di log mentah.
labels.k8s-pod/controller-revision-hash event.idm.entity.entity.file.sha1 Dipetakan langsung dari kolom labels.k8s-pod/controller-revision-hash di log mentah.
labels.k8s-pod/name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom labels.k8s-pod/name di log mentah.
labels.k8s-pod/pod-template-generation event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom labels.k8s-pod/pod-template-generation di log mentah.
logName event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom logName di log mentah.
nama event.idm.entity.entity.resource.name Dipetakan langsung dari kolom nama di log mentah.
receiveTimestamp event.idm.entity.entity.resource.attribute.creation_time Dikonversi ke format stempel waktu dari kolom receiveTimestamp di log mentah.
resource.data.iamConfiguration.publicAccessPrevention event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.iamConfiguration.publicAccessPrevention di log mentah.
resource.data.id event.idm.entity.entity.resource.product_object_id Dipetakan langsung dari kolom resource.data.id di log mentah.
resource.data.kind event.idm.entity.entity.resource.type Dipetakan langsung dari kolom resource.data.kind di log mentah.
resource.data.labels.app_id event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.app_id di log mentah.
resource.data.labels.app_name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.app_name di log mentah.
resource.data.labels.bucket_id event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.bucket_id di log mentah.
resource.data.labels.data_classification event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.data_classification di log mentah.
resource.data.labels.dept_name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.dept_name di log mentah.
resource.data.labels.dept_no event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.dept_no di log mentah.
resource.data.labels.environment event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.environment di log mentah.
resource.data.labels.goog-composer-environment event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.goog-composer-environment di log mentah.
resource.data.labels.goog-composer-location event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.goog-composer-location di log mentah.
resource.data.labels.goog-composer-version event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.goog-composer-version di log mentah.
resource.data.labels.technical_contact event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.technical_contact di log mentah.
resource.data.labels.type event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.data.labels.type di log mentah.
resource.data.location event.idm.entity.entity.location.name Dipetakan langsung dari kolom resource.data.location di log mentah.
resource.data.projectNumber event.idm.entity.entity.resource.attribute.cloud.project.id Dipetakan langsung dari kolom resource.data.projectNumber di log mentah.
resource.data.selfLink event.idm.entity.entity.url Dipetakan langsung dari kolom resource.data.selfLink di log mentah.
resource.data.timeCreated event.idm.entity.entity.resource.attribute.creation_time Dikonversi ke format stempel waktu dari kolom resource.data.timeCreated di log mentah.
resource.data.updated event.idm.entity.entity.resource.attribute.last_update_time Dikonversi ke format stempel waktu dari kolom resource.data.updated di log mentah.
resource.discoveryDocumentUri event.idm.entity.entity.file.full_path Dipetakan langsung dari kolom resource.discoveryDocumentUri di log mentah.
resource.labels.cluster_name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.labels.cluster_name di log mentah.
resource.labels.container_name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.labels.container_name di log mentah.
resource.labels.location event.idm.entity.entity.location.name Dipetakan langsung dari kolom resource.labels.location di log mentah.
resource.labels.namespace_name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.labels.namespace_name di log mentah.
resource.labels.pod_name event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.labels.pod_name di log mentah.
resource.labels.project_id event.idm.entity.entity.resource.attribute.cloud.project.id Dipetakan langsung dari kolom resource.labels.project_id di log mentah.
resource.parent event.idm.entity.entity.resource.parent Dipetakan langsung dari kolom resource.parent di log mentah.
resource.type event.idm.entity.entity.resource.type Dipetakan langsung dari kolom resource.type di log mentah.
resource.version event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom resource.version di log mentah.
textPayload event.idm.entity.entity.resource.attribute.labels.value Dipetakan langsung dari kolom textPayload di log mentah.
T/A event.idm.entity.metadata.collected_timestamp Stempel waktu yang dikumpulkan adalah stempel waktu entri log.
T/A event.idm.entity.metadata.entity_type Dihardcode ke RESOURCE.
T/A event.idm.entity.metadata.product_name Dihardcode ke GCP Storage Context.
T/A event.idm.entity.metadata.vendor_name Dihardcode ke Google Cloud Platform.
T/A event.idm.entity.entity.resource.attribute.cloud.environment Dihardcode ke GOOGLE_CLOUD_PLATFORM.
T/A event.idm.entity.entity.resource.resource_type Dihardcode ke STORAGE_BUCKET.
T/A event.timestamp Stempel waktu peristiwa adalah stempel waktu entri log.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.