Mengumpulkan log Amazon CloudFront
Versi Parser: 10.0
Dokumen ini menjelaskan cara mengumpulkan log Amazon CloudFront dengan menyiapkan feed Google Security Operations.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan penyerapan data ke Google Security Operations.
Label penyerapan mengidentifikasi parser yang menormalisasi data log mentah
ke format UDM terstruktur. Informasi dalam dokumen ini berlaku untuk parser dengan label penyerapan AWS_CLOUDFRONT.
Sebelum memulai
Pastikan bucket Amazon S3 telah dibuat. Untuk mengetahui informasi selengkapnya, lihat Membuat bucket S3 pertama Anda.
Mengonfigurasi Amazon CloudFront
- Login ke konsol AWS Management.
- Akses konsol Amazon S3, dan buat bucket Amazon S3.
- Klik On untuk mengaktifkan logging.
- Di kolom Bucket for logs, tentukan nama bucket Amazon S3.
- Di kolom Log prefix, tentukan awalan opsional.
- Setelah file log disimpan di bucket Amazon S3, buat antrean SQS, dan lampirkan dengan bucket Amazon S3.
Mengidentifikasi endpoint untuk konektivitas
Periksa kebijakan pengguna IAM dan kunci KMS yang diperlukan untuk S3, SQS, dan KMS.
Berdasarkan layanan dan region, identifikasi endpoint untuk konektivitas dengan merujuk ke dokumentasi AWS berikut:
- Untuk mengetahui informasi tentang sumber logging, lihat Endpoint dan kuota AWS IAM.
- Untuk mengetahui informasi tentang sumber logging S3, lihat Endpoint dan kuota Amazon Simple Storage Service.
- Untuk mengetahui informasi tentang sumber logging SQS, lihat Endpoint dan kuota Amazon Simple Queue Service.
Menyiapkan feed
Ada dua titik entri yang berbeda untuk menyiapkan feed di platform Google SecOps:
- Settings > Data Management > Feeds > Add New Feed (Di platform khusus SIEM, Settings > Feeds > Add New Feed)
- Content Hub > Paket Konten > Mulai
Cara menyiapkan feed AWS CloudFront
- Klik paket Amazon Cloud Platform.
- Temukan jenis log AWS CloudFront.
Tentukan nilai di kolom berikut.
- Source Type: Amazon SQS V2
- Queue Name: Nama antrean SQS yang akan dibaca
- S3 URI: URI bucket.
s3://your-log-bucket-name/- Ganti
your-log-bucket-namedengan nama sebenarnya bucket S3 Anda.
- Ganti
Opsi penghapusan sumber: Pilih opsi penghapusan sesuai dengan preferensi penyerapan Anda.
Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.
SQS Queue Access Key ID: Kunci akses akun yang merupakan string alfanumerik 20 karakter.
SQS Queue Secret Access Key: Kunci akses akun yang merupakan string alfanumerik 40 karakter.
Opsi lanjutan
- Nama Feed: Nilai yang diisi otomatis yang mengidentifikasi feed.
- Namespace Aset: Namespace yang terkait dengan feed.
- Label Penyerapan: Label yang diterapkan ke semua peristiwa dari feed ini.
Klik Buat feed.
Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi beberapa feed untuk berbagai jenis log dalam kelompok produk ini, lihat Mengonfigurasi feed menurut produk.
Referensi pemetaan kolom
Parser ini mengekstrak kolom dari log AWS CloudFront dalam format SYSLOG atau JSON, lalu menormalisasikannya ke dalam UDM. Logstash menggunakan pola grok untuk mengurai string pesan, menangani berbagai transformasi data (misalnya, konversi jenis, penggantian nama), dan memperkaya data dengan konteks tambahan seperti penguraian agen pengguna dan identifikasi protokol aplikasi.
Tabel pemetaan UDM
| Kolom Log | Pemetaan UDM | Logika |
|---|---|---|
c-ip |
principal.ip |
Dipetakan secara langsung. Juga dipetakan ke principal.asset.ip. |
c-port |
principal.port |
Dipetakan secara langsung. |
cs(Cookie) |
additional.fields[].key: "cookie"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika cs(Cookie) ada dan agent tidak berisi "://". |
cs(Host) |
principal.hostname |
Dipetakan secara langsung. Juga dipetakan ke principal.asset.hostname. Digunakan dalam membuat target.url jika kolom URL lainnya tidak tersedia. |
cs(Referer) |
network.http.referral_url |
Dipetakan secara langsung. |
cs(User-Agent) |
network.http.user_agent |
Dipetakan secara langsung. Juga dipetakan ke network.http.parsed_user_agent dan diuraikan menjadi komponennya jika tidak berisi "://". |
cs-bytes |
network.sent_bytes |
Dipetakan secara langsung. Dikonversi ke bilangan bulat yang tidak bertanda tangan. |
cs-method |
network.http.method |
Dipetakan secara langsung. |
cs-protocol |
network.application_protocol |
Dipetakan setelah dikonversi ke huruf besar. Jika nilai tidak dikenali sebagai protokol aplikasi standar dan cs-protocol-version berisi "HTTP", network.application_protocol akan ditetapkan ke "HTTP". |
dport |
target.port |
Dipetakan secara langsung. Dikonversi ke bilangan bulat. |
edge_location |
principal.location.name |
Dipetakan secara langsung. |
fle-encrypted-fields |
additional.fields[].key: "fle-encrypted-fields"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
fle-status |
additional.fields[].key: "fle-status"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
host |
principal.hostname, principal.asset.hostname |
Dipetakan secara langsung. |
id |
principal.asset_id |
Dipetakan langsung dengan awalan "id: ". |
ip |
target.ip, target.asset.ip |
Dipetakan secara langsung. |
log_id |
metadata.product_log_id |
Dipetakan secara langsung. |
resource |
additional.fields[].key: "resource"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
result_type |
additional.fields[].key: "result_type"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
sc-bytes |
network.received_bytes |
Dipetakan secara langsung. Dikonversi ke bilangan bulat yang tidak bertanda tangan. |
sc-content-len |
additional.fields[].key: "sc-content-len"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
sc-content-type |
additional.fields[].key: "sc-content-type"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
sc-status |
network.http.response_code |
Dipetakan secara langsung. Dikonversi ke bilangan bulat. |
ssl-cipher |
network.tls.cipher |
Dipetakan secara langsung. |
ssl-protocol |
network.tls.version |
Dipetakan secara langsung. |
timestamp |
metadata.event_timestamp |
Diurai dan dipetakan jika tersedia. Format yang berbeda didukung. |
ts |
metadata.event_timestamp |
Diurai dan dipetakan jika tersedia. Format ISO8601 diharapkan. |
url |
target.url |
Dipetakan secara langsung. |
url_back_to_product |
metadata.url_back_to_product |
Dipetakan secara langsung. |
x-edge-detailed-result-type |
additional.fields[].key: "x-edge-detailed-result-type"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
x-edge-location |
additional.fields[].key: "x-edge-location"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
x-edge-request-id |
additional.fields[].key: "x-edge-request-id"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
x-edge-response-result-type |
additional.fields[].key: "x-edge-response-result-type"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
x-edge-result-type |
additional.fields[].key: "x-edge-result-type"additional.fields[].value.string_value: Dipetakan secara langsung. |
Dipetakan secara bersyarat jika ada. |
x-forwarded-for |
target.ip, target.asset.ip |
Dipetakan secara langsung. Jika ada beberapa IP (dipisahkan koma), IP tersebut akan dipisahkan dan digabungkan ke dalam kolom UDM masing-masing. |
x-host-header |
target.hostname, target.asset.hostname |
Dipetakan secara langsung. Tetapkan ke "NETWORK_HTTP" jika ip atau x-forwarded-for dan http_verb ada. Jika tidak, tetapkan ke "GENERIC_EVENT". Dihardcode ke "AWS_CLOUDFRONT". Diprogram ke "AWS CloudFront". Diprogram secara permanen ke "AMAZON". Waktu penyerapan entri log ke Google Security Operations. |
cs_cookie |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
time-taken |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
time-to-first-byte |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
cribl_pipe |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
cs-referer |
event.idm.read_only_udm.network.http.referer |
Dipetakan dari log perubahan |
cs-uri-query |
event.idm.read_only_udm.network.http.url_details.query |
Dipetakan dari log perubahan |
cs-user-agent |
event.idm.read_only_udm.network.http.user_agent |
Dipetakan dari log perubahan |
cs-uri-stem |
event.idm.read_only_udm.target.url |
Dipetakan dari log perubahan |
x-forwarded-for |
security_result.detection_fields |
Dipetakan dari log perubahan |
avgrequestTime |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
htmlType |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
responseTime |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
securityKey |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
bytes |
event.idm.read_only_udm.network.sent_bytes |
Dipetakan dari log perubahan |
srcport |
event.idm.read_only_udm.src.port |
Dipetakan dari log perubahan |
encryptionType |
event.idm.read_only_udm.security_result.about.resource.name |
Dipetakan dari log perubahan |
hostname |
event.idm.read_only_udm.principal.hostname |
Dipetakan dari log perubahan |
scrip |
event.idm.read_only_udm.src.ip |
Dipetakan dari log perubahan |
targetip |
event.idm.read_only_udm.target.ip |
Dipetakan dari log perubahan |
targetip |
event.idm.read_only_udm.target.asset.ip |
Dipetakan dari log perubahan |
tlsvVersion |
event.idm.read_only_udm.network.tls.version |
Dipetakan dari log perubahan |
CloudFront-Is-Desktop-Viewer |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
CloudFront-Is-Mobile-Viewer |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
CloudFront-Is-SmartTV-Viewer |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
CloudFront-Is-Tablet-Viewer |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
vDetails |
event.idm.read_only_udm.network.http.user_agent |
Dipetakan dari log perubahan |
x-envoy-expected-rq-timeout-ms |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
x-envoy-external-address |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
x-envoy-original-authority |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
x-f5-cdn-tls-ja3 |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
x-f5-cdn-tls-ja4 |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
x-forwarded-proto |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
xc-trusted-source |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
ipType |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
method |
event.idm.read_only_udm.network.http.method |
Dipetakan dari log perubahan |
x-request-id |
event.idm.read_only_udm.metadata.product_log_id |
Dipetakan dari log perubahan |
version |
event.idm.read_only_udm.metadata.product_log_id |
Dipetakan dari log perubahan |
requestCode |
event.idm.read_only_udm.network.http.response_code |
Dipetakan dari log perubahan |
ipAddress |
event.idm.read_only_udm.principal.ip |
Dipetakan dari log perubahan |
uri_query |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
Bucket |
target.resource.name |
Dipetakan dari log perubahan |
accountID |
principal.user.userid |
Dipetakan dari log perubahan |
file |
target.file.full_path |
Dipetakan dari log perubahan |
region |
principal.location.country_or_region |
Dipetakan dari log perubahan |
msg |
metadata.description |
Dipetakan dari log perubahan |
service", "aggregation", "func", "requestID", "lpcltype", "lpclagg", "level" and "LoggingEnabled |
additional.fields |
Dipetakan dari log perubahan |
Log Perubahan
Melihat Log Perubahan untuk parser ini
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.