Mengumpulkan Log Aliran Traffic Amazon VPC Transit Gateway

Versi Parser: 3.0

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap Log Aliran Amazon VPC Transit Gateway ke Google Security Operations menggunakan Amazon S3 atau Amazon Kinesis Data Firehose. Log Aliran Gateway Transit merekam metadata traffic jaringan yang mendetail (IP sumber dan tujuan, port, protokol, jumlah byte dan paket, tindakan) di seluruh lampiran Gateway Transit Anda. Data ini memungkinkan pemantauan keamanan, deteksi anomali, dan audit kepatuhan dalam Google SecOps.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps.
• Akses istimewa ke AWS dengan izin untuk:
  • Membuat dan mengelola log alur Transit Gateway
  • Buat bucket S3 (untuk opsi ekspor S3)
  • Membuat pengguna, kebijakan, dan peran IAM
  • Mengonfigurasi aliran pengiriman Kinesis Data Firehose (untuk opsi Firehose)
  • Akses CloudWatch Logs dan buat filter langganan (untuk opsi Firehose)

Opsi - Ekspor ke Amazon S3

Mengaktifkan Log Aliran Transit Gateway (ke S3)

1. Buka konsol Amazon VPC di https://console.aws.amazon.com/vpc/.
2. Di panel navigasi, pilih Transit gateway.
3. Centang kotak untuk satu atau beberapa gateway transit, lalu pilih Actions > Create flow log.
4. Untuk Tujuan, pilih Kirim ke bucket Amazon S3.

5. Untuk ARN bucket S3, masukkan ARN bucket S3 yang ada (misalnya, arn:aws:s3:::tgw-flowlogs-bucket).

   Catatan: Anda dapat menyertakan jalur subfolder dalam ARN (misalnya, arn:aws:s3:::tgw-flowlogs-bucket/flow-logs/).

6. Untuk Log record format, pilih format untuk catatan log alur:

   • Format default AWS - mencakup semua kolom versi 2 hingga versi 6.
   • Format kustom - hanya pilih kolom yang Anda butuhkan.

7. Untuk Format file log, pilih Teks (default) atau Parquet.

8. Untuk Awalan S3 yang kompatibel dengan Hive, pilih Aktifkan secara opsional untuk menggunakan awalan yang kompatibel dengan Hive untuk partisi.

9. Untuk Partisi log menurut waktu, pilih Setiap 1 jam (60 menit) atau Setiap 24 jam (1440 menit).

10. (Opsional) Pilih Tambahkan tag baru untuk menerapkan tag ke log alur.

11. Klik Create flow log.

Buat bucket Amazon S3

Catatan: Lewati bagian ini jika Anda sudah memiliki bucket S3 untuk log alur Transit Gateway.

1. Buka konsol Amazon S3.
2. Klik Create bucket.
3. Berikan detail konfigurasi berikut:
   • Nama bucket: Masukkan nama unik (misalnya, tgw-flowlogs-bucket)
   • Wilayah AWS: Pilih Wilayah yang sama dengan tempat Transit Gateway Anda berada
4. Klik Create bucket.

Membuat pengguna IAM dengan akses ke Amazon S3

1. Buka IAM console.
2. Klik Pengguna > Tambahkan pengguna.
3. Masukkan nama pengguna (misalnya, chronicle-tgw-s3-reader).
4. Pilih Akses terprogram.
5. Klik Berikutnya: Izin.
6. Pilih Lampirkan kebijakan yang ada secara langsung.
7. Telusuri dan pilih kebijakan AmazonS3ReadOnlyAccess.
8. Klik Berikutnya: Tag > Berikutnya: Tinjau > Buat pengguna.
9. Salin ID Kunci Akses dan Kunci Akses Rahasia untuk konfigurasi feed Google SecOps.

Mengonfigurasi feed di Google SecOps untuk memproses Log Aliran Traffic Amazon VPC Transit Gateway (S3)

1. Buka Setelan SIEM > Feed.
2. Klik Tambahkan Feed Baru.
3. Di kolom Nama feed, masukkan nama untuk feed (misalnya, AWS Transit Gateway Flow Logs - S3).
4. Pilih Amazon S3 sebagai Jenis sumber.
5. Pilih Amazon VPC Transit Gateway Flow Logs sebagai Jenis log.
6. Klik Berikutnya.

7. Tentukan nilai untuk parameter input berikut:

   • URI S3: URI bucket (misalnya, s3://tgw-flowlogs-bucket/flow-logs/)
   Catatan: Sertakan garis miring (/) di akhir URI S3.
   • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda:
     • Jangan pernah: Tidak pernah menghapus file apa pun setelah transfer.
     • Hapus file yang ditransfer: Menghapus file setelah transfer berhasil.
     • Hapus file yang ditransfer dan direktori kosong: Menghapus file dan direktori kosong setelah transfer berhasil.
   • Usia File Maksimum: Menyertakan file yang diubah dalam beberapa hari terakhir (defaultnya adalah 180 hari)
   • ID Kunci Akses: Kunci akses pengguna IAM dengan akses ke bucket S3
   • Kunci Akses Rahasia: Kunci rahasia pengguna IAM dengan akses ke bucket S3
   • Namespace aset: Namespace aset
   • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini

8. Klik Berikutnya.

9. Tinjau konfigurasi feed, lalu klik Kirim.

Opsi - Streaming melalui Amazon Kinesis Data Firehose

Mengaktifkan Log Alur Transit Gateway (ke CloudWatch Logs)

1. Buka konsol Amazon VPC di https://console.aws.amazon.com/vpc/.
2. Di panel navigasi, pilih Transit gateway.
3. Centang kotak untuk satu atau beberapa gateway transit, lalu pilih Actions > Create flow log.
4. Untuk Destination, pilih Send to CloudWatch Logs.

5. Untuk Destination log group, pilih grup log yang ada atau masukkan nama baru untuk membuatnya (misalnya, /aws/tgw/flowlogs).

   Catatan: Jika grup log tujuan belum ada, memasukkan nama baru akan membuatnya secara otomatis.

6. Untuk peran IAM, tentukan peran yang memiliki izin untuk memublikasikan log ke CloudWatch Logs.

7. Untuk Log record format, pilih format untuk catatan log alur:

   • Format default AWS - mencakup semua kolom versi 2 hingga versi 6.
   • Format kustom - hanya pilih kolom yang Anda butuhkan.

8. (Opsional) Pilih Tambahkan tag baru untuk menerapkan tag ke log alur.

9. Klik Create flow log.

Membuat feed di Google SecOps untuk menyerap Log Aliran Traffic Amazon VPC Transit Gateway (Firehose)

1. Buka Setelan SIEM > Feed.
2. Klik Tambahkan Feed Baru.
3. Di kolom Nama feed, masukkan nama untuk feed (misalnya, AWS Transit Gateway Flow Logs - Firehose).
4. Pilih Amazon Data Firehose sebagai Jenis sumber.
5. Pilih Amazon VPC Transit Gateway Flow Logs sebagai Jenis log.
6. Klik Berikutnya.
7. Tentukan nilai untuk parameter input berikut:
   • Pemisah pemisahan: Masukkan \n
   • Namespace aset: Namespace aset
   • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini
8. Klik Berikutnya.
9. Tinjau konfigurasi feed, lalu klik Kirim.
10. Klik Buat Kunci Rahasia untuk membuat kunci rahasia guna mengautentikasi feed ini.
11. Salin dan simpan kunci rahasia. Anda tidak dapat melihat rahasia ini lagi.
12. Buka tab Detail.
13. Salin URL endpoint feed dari kolom Endpoint Information.
14. Klik Done.

Membuat kunci API untuk feed Amazon Data Firehose

1. Buka halaman Credentials Konsol Google Cloud di https://console.cloud.google.com/apis/credentials.
2. Klik Create credentials, lalu pilih API key.
3. Klik Edit API key untuk membatasi kunci.
4. Di bagian Pembatasan API, pilih Batasi kunci.
5. Cari dan pilih Google SecOps API.
6. Klik Simpan.
7. Salin dan simpan kunci API.

Buat URL endpoint

• Tambahkan kunci API ke URL endpoint feed dalam format berikut:

  <FEED_ENDPOINT_URL>?key=<API_KEY>
  

Ganti kode berikut:

• <FEED_ENDPOINT_URL>: URL endpoint feed

• <API_KEY>: Kunci API

• Contoh:

  https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=AIzaSyD...
  

Simpan URL lengkap ini untuk langkah berikutnya.

Membuat kebijakan IAM untuk Firehose

1. Di AWS Console, buka IAM > Policies > Create policy > JSON tab.

2. Tempelkan JSON kebijakan berikut:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "firehose:PutRecord",
                   "firehose:PutRecordBatch"
               ],
               "Resource": "arn:aws:firehose:<REGION>:<ACCOUNT_ID>:deliverystream/<DELIVERY_STREAM_NAME>"
           }
       ]
   }
   

3. Ganti kode berikut:

   • <REGION>: Region AWS Anda (misalnya, us-east-1)
   • <ACCOUNT_ID>: ID akun AWS Anda (angka 12 digit)
   • <DELIVERY_STREAM_NAME>: Nama aliran pengiriman Firehose Anda (Anda akan membuatnya di langkah berikutnya)

4. Beri nama kebijakan TGWFlowLogsToFirehosePolicy (misalnya) lalu klik Buat kebijakan.

Buat peran IAM untuk CloudWatch Logs

1. Buka IAM > Roles > Create role.

2. Pilih Custom trust policy dan tempel:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": "logs.<REGION>.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }
   

3. Ganti <REGION> dengan Region AWS Anda.

4. Klik Berikutnya.

5. Telusuri dan pilih kebijakan TGWFlowLogsToFirehosePolicy.

6. Klik Berikutnya.

7. Beri nama peran TGWFlowLogsToFirehoseRole (misalnya), lalu klik Buat peran.

Buat aliran pengiriman Kinesis Data Firehose

1. Di AWS Console, buka Kinesis > Data Firehose > Create delivery stream.

2. Berikan detail konfigurasi berikut:

   • Sumber dan tujuan:

     • Sumber: Pilih PUT langsung atau sumber lainnya
     • Tujuan: Pilih Endpoint HTTP

   • Nama aliran pengiriman:

     • Nama aliran pengiriman: Masukkan nama (misalnya, tgw-flowlogs-to-secops)

   • Tujuan endpoint HTTP:

     • URL endpoint HTTP: Masukkan URL endpoint lengkap yang Anda buat (endpoint feed + kunci API)
     • Encoding konten: Pilih GZIP

   • Header HTTP kustom:

     • Klik Tambahkan header HTTP kustom
     • Nama header: Masukkan X-Goog-Chronicle-Auth
     • Nilai header: Masukkan kunci rahasia yang Anda simpan dari langkah pembuatan feed

   • Setelan pencadangan:

     • Pencadangan rekaman sumber di Amazon S3: Pilih Data yang gagal saja
     • Bucket S3: Pilih bucket yang ada atau buat bucket baru untuk data yang gagal

   • Petunjuk buffer:

     • Ukuran buffer: Masukkan 1 MiB
     • Interval buffer: Masukkan 60 detik

3. Klik Buat aliran pengiriman.

4. Tunggu hingga status aliran pengiriman berubah menjadi Aktif.

Berlangganan Grup Log CloudWatch ke Firehose

1. Di Konsol AWS, buka CloudWatch > Logs > Log groups.
2. Pilih grup log alur Transit Gateway (misalnya, /aws/tgw/flowlogs).
3. Klik tab Filter langganan.
4. Klik Buat > Buat filter langganan Amazon Kinesis Data Firehose.
5. Berikan detail konfigurasi berikut:
   • Tujuan: Pilih aliran pengiriman tgw-flowlogs-to-secops
   • Beri izin: Pilih peran TGWFlowLogsToFirehoseRole
   • Nama filter langganan: Masukkan nama (misalnya, tgw-flowlogs-to-chronicle)
   • Format log: Pilih Lainnya
   • Pola filter langganan: Biarkan kosong untuk mengirim semua peristiwa
6. Klik Mulai streaming.

Tabel pemetaan UDM

Kolom Log	Pemetaan UDM	Logika
packets_lost_blackhole_label	additional.fields	Digabung
packets_lost_mtu_exceeded_label	additional.fields	Digabung
packets_lost_no_route_label	additional.fields	Digabung
packets_lost_ttl_expired_label	additional.fields	Digabung
start_time_label	additional.fields	Digabung
tcp_flags_label	additional.fields	Digabung
tgw_attachment_id_label	additional.fields	Digabung
tgw_id_label	additional.fields	Digabung
tgw_pair_attachment_id_label	additional.fields	Digabung
type_label	additional.fields	Digabung
end_time	metadata.event_timestamp	Diurai sebagai UNIX
event_type	metadata.event_type	Dipetakan secara langsung
account_id	metadata.product_log_id	Dipetakan secara langsung
version	metadata.product_version	Dipetakan secara langsung
flow_direction	network.direction	Dipetakan: (?i)ingress → INBOUND, (?i)egress → OUTBOUND
bytes	network.sent_bytes	Dipetakan secara langsung
packets	network.sent_packets	Dipetakan secara langsung
tgw_src_eni	principal.asset.asset_id	Dipetakan secara langsung
srcaddr	principal.asset.ip	Digabung
srcaddr	principal.ip	Digabung
region	principal.location.country_or_region	Dipetakan secara langsung
tgw_src_az_id	principal.location.country_or_region	Dipetakan secara langsung
srcport	principal.port	Dipetakan secara langsung
pkt_src_aws_service_label	principal.resource.attribute.labels	Digabung
tgw_src_az_id_label	principal.resource.attribute.labels	Digabung
tgw_src_subnet_id	principal.resource.name	Dipetakan secara langsung
tgw_src_vpc_id	principal.resource.product_object_id	Dipetakan secara langsung
resource_type	principal.resource.resource_subtype	Dipetakan secara langsung
tgw_src_vpc_account_id	principal.user.userid	Dipetakan secara langsung
security_result_action	security_result.action	Digabung
protocol_label	security_result.detection_fields	Digabung
tgw_dst_eni	target.asset.asset_id	Dipetakan secara langsung
dstaddr	target.asset.ip	Digabung
dstaddr	target.ip	Digabung
tgw_dst_az_id	target.location.country_or_region	Dipetakan secara langsung
dstport	target.port	Dipetakan secara langsung
pkt_dst_aws_service_label	target.resource.attribute.labels	Digabung
tgw_dst_subnet_id	target.resource.name	Dipetakan secara langsung
tgw_dst_vpc_id	target.resource.product_object_id	Dipetakan secara langsung
tgw_dst_vpc_account_id	target.user.userid	Dipetakan secara langsung
T/A	metadata.product_name	Konstanta: AWS VPC Transit Gateway
T/A	metadata.vendor_name	Konstanta: AWS
T/A	network.direction	Konstanta: INBOUND

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.