Mengumpulkan log SFTP VanDyke VShell
Dokumen ini menjelaskan cara menyerap log SFTP VanDyke VShell ke Google Security Operations menggunakan Bindplane dengan Syslog atau Amazon S3 dengan penerusan log.
Sebelum memulai
Pastikan Anda memiliki prasyarat berikut:
- Instance Google SecOps
- Akses istimewa ke server atau konsol pengelolaan VanDyke VShell
- Untuk Opsi 1: Host Windows 2016 atau yang lebih baru atau Linux dengan
systemduntuk agen Bindplane - Untuk Opsi 2: Akun AWS dengan akses S3 dan NXLog/Fluent Bit di server VShell
Mendapatkan kredensial Google SecOps untuk agen Bindplane
Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:
- Deployment baru: Gunakan Chronicle API (Opsi 1).
- Deployment lama: Terus gunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.
Opsi 1: Membuat akun layanan untuk Chronicle API (direkomendasikan)
- Login ke konsolGoogle Cloud dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
- Buka IAM & Admin > Service Accounts.
- Klik Create service account.
- Berikan detail konfigurasi berikut:
- Service account name: Masukkan nama akun (misalnya,
bindplane-ingest). - Service account description: Masukkan deskripsi (misalnya,
Bindplane agent log ingestion).
- Service account name: Masukkan nama akun (misalnya,
- Klik Create and continue.
- Di bagian Grant this service account access to project, klik Select a role, lalu pilih Chronicle Editor.
- Klik Continue lalu klik Done.
- Klik akun layanan yang Anda buat, lalu buka tab Keys.
- Klik Add key > Create new key.
- Pilih JSON dan klik Create. File kunci akan didownload ke komputer Anda.
- Simpan file kunci sebagai
ingestion-auth.jsondi direktori kolektor Bindplane (/opt/observiq-otel-collector/ingestion-auth.jsondi Linux atauC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsondi Windows), atau perbaruicreds_file_pathdiconfig.yamlagar sesuai dengan jalur tempat Anda menyimpannya. - Buka IAM & Admin > Settings dan salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.
Opsi 2: Mendownload file autentikasi penyerapan (lama)
- Login ke konsol Google SecOps.
- Buka Settings > Data Management > Collection Agents. Jika Anda menggunakan platform khusus SIEM, buka Settings > Collection Agents.
- Download file autentikasi penyerapan.
- Simpan file dengan aman di sistem tempat agen Bindplane akan diinstal.
Mendapatkan ID pelanggan Google SecOps
- Login ke konsol Google SecOps.
- Buka Setelan > Administrasi > Profil. Jika Anda menggunakan platform khusus SIEM, buka Settings > Profile.
- Salin dan simpan ID Pelanggan dari bagian Detail Organisasi.
Opsi 1: Integrasi melalui Bindplane dan Syslog
Opsi ini menyediakan streaming log real-time dengan latensi minimal dan direkomendasikan untuk sebagian besar deployment.
Menginstal agen Bindplane
Instal agen Bindplane di sistem operasi Windows atau Linux Anda sesuai dengan petunjuk berikut.
Penginstalan Windows
- Buka Command Prompt atau PowerShell sebagai administrator.
Jalankan perintah berikut:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
Penginstalan Linux
- Buka terminal dengan hak istimewa root atau sudo.
Jalankan perintah berikut:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
Referensi penginstalan tambahan
Untuk opsi penginstalan tambahan, lihat Panduan penginstalan agen Bindplane.
Mengonfigurasi agen BindPlane untuk menyerap Syslog dan mengirimkannya ke Google SecOps
Akses file konfigurasi:
- Cari file
config.yaml. Biasanya, file ini berada di direktori/opt/observiq-otel-collector/di Linux atau di direktori penginstalan di Windows. - Buka file menggunakan editor teks (misalnya,
nano,vi, atau Notepad).
- Cari file
Edit file
config.yamlsebagai berikut:receivers: udplog: # Replace the port and IP address as required listen_address: "0.0.0.0:514" exporters: chronicle/chronicle_w_labels: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip # Adjust the path to the credentials file you downloaded in Step 1 creds_file_path: '/path/to/ingestion-authentication-file.json' # Replace with your actual customer ID from Step 2 customer_id: YOUR_CUSTOMER_ID endpoint: chronicle.googleapis.com # Custom log type - requires parser extension log_type: 'VANDYKE_SFTP' raw_log_field: body ingestion_labels: service: pipelines: logs/source0__chronicle_w_labels-0: receivers: - udplog exporters: - chronicle/chronicle_w_labels- Ganti port dan alamat IP sesuai kebutuhan di infrastruktur Anda.
- Ganti
<LOCATION>dengan region instance Google SecOps Anda (misalnya,us,europe, atauasia-southeast1). Pengekspor akan mengawalichronicle.googleapis.comdengan nilai ini. - Ganti
<PROJECT_NUMBER>dengan nomor project dari IAM & Admin > Settings. - Ganti
YOUR_CUSTOMER_IDdengan ID Pelanggan yang sebenarnya. - Ganti
/path/to/ingestion-authentication-file.jsondengan jalur file tempat file kunci akun layanan (Opsi 1) disimpan. - Untuk TCP, bukan UDP, ganti
udplogdengantcplog.
Pengekspor API penyerapan lama
Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok
exportersdengan kode berikut. Tetapkancreds_file_pathke jalur ke file autentikasi penyerapan, dan jika instance Anda berada di luar AS, gantimalachiteingestion-pa.googleapis.comdengan endpoint regional Anda (misalnya,europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/chronicle_w_labels: compression: gzip # Adjust the path to the credentials file you downloaded in Step 1 creds_file_path: '/path/to/ingestion-authentication-file.json' # Replace with your actual customer ID from Step 2 customer_id: YOUR_CUSTOMER_ID endpoint: malachiteingestion-pa.googleapis.com # Custom log type - requires parser extension log_type: 'VANDYKE_SFTP' raw_log_field: body ingestion_labels:
Mulai ulang agen Bindplane untuk menerapkan perubahan
Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:
sudo systemctl restart observiq-otel-collectorUntuk memulai ulang agen Bindplane di Windows, Anda dapat menggunakan konsol Services atau memasukkan perintah berikut:
net stop observiq-otel-collector && net start observiq-otel-collector
Mengonfigurasi penerusan Syslog di VanDyke VShell
Untuk VShell di Windows
- Login ke VShell Control Panel.
- Buka setelan Logging.
- Konfigurasikan logging syslog jarak jauh:
- Aktifkan logging ke server syslog jarak jauh.
- Server address: Masukkan alamat IP Bindplane.
- Port: Masukkan 514 (atau port yang dikonfigurasi).
- Protocol: Pilih UDP (atau TCP jika dikonfigurasi).
- Grup pesan: Pilih Koneksi, Autentikasi, SFTP, FTPS, HTTPS, Error, Peringatan, dan Informasi.
- Klik Apply > OK.
Untuk VShell di Linux/macOS
- Edit file vshelld_config (biasanya
/etc/vshell/vshelld_config). Konfigurasikan parameter berikut:
SyslogFacility LOG_LOCAL3 LogLevel INFOKonfigurasikan syslog sistem Anda untuk meneruskan LOG_LOCAL3 ke agen Bindplane:
- Edit
/etc/rsyslog.confatau/etc/syslog-ng/syslog-ng.conf. - Tambahkan:
local3.* @bindplane-agent-ip:514(untuk UDP) ataulocal3.* @@bindplane-agent-ip:514(untuk TCP).
- Edit
Mulai ulang layanan VShell dan layanan syslog:
sudo systemctl restart vshelld sudo systemctl restart rsyslog
Opsi 2: Integrasi melalui AWS S3
Opsi ini berguna untuk lingkungan yang memerlukan pengarsipan log atau jika penerusan syslog langsung tidak memungkinkan. Perhatikan bahwa hal ini memerlukan pengirim log di server VShell karena AWS Lambda tidak dapat mengakses file lokal.
Mengonfigurasi bucket AWS S3 dan IAM untuk Google SecOps
- Buat bucket Amazon S3 dengan mengikuti panduan pengguna ini: Membuat bucket
- Simpan Name dan Region bucket untuk referensi di masa mendatang (misalnya,
vandyke-sftp-logs). - Buat Pengguna dengan mengikuti panduan pengguna ini: Membuat pengguna IAM.
- Pilih User yang dibuat.
- Pilih tab kredensial keamanan.
- Klik Create Access Key di bagian Access Keys.
- Pilih Layanan pihak ketiga sebagai Kasus penggunaan.
- Klik Berikutnya.
- Opsional: Tambahkan tag deskripsi.
- Klik Create access key.
- Klik Download .csv file untuk menyimpan Access Key dan Secret Access Key untuk referensi di masa mendatang.
- Klik Done.
- Pilih tab Permissions.
- Klik Add permissions di bagian Kebijakan Izin.
- Pilih Add permissions.
- Pilih Attach policies directly.
- Telusuri kebijakan AmazonS3FullAccess.
- Pilih kebijakan.
- Klik Berikutnya.
- Klik Add permissions.
Menginstal dan Mengonfigurasi Log Shipper di Server VShell
Pilih salah satu opsi berikut berdasarkan sistem operasi Anda:
Opsi A: Menggunakan NXLog (Windows)
- Download dan instal NXLog Community Edition dari nxlog.co.
Edit
C:\Program Files\nxlog\conf\nxlog.conf:<Extension json> Module xm_json </Extension> <Extension syslog> Module xm_syslog </Extension> <Input vshell_log> Module im_file File "C:\\Program Files\\VanDyke Software\\VShell\\Log\\VShell.log" SavePos TRUE <Exec> # Parse VShell log format if $raw_event =~ /^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) "(.*)"$/ { $EventTime = $1; $Protocol = $2; $EventType = $3; $SessionID = $4; $ClientIP = $5; $ClientPort = $6; $Username = $7; $Filename = $9; $BytesDown = $10; $BytesUp = $11; $ServerIP = $14; $ServerPort = $15; $EventMessage = $16; # Convert to JSON to_json(); } </Exec> </Input> <Output s3> Module om_exec Command C:\scripts\upload_to_s3.ps1 Args %FILEPATH% </Output> <Route vshell_to_s3> Path vshell_log => s3 </Route>Buat skrip PowerShell
C:\scripts\upload_to_s3.ps1:param([string]$FilePath) $bucket = "vandyke-sftp-logs" $key = "vshell/$(Get-Date -Format 'yyyy/MM/dd/HH')/$(Get-Date -Format 'yyyyMMddHHmmss').json" # Batch logs $logs = Get-Content $FilePath | ConvertFrom-Json $jsonLines = $logs | ForEach-Object { $_ | ConvertTo-Json -Compress } $content = $jsonLines -join "`n" # Upload to S3 Write-S3Object -BucketName $bucket -Key $key -Content $content -ProfileName defaultBuat profil kredensial AWS:
Set-AWSCredential -AccessKey YOUR_ACCESS_KEY -SecretKey YOUR_SECRET_KEY -StoreAs defaultJadwalkan skrip PowerShell untuk berjalan setiap 5 menit menggunakan Task Scheduler.
Opsi B: Menggunakan Fluent Bit (Linux)
Instal Fluent Bit:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | shKonfigurasikan
/etc/fluent-bit/fluent-bit.conf:[SERVICE] Flush 5 Daemon On Log_Level info [INPUT] Name tail Path /var/log/vshell/vshell.log Parser vshell_parser Tag vshell.* Refresh_Interval 5 Mem_Buf_Limit 10MB [PARSER] Name vshell_parser Format regex Regex ^(?<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (?<protocol>\S+) (?<event_type>\S+) (?<session_id>\S+) (?<client_ip>\S+) (?<client_port>\S+) (?<username>\S+) (?<dash>\S+) (?<filename>\S+) (?<bytes_down>\S+) (?<bytes_up>\S+) (?<field1>\S+) (?<field2>\S+) (?<server_ip>\S+) (?<server_port>\S+) "(?<event_message>[^"]*)" [OUTPUT] Name s3 Match vshell.* bucket vandyke-sftp-logs region us-east-1 use_put_object On total_file_size 5M upload_timeout 10s compression gzip s3_key_format /vshell/%Y/%m/%d/%H/%{hostname}_%{uuid}.json.gzKonfigurasikan kredensial AWS:
export AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_KEYMulai Fluent Bit:
sudo systemctl enable fluent-bit sudo systemctl start fluent-bit
Mengonfigurasi feed di Google SecOps untuk menyerap log VanDyke VShell
- Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
- Klik + Tambahkan Feed Baru.
- Di kolom Nama feed, masukkan nama untuk feed (misalnya,
VanDyke VShell SFTP logs). - Pilih Amazon S3 V2 sebagai Jenis sumber.
- Pilih VanDyke SFTP sebagai Log type (kustom).
- Klik Berikutnya.
- Tentukan nilai untuk parameter input berikut:
- S3 URI:
s3://vandyke-sftp-logs/vshell/ - Opsi penghapusan sumber: Pilih Pertahankan (direkomendasikan) atau opsi penghapusan sesuai preferensi Anda.
- Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.
- Access Key ID: Kunci akses pengguna dengan akses ke bucket S3.
- Secret Access Key: Kunci rahasia pengguna dengan akses ke bucket S3.
- Namespace aset: namespace aset.
- Label penyerapan: label yang diterapkan ke peristiwa dari feed ini.
- S3 URI:
- Klik Berikutnya.
- Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.
Tabel pemetaan UDM
| Kolom log | pemetaan UDM | Logika |
|---|---|---|
agent.id |
read_only_udm.observer.asset_id |
Menggabungkan "filebeat:" dengan nilai kolom agent.id |
agent.type |
read_only_udm.observer.application |
Memetakan nilai kolom agent.type secara langsung |
agent.version |
read_only_udm.observer.platform_version |
Memetakan nilai kolom agent.version secara langsung |
ecs.version |
read_only_udm.metadata.product_version |
Memetakan nilai kolom ecs.version secara langsung |
host.architecture |
read_only_udm.target.asset.hardware.cpu_platform |
Memetakan nilai kolom host.architecture secara langsung |
host.hostname |
read_only_udm.target.hostname |
Memetakan nilai kolom host.hostname secara langsung |
host.id |
read_only_udm.principal.asset_id |
Menggabungkan "VANDYKE_SFTP:" dengan nilai kolom host.id |
host.ip |
read_only_udm.target.ip |
Memetakan langsung setiap alamat IP dalam array host.ip ke kolom read_only_udm.target.ip terpisah |
host.mac |
read_only_udm.target.mac |
Memetakan langsung setiap alamat MAC dalam array host.mac ke kolom read_only_udm.target.mac yang terpisah |
host.os.kernel |
read_only_udm.target.platform_patch_level |
Memetakan nilai kolom host.os.kernel secara langsung |
host.os.platform |
read_only_udm.target.platform |
Memetakan nilai host.os.platform ke WINDOWS, LINUX, MAC, atau UNKNOWN_PLATFORM berdasarkan nilai |
host.os.version |
read_only_udm.target.platform_version |
Memetakan nilai kolom host.os.version secara langsung |
log.file.path |
read_only_udm.principal.process.file.full_path |
Memetakan nilai kolom log.file.path secara langsung |
logstash.collect.timestamp |
read_only_udm.metadata.collected_timestamp |
Mengurai stempel waktu dari kolom logstash.collect.timestamp dan mengonversinya menjadi objek stempel waktu |
logstash.irm_environment |
read_only_udm.additional.fields.value.string_value |
Memetakan nilai kolom logstash.irm_environment secara langsung. Kunci ditetapkan ke "irm_environment" |
logstash.irm_region |
read_only_udm.additional.fields.value.string_value |
Memetakan langsung nilai kolom logstash.irm_region. Kunci ditetapkan ke "irm_region" |
logstash.irm_site |
read_only_udm.additional.fields.value.string_value |
Memetakan nilai kolom logstash.irm_site secara langsung. Kunci ditetapkan ke "irm_site" |
logstash.process.host |
read_only_udm.observer.hostname |
Memetakan nilai kolom logstash.process.host secara langsung |
message |
Digunakan untuk mengekstrak berbagai kolom menggunakan pola grok dan ekspresi reguler | |
read_only_udm.metadata.event_type |
Tetapkan ke "NETWORK_FTP" | |
read_only_udm.metadata.log_type |
Tetapkan ke "VANDYKE_SFTP" | |
read_only_udm.metadata.product_event_type |
Diekstrak dari kolom pesan menggunakan pola grok | |
read_only_udm.metadata.product_name |
Tetapkan ke "VANDYKE_SFTP" | |
read_only_udm.metadata.vendor_name |
Tetapkan ke "VANDYKE SOFTWARE" | |
read_only_udm.network.application_protocol |
Setel ke "SSH" jika kolom deskripsi berisi "SSH2" atau "SSH", jika tidak, setel ke "HTTP" jika kolom metode cocok dengan metode HTTP | |
read_only_udm.network.http.method |
Diekstrak dari kolom pesan menggunakan pola grok, hanya jika cocok dengan metode HTTP umum | |
read_only_udm.network.http.referral_url |
Diekstrak dari kolom pesan menggunakan pola grok | |
read_only_udm.network.http.response_code |
Diekstrak dari kolom pesan menggunakan pola grok dan dikonversi menjadi bilangan bulat | |
read_only_udm.network.ip_protocol |
Setel ke "TCP" jika kolom deskripsi berisi "TCP" | |
read_only_udm.principal.ip |
Diekstrak dari kolom pesan menggunakan pola grok | |
read_only_udm.principal.port |
Diekstrak dari kolom pesan menggunakan pola grok dan dikonversi menjadi bilangan bulat | |
read_only_udm.security_result.description |
Diekstrak dari kolom pesan menggunakan pola grok | |
read_only_udm.security_result.severity |
Setel ke "HIGH" jika syslog_severity adalah "error" atau "warning", "MEDIUM" jika "notice", dan "LOW" jika "information" atau "info" | |
read_only_udm.security_result.severity_details |
Memetakan nilai kolom syslog_severity secara langsung | |
read_only_udm.target.ip |
Diekstrak dari kolom pesan menggunakan pola grok | |
read_only_udm.target.port |
Diekstrak dari kolom pesan menggunakan pola grok dan dikonversi menjadi bilangan bulat | |
read_only_udm.target.process.pid |
Diekstrak dari kolom pesan menggunakan pola grok | |
syslog_severity |
Digunakan untuk menentukan tingkat keparahan security_result | |
username |
event.idm.read_only_udm.target.user.userid |
Dipetakan dari log perubahan |
username |
event.idm.read_only_udm.target.user.user_display_name |
Dipetakan dari log perubahan |
id |
event.idm.read_only_udm.additional.fields |
Dipetakan dari log perubahan |
reason |
security_result.summary |
Dipetakan dari log perubahan |
srcip |
principal.ip |
Dipetakan dari log perubahan |
username |
principal.user.user_display_name |
Dipetakan dari log perubahan |
Log Perubahan
Melihat Log Perubahan untuk parser ini
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.