איסוף יומני SFTP של VanDyke VShell
במסמך הזה מוסבר איך להטמיע יומני SFTP של VanDyke VShell ב-Google Security Operations באמצעות Bindplane עם Syslog או Amazon S3 עם מעביר יומנים.
לפני שמתחילים
חשוב לוודא שיש לכם את הדברים הבאים:
- מכונה של Google SecOps
- גישה עם הרשאות לשרת VanDyke VShell או למסוף הניהול
- אפשרות 1: מארח Windows 2016 ואילך או מארח Linux עם
systemdלסוכן Bindplane - אפשרות 2: חשבון AWS עם גישה ל-S3 ו-NXLog או Fluent Bit בשרת VShell
קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane
כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים באחת מהשיטות הבאות:
- פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
- פריסות קודמות: ממשיכים להשתמש בקובץ האימות להטמעת נתונים (אפשרות 2) עד שה-Ingestion API יופסק ב-20 ביולי 2027.
אפשרות 1: יצירת חשבון שירות ל-Chronicle API (מומלץ)
- נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
- נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create service account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים שם לחשבון (לדוגמה,
bindplane-ingest). - Service account description: מזינים תיאור (לדוגמה,
Bindplane agent log ingestion).
- Service account name: מזינים שם לחשבון (לדוגמה,
- לוחצים על Create and continue.
- בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
- לוחצים על המשך ואז על סיום.
- לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
- לוחצים על Add key > Create new key.
- בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
- שומרים את קובץ המפתח בתור
ingestion-auth.jsonבספריית Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.jsonב-Linux אוC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsonב-Windows), או מעדכנים אתcreds_file_pathב-config.yamlכך שיתאים לנתיב שבו שמרתם אותו. - עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.
אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (גרסה קודמת)
- נכנסים למסוף Google SecOps.
- עוברים אל הגדרות > ניהול נתונים > סוכני איסוף. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > סוכני איסוף.
- מורידים את קובץ האימות להטמעת נתונים.
- שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.
איך מקבלים את מספר הלקוח ב-Google SecOps
- נכנסים למסוף Google SecOps.
- עוברים אל הגדרות > ניהול > פרופיל. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פרופיל.
- מעתיקים את מספר הלקוח מהקטע פרטי הארגון ושומרים אותו.
אפשרות 1: שילוב באמצעות Bindplane ו-Syslog
האפשרות הזו מספקת סטרימינג של יומנים בזמן אמת עם זמן אחזור מינימלי, והיא מומלצת לרוב הפריסות.
התקנת הסוכן של Bindplane
מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.
התקנת חלונות
- פותחים את שורת הפקודה או את PowerShell כאדמין.
מריצים את הפקודה הבאה:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
התקנה ב-Linux
- פותחים טרמינל עם הרשאות root או sudo.
מריצים את הפקודה הבאה:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
מקורות מידע נוספים בנושא התקנה
לאפשרויות התקנה נוספות, קראו את מדריך ההתקנה של סוכן Bindplane.
הגדרת סוכן BindPlane להטמעת Syslog ושליחה ל-Google SecOps
ניגשים לקובץ התצורה:
- מאתרים את הקובץ
config.yaml. בדרך כלל, הוא נמצא בספרייה/opt/observiq-otel-collector/ב-Linux או בספריית ההתקנה ב-Windows. - פותחים את הקובץ באמצעות כלי לעריכת טקסט (לדוגמה,
nano,viאו פנקס הרשימות).
- מאתרים את הקובץ
עורכים את הקובץ
config.yaml:receivers: udplog: # Replace the port and IP address as required listen_address: "0.0.0.0:514" exporters: chronicle/chronicle_w_labels: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip # Adjust the path to the credentials file you downloaded in Step 1 creds_file_path: '/path/to/ingestion-authentication-file.json' # Replace with your actual customer ID from Step 2 customer_id: YOUR_CUSTOMER_ID endpoint: chronicle.googleapis.com # Custom log type - requires parser extension log_type: 'VANDYKE_SFTP' raw_log_field: body ingestion_labels: service: pipelines: logs/source0__chronicle_w_labels-0: receivers: - udplog exporters: - chronicle/chronicle_w_labels- מחליפים את היציאה ואת כתובת ה-IP לפי הצורך בתשתית שלכם.
- מחליפים את
<LOCATION>באזור של המופע של Google SecOps (לדוגמה,us,europeאוasia-southeast1). המערכת מוסיפה את הערך הזה בתחילתchronicle.googleapis.com. - מחליפים את
<PROJECT_NUMBER>במספר הפרויקט שמופיע בקטע IAM & Admin > Settings. - מחליפים את
YOUR_CUSTOMER_IDבמספר הלקוח בפועל. - מעדכנים את
/path/to/ingestion-authentication-file.jsonלנתיב הקובץ שבו נשמר קובץ המפתח של חשבון השירות (אפשרות 1). - כדי להשתמש ב-TCP במקום ב-UDP, מחליפים את
udplogב-tcplog.
מייצא API להטמעה מדור קודם
אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק
exportersבקוד הבא. מגדירים אתcreds_file_pathלנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים אתmalachiteingestion-pa.googleapis.comבנקודת הקצה האזורית (לדוגמה,europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/chronicle_w_labels: compression: gzip # Adjust the path to the credentials file you downloaded in Step 1 creds_file_path: '/path/to/ingestion-authentication-file.json' # Replace with your actual customer ID from Step 2 customer_id: YOUR_CUSTOMER_ID endpoint: malachiteingestion-pa.googleapis.com # Custom log type - requires parser extension log_type: 'VANDYKE_SFTP' raw_log_field: body ingestion_labels:
מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.
כדי להפעיל מחדש את הסוכן של Bindplane ב-Linux, מריצים את הפקודה הבאה:
sudo systemctl restart observiq-otel-collectorכדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, אפשר להשתמש במסוף Services או להזין את הפקודה הבאה:
net stop observiq-otel-collector && net start observiq-otel-collector
הגדרת העברת Syslog ב-VanDyke VShell
ל-VShell ב-Windows
- נכנסים ל-לוח הבקרה של VShell.
- עוברים להגדרות רישום ביומן.
- מגדירים רישום ביומן של syslog מרחוק:
- מפעילים את הרישום ביומן בשרת syslog מרוחק.
- כתובת השרת: מזינים את כתובת ה-IP של Bindplane.
- יציאה: מזינים 514 (או את היציאה שהגדרתם).
- פרוטוקול: בוחרים באפשרות UDP (או TCP אם הוא מוגדר).
- קבוצות הודעות: בוחרים באפשרויות חיבור, אימות, SFTP, FTPS, HTTPS, שגיאות, אזהרות ומידע.
- לוחצים על Apply (אישור) > OK (אישור).
ל-VShell ב-Linux או ב-macOS
- עורכים את הקובץ vshelld_config (בדרך כלל
/etc/vshell/vshelld_config). מגדירים את הפרמטרים הבאים:
SyslogFacility LOG_LOCAL3 LogLevel INFOמגדירים את syslog של המערכת כך שיעביר את LOG_LOCAL3 לסוכן Bindplane:
- עריכה של
/etc/rsyslog.confאו/etc/syslog-ng/syslog-ng.conf. - מוסיפים:
local3.* @bindplane-agent-ip:514(ל-UDP) אוlocal3.* @@bindplane-agent-ip:514(ל-TCP).
- עריכה של
מפעילים מחדש את שירות VShell ואת שירות syslog:
sudo systemctl restart vshelld sudo systemctl restart rsyslog
אפשרות 2: שילוב דרך AWS S3
האפשרות הזו שימושית בסביבות שבהן נדרש ארכיון יומנים או שבהן לא ניתן להעביר ישירות את ה-syslog. שימו לב שצריך להשתמש במשלח יומנים בשרת VShell, כי ל-AWS Lambda אין גישה לקבצים מקומיים.
הגדרת קטגוריית AWS S3 ו-IAM ל-Google SecOps
- יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה
- שומרים את שם הקטגוריה ואת האזור שלה לעיון בעתיד (לדוגמה,
vandyke-sftp-logs). - יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
- בוחרים את המשתמש שנוצר.
- לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
- לוחצים על Create Access Key בקטע Access Keys.
- בקטע Use case, בוחרים באפשרות Third-party service.
- לוחצים על הבא.
- אופציונלי: מוסיפים תג תיאור.
- לוחצים על יצירת מפתח גישה.
- לוחצים על Download .csv file כדי לשמור את Access Key ואת Secret Access Key לשימוש עתידי.
- לוחצים על סיום.
- לוחצים על הכרטיסייה הרשאות.
- בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
- לוחצים על הוספת הרשאות.
- בוחרים באפשרות Attach policies directly.
- מחפשים את המדיניות AmazonS3FullAccess.
- בוחרים את המדיניות.
- לוחצים על הבא.
- לוחצים על הוספת הרשאות.
התקנה והגדרה של Log Shipper בשרת VShell
בוחרים אחת מהאפשרויות הבאות בהתאם למערכת ההפעלה:
אפשרות א': שימוש ב-NXLog (Windows)
- מורידים ומתקינים את NXLog Community Edition מהאתר nxlog.co.
עריכת
C:\Program Files\nxlog\conf\nxlog.conf:<Extension json> Module xm_json </Extension> <Extension syslog> Module xm_syslog </Extension> <Input vshell_log> Module im_file File "C:\\Program Files\\VanDyke Software\\VShell\\Log\\VShell.log" SavePos TRUE <Exec> # Parse VShell log format if $raw_event =~ /^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) "(.*)"$/ { $EventTime = $1; $Protocol = $2; $EventType = $3; $SessionID = $4; $ClientIP = $5; $ClientPort = $6; $Username = $7; $Filename = $9; $BytesDown = $10; $BytesUp = $11; $ServerIP = $14; $ServerPort = $15; $EventMessage = $16; # Convert to JSON to_json(); } </Exec> </Input> <Output s3> Module om_exec Command C:\scripts\upload_to_s3.ps1 Args %FILEPATH% </Output> <Route vshell_to_s3> Path vshell_log => s3 </Route>יוצרים סקריפט של PowerShell
C:\scripts\upload_to_s3.ps1:param([string]$FilePath) $bucket = "vandyke-sftp-logs" $key = "vshell/$(Get-Date -Format 'yyyy/MM/dd/HH')/$(Get-Date -Format 'yyyyMMddHHmmss').json" # Batch logs $logs = Get-Content $FilePath | ConvertFrom-Json $jsonLines = $logs | ForEach-Object { $_ | ConvertTo-Json -Compress } $content = $jsonLines -join "`n" # Upload to S3 Write-S3Object -BucketName $bucket -Key $key -Content $content -ProfileName defaultיוצרים פרופיל של פרטי כניסה ל-AWS:
Set-AWSCredential -AccessKey YOUR_ACCESS_KEY -SecretKey YOUR_SECRET_KEY -StoreAs defaultמתזמנים את הסקריפט של PowerShell כך שירוץ כל 5 דקות באמצעות Task Scheduler.
אפשרות ב': שימוש ב-Fluent Bit (ב-Linux)
מתקינים את Fluent Bit:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | shהגדרת
/etc/fluent-bit/fluent-bit.conf:[SERVICE] Flush 5 Daemon On Log_Level info [INPUT] Name tail Path /var/log/vshell/vshell.log Parser vshell_parser Tag vshell.* Refresh_Interval 5 Mem_Buf_Limit 10MB [PARSER] Name vshell_parser Format regex Regex ^(?<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (?<protocol>\S+) (?<event_type>\S+) (?<session_id>\S+) (?<client_ip>\S+) (?<client_port>\S+) (?<username>\S+) (?<dash>\S+) (?<filename>\S+) (?<bytes_down>\S+) (?<bytes_up>\S+) (?<field1>\S+) (?<field2>\S+) (?<server_ip>\S+) (?<server_port>\S+) "(?<event_message>[^"]*)" [OUTPUT] Name s3 Match vshell.* bucket vandyke-sftp-logs region us-east-1 use_put_object On total_file_size 5M upload_timeout 10s compression gzip s3_key_format /vshell/%Y/%m/%d/%H/%{hostname}_%{uuid}.json.gzמגדירים את פרטי הכניסה ל-AWS:
export AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_KEYמפעילים את Fluent Bit:
sudo systemctl enable fluent-bit sudo systemctl start fluent-bit
הגדרת פיד ב-Google SecOps כדי להטמיע יומנים של VanDyke VShell
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על + הוספת פיד חדש.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
VanDyke VShell SFTP logs). - בוחרים באפשרות Amazon S3 V2 בתור סוג המקור.
- בוחרים באפשרות VanDyke SFTP בתור סוג היומן (בהתאמה אישית).
- לוחצים על הבא.
- מציינים ערכים לפרמטרים הבאים של הקלט:
- S3 URI:
s3://vandyke-sftp-logs/vshell/ - אפשרויות למחיקת המקור: בוחרים באפשרות שמירה (מומלץ) או באפשרות מחיקה לפי ההעדפה שלכם.
- גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
- מזהה מפתח הגישה: מפתח גישה של משתמש עם גישה לקטגוריית S3.
- מפתח גישה סודי: מפתח סודי של משתמש עם גישה לקטגוריית S3.
- מרחב השמות של הנכס: מרחב השמות של הנכס.
- תוויות הטמעה: התווית שנוספה לאירועים מהפיד הזה.
- S3 URI:
- לוחצים על הבא.
- בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
agent.id |
read_only_udm.observer.asset_id |
משרשר את "filebeat:" עם הערך של השדה agent.id |
agent.type |
read_only_udm.observer.application |
ממפה ישירות את הערך של השדה agent.type |
agent.version |
read_only_udm.observer.platform_version |
ממפה ישירות את הערך של השדה agent.version |
ecs.version |
read_only_udm.metadata.product_version |
ממפה ישירות את הערך של השדה ecs.version |
host.architecture |
read_only_udm.target.asset.hardware.cpu_platform |
ממפה ישירות את הערך של השדה host.architecture |
host.hostname |
read_only_udm.target.hostname |
מיפוי ישיר של הערך בשדה host.hostname |
host.id |
read_only_udm.principal.asset_id |
משרשר את "VANDYKE_SFTP:" עם הערך של השדה host.id |
host.ip |
read_only_udm.target.ip |
ממפה ישירות כל כתובת IP במערך host.ip לשדה read_only_udm.target.ip נפרד |
host.mac |
read_only_udm.target.mac |
ממפה ישירות כל כתובת MAC במערך host.mac לשדה read_only_udm.target.mac נפרד |
host.os.kernel |
read_only_udm.target.platform_patch_level |
ממפה ישירות את הערך של השדה host.os.kernel |
host.os.platform |
read_only_udm.target.platform |
ממפה את הערך של host.os.platform ל-WINDOWS, LINUX, MAC או UNKNOWN_PLATFORM על סמך הערך |
host.os.version |
read_only_udm.target.platform_version |
מיפוי ישיר של הערך בשדה host.os.version |
log.file.path |
read_only_udm.principal.process.file.full_path |
מיפוי ישיר של הערך בשדה log.file.path |
logstash.collect.timestamp |
read_only_udm.metadata.collected_timestamp |
מנתח את חותמת הזמן מהשדה logstash.collect.timestamp וממיר אותה לאובייקט של חותמת זמן |
logstash.irm_environment |
read_only_udm.additional.fields.value.string_value |
ממפה ישירות את הערך של השדה logstash.irm_environment. המפתח מוגדר כ-"irm_environment" |
logstash.irm_region |
read_only_udm.additional.fields.value.string_value |
ממפה ישירות את הערך של השדה logstash.irm_region. המפתח מוגדר כ-"irm_region" |
logstash.irm_site |
read_only_udm.additional.fields.value.string_value |
ממפה ישירות את הערך של השדה logstash.irm_site. המפתח מוגדר כ-"irm_site" |
logstash.process.host |
read_only_udm.observer.hostname |
ממפה ישירות את הערך של השדה logstash.process.host |
message |
משמש לחילוץ שדות שונים באמצעות תבניות grok וביטויים רגולריים | |
read_only_udm.metadata.event_type |
צריך להגדיר את הערך "NETWORK_FTP" | |
read_only_udm.metadata.log_type |
מגדירים את הערך "VANDYKE_SFTP" | |
read_only_udm.metadata.product_event_type |
חולץ משדה ההודעה באמצעות תבנית grok | |
read_only_udm.metadata.product_name |
מגדירים את הערך "VANDYKE_SFTP" | |
read_only_udm.metadata.vendor_name |
צריך להגדיר את הערך "VANDYKE SOFTWARE" | |
read_only_udm.network.application_protocol |
צריך להגדיר את הערך "SSH" אם שדה התיאור מכיל את הערכים "SSH2" או "SSH". אחרת, צריך להגדיר את הערך "HTTP" אם שדה השיטה תואם לשיטות HTTP | |
read_only_udm.network.http.method |
חולץ משדה ההודעה באמצעות תבנית grok, רק אם הוא תואם לשיטות HTTP נפוצות | |
read_only_udm.network.http.referral_url |
חולץ משדה ההודעה באמצעות תבנית grok | |
read_only_udm.network.http.response_code |
חולץ משדה ההודעה באמצעות תבנית grok והומר למספר שלם | |
read_only_udm.network.ip_protocol |
צריך להגדיר את הערך "TCP" אם שדה התיאור מכיל את הערך "TCP" | |
read_only_udm.principal.ip |
חולץ משדה ההודעה באמצעות תבנית grok | |
read_only_udm.principal.port |
חולץ משדה ההודעה באמצעות תבנית grok והומר למספר שלם | |
read_only_udm.security_result.description |
חולץ משדה ההודעה באמצעות תבנית grok | |
read_only_udm.security_result.severity |
ההגדרה תהיה "HIGH" אם הערך של syslog_severity הוא "error" או "warning", "MEDIUM" אם הערך הוא "notice", ו-"LOW" אם הערך הוא "information" או "info" | |
read_only_udm.security_result.severity_details |
מיפוי ישיר של הערך בשדה syslog_severity | |
read_only_udm.target.ip |
חולץ משדה ההודעה באמצעות תבנית grok | |
read_only_udm.target.port |
חולץ משדה ההודעה באמצעות תבנית grok והומר למספר שלם | |
read_only_udm.target.process.pid |
חולץ משדה ההודעה באמצעות תבנית grok | |
syslog_severity |
משמש לקביעת החומרה של security_result | |
username |
event.idm.read_only_udm.target.user.userid |
מופה מיומן השינויים |
username |
event.idm.read_only_udm.target.user.user_display_name |
מופה מיומן השינויים |
id |
event.idm.read_only_udm.additional.fields |
מופה מיומן השינויים |
reason |
security_result.summary |
מופה מיומן השינויים |
srcip |
principal.ip |
מופה מיומן השינויים |
username |
principal.user.user_display_name |
מופה מיומן השינויים |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.