איסוף יומני SFTP של VanDyke VShell

נתמך ב:

במסמך הזה מוסבר איך להטמיע יומני SFTP של VanDyke VShell ב-Google Security Operations באמצעות Bindplane עם Syslog או Amazon S3 עם מעביר יומנים.

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

  • מכונה של Google SecOps
  • גישה עם הרשאות לשרת VanDyke VShell או למסוף הניהול
  • אפשרות 1: מארח Windows 2016 ואילך או מארח Linux עם systemd לסוכן Bindplane
  • אפשרות 2: חשבון AWS עם גישה ל-S3 ו-NXLog או Fluent Bit בשרת VShell

קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane

כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים באחת מהשיטות הבאות:

  • פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
  • פריסות קודמות: ממשיכים להשתמש בקובץ האימות להטמעת נתונים (אפשרות 2) עד שה-Ingestion API יופסק ב-20 ביולי 2027.
  1. נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
  2. נכנסים לדף IAM & Admin > Service Accounts.
  3. לוחצים על Create service account.
  4. מזינים את פרטי ההגדרה הבאים:
    • Service account name: מזינים שם לחשבון (לדוגמה, bindplane-ingest).
    • Service account description: מזינים תיאור (לדוגמה, Bindplane agent log ingestion).
  5. לוחצים על Create and continue.
  6. בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
  7. לוחצים על המשך ואז על סיום.
  8. לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
  9. לוחצים על Add key > Create new key.
  10. בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
  11. שומרים את קובץ המפתח בתור ingestion-auth.json בספריית Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json ב-Linux או C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json ב-Windows), או מעדכנים את creds_file_path ב-config.yaml כך שיתאים לנתיב שבו שמרתם אותו.
  12. עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.

אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (גרסה קודמת)

  1. נכנסים למסוף Google SecOps.
  2. עוברים אל הגדרות > ניהול נתונים > סוכני איסוף. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > סוכני איסוף.
  3. מורידים את קובץ האימות להטמעת נתונים.
  4. שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.

איך מקבלים את מספר הלקוח ב-Google SecOps

  1. נכנסים למסוף Google SecOps.
  2. עוברים אל הגדרות > ניהול > פרופיל. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פרופיל.
  3. מעתיקים את מספר הלקוח מהקטע פרטי הארגון ושומרים אותו.

אפשרות 1: שילוב באמצעות Bindplane ו-Syslog

האפשרות הזו מספקת סטרימינג של יומנים בזמן אמת עם זמן אחזור מינימלי, והיא מומלצת לרוב הפריסות.

התקנת הסוכן של Bindplane

מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.

התקנת חלונות

  1. פותחים את שורת הפקודה או את PowerShell כאדמין.
  2. מריצים את הפקודה הבאה:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    

התקנה ב-Linux

  1. פותחים טרמינל עם הרשאות root או sudo.
  2. מריצים את הפקודה הבאה:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    

מקורות מידע נוספים בנושא התקנה

לאפשרויות התקנה נוספות, קראו את מדריך ההתקנה של סוכן Bindplane.

הגדרת סוכן BindPlane להטמעת Syslog ושליחה ל-Google SecOps

  1. ניגשים לקובץ התצורה:

    • מאתרים את הקובץ config.yaml. בדרך כלל, הוא נמצא בספרייה /opt/observiq-otel-collector/ ב-Linux או בספריית ההתקנה ב-Windows.
    • פותחים את הקובץ באמצעות כלי לעריכת טקסט (לדוגמה, nano,‏ vi או פנקס הרשימות).
  2. עורכים את הקובץ config.yaml:

    receivers:
      udplog:
        # Replace the port and IP address as required
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/chronicle_w_labels:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        # Adjust the path to the credentials file you downloaded in Step 1
        creds_file_path: '/path/to/ingestion-authentication-file.json'
        # Replace with your actual customer ID from Step 2
        customer_id: YOUR_CUSTOMER_ID
        endpoint: chronicle.googleapis.com
        # Custom log type - requires parser extension
        log_type: 'VANDYKE_SFTP'
        raw_log_field: body
        ingestion_labels:
    
    service:
      pipelines:
        logs/source0__chronicle_w_labels-0:
          receivers:
            - udplog
          exporters:
            - chronicle/chronicle_w_labels
    
    • מחליפים את היציאה ואת כתובת ה-IP לפי הצורך בתשתית שלכם.
    • מחליפים את <LOCATION> באזור של המופע של Google SecOps (לדוגמה, us,‏ europe או asia-southeast1). המערכת מוסיפה את הערך הזה בתחילת chronicle.googleapis.com.
    • מחליפים את <PROJECT_NUMBER> במספר הפרויקט שמופיע בקטע IAM & Admin > Settings.
    • מחליפים את YOUR_CUSTOMER_ID במספר הלקוח בפועל.
    • מעדכנים את /path/to/ingestion-authentication-file.json לנתיב הקובץ שבו נשמר קובץ המפתח של חשבון השירות (אפשרות 1).
    • כדי להשתמש ב-TCP במקום ב-UDP, מחליפים את udplog ב-tcplog.

מייצא API להטמעה מדור קודם

  • אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק exporters בקוד הבא. מגדירים את creds_file_path לנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים את malachiteingestion-pa.googleapis.com בנקודת הקצה האזורית (לדוגמה, europe-malachiteingestion-pa.googleapis.com).

    exporters:
      chronicle/chronicle_w_labels:
        compression: gzip
        # Adjust the path to the credentials file you downloaded in Step 1
        creds_file_path: '/path/to/ingestion-authentication-file.json'
        # Replace with your actual customer ID from Step 2
        customer_id: YOUR_CUSTOMER_ID
        endpoint: malachiteingestion-pa.googleapis.com
        # Custom log type - requires parser extension
        log_type: 'VANDYKE_SFTP'
        raw_log_field: body
        ingestion_labels:
    

מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.

  • כדי להפעיל מחדש את הסוכן של Bindplane ב-Linux, מריצים את הפקודה הבאה:

    sudo systemctl restart observiq-otel-collector
    
  • כדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, אפשר להשתמש במסוף Services או להזין את הפקודה הבאה:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

הגדרת העברת Syslog ב-VanDyke VShell

ל-VShell ב-Windows

  1. נכנסים ל-לוח הבקרה של VShell.
  2. עוברים להגדרות רישום ביומן.
  3. מגדירים רישום ביומן של syslog מרחוק:
    • מפעילים את הרישום ביומן בשרת syslog מרוחק.
    • כתובת השרת: מזינים את כתובת ה-IP של Bindplane.
    • יציאה: מזינים 514 (או את היציאה שהגדרתם).
    • פרוטוקול: בוחרים באפשרות UDP (או TCP אם הוא מוגדר).
    • קבוצות הודעות: בוחרים באפשרויות חיבור, אימות, SFTP,‏ FTPS,‏ HTTPS, שגיאות, אזהרות ומידע.
  4. לוחצים על Apply (אישור) > OK (אישור).

ל-VShell ב-Linux או ב-macOS

  1. עורכים את הקובץ vshelld_config (בדרך כלל /etc/vshell/vshelld_config).
  2. מגדירים את הפרמטרים הבאים:

    SyslogFacility LOG_LOCAL3
    LogLevel INFO
    
  3. מגדירים את syslog של המערכת כך שיעביר את LOG_LOCAL3 לסוכן Bindplane:

    • עריכה של /etc/rsyslog.conf או /etc/syslog-ng/syslog-ng.conf.
    • מוסיפים: local3.* @bindplane-agent-ip:514 (ל-UDP) או local3.* @@bindplane-agent-ip:514 (ל-TCP).
  4. מפעילים מחדש את שירות VShell ואת שירות syslog:

    sudo systemctl restart vshelld
    sudo systemctl restart rsyslog
    

אפשרות 2: שילוב דרך AWS S3

האפשרות הזו שימושית בסביבות שבהן נדרש ארכיון יומנים או שבהן לא ניתן להעביר ישירות את ה-syslog. שימו לב שצריך להשתמש במשלח יומנים בשרת VShell, כי ל-AWS Lambda אין גישה לקבצים מקומיים.

הגדרת קטגוריית AWS S3 ו-IAM ל-Google SecOps

  1. יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה
  2. שומרים את שם הקטגוריה ואת האזור שלה לעיון בעתיד (לדוגמה, vandyke-sftp-logs).
  3. יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
  4. בוחרים את המשתמש שנוצר.
  5. לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
  6. לוחצים על Create Access Key בקטע Access Keys.
  7. בקטע Use case, בוחרים באפשרות Third-party service.
  8. לוחצים על הבא.
    • אופציונלי: מוסיפים תג תיאור.
  9. לוחצים על יצירת מפתח גישה.
  10. לוחצים על Download .csv file כדי לשמור את Access Key ואת Secret Access Key לשימוש עתידי.
  11. לוחצים על סיום.
  12. לוחצים על הכרטיסייה הרשאות.
  13. בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
  14. לוחצים על הוספת הרשאות.
  15. בוחרים באפשרות Attach policies directly.
  16. מחפשים את המדיניות AmazonS3FullAccess.
  17. בוחרים את המדיניות.
  18. לוחצים על הבא.
  19. לוחצים על הוספת הרשאות.

התקנה והגדרה של Log Shipper בשרת VShell

בוחרים אחת מהאפשרויות הבאות בהתאם למערכת ההפעלה:

אפשרות א': שימוש ב-NXLog ‏(Windows)

  1. מורידים ומתקינים את NXLog Community Edition מהאתר nxlog.co.
  2. עריכת C:\Program Files\nxlog\conf\nxlog.conf:

    <Extension json>
        Module      xm_json
    </Extension>
    
    <Extension syslog>
        Module      xm_syslog
    </Extension>
    
    <Input vshell_log>
        Module      im_file
        File        "C:\\Program Files\\VanDyke Software\\VShell\\Log\\VShell.log"
        SavePos     TRUE
    
        <Exec>
            # Parse VShell log format
            if $raw_event =~ /^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) (\S+) "(.*)"$/
            {
                $EventTime = $1;
                $Protocol = $2;
                $EventType = $3;
                $SessionID = $4;
                $ClientIP = $5;
                $ClientPort = $6;
                $Username = $7;
                $Filename = $9;
                $BytesDown = $10;
                $BytesUp = $11;
                $ServerIP = $14;
                $ServerPort = $15;
                $EventMessage = $16;
    
                # Convert to JSON
                to_json();
            }
        </Exec>
    </Input>
    
    <Output s3>
        Module      om_exec
        Command     C:\scripts\upload_to_s3.ps1
        Args        %FILEPATH%
    </Output>
    
    <Route vshell_to_s3>
        Path        vshell_log => s3
    </Route>
    
  3. יוצרים סקריפט של PowerShell‏ C:\scripts\upload_to_s3.ps1:

    param([string]$FilePath)
    
    $bucket = "vandyke-sftp-logs"
    $key = "vshell/$(Get-Date -Format 'yyyy/MM/dd/HH')/$(Get-Date -Format 'yyyyMMddHHmmss').json"
    
    # Batch logs
    $logs = Get-Content $FilePath | ConvertFrom-Json
    $jsonLines = $logs | ForEach-Object { $_ | ConvertTo-Json -Compress }
    $content = $jsonLines -join "`n"
    
    # Upload to S3
    Write-S3Object -BucketName $bucket -Key $key -Content $content -ProfileName default
    
  4. יוצרים פרופיל של פרטי כניסה ל-AWS:

    Set-AWSCredential -AccessKey YOUR_ACCESS_KEY -SecretKey YOUR_SECRET_KEY -StoreAs default
    
  5. מתזמנים את הסקריפט של PowerShell כך שירוץ כל 5 דקות באמצעות Task Scheduler.

אפשרות ב': שימוש ב-Fluent Bit (ב-Linux)

  1. מתקינים את Fluent Bit:

    curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
    
  2. הגדרת /etc/fluent-bit/fluent-bit.conf:

    [SERVICE]
        Flush        5
        Daemon       On
        Log_Level    info
    
    [INPUT]
        Name              tail
        Path              /var/log/vshell/vshell.log
        Parser            vshell_parser
        Tag               vshell.*
        Refresh_Interval  5
        Mem_Buf_Limit     10MB
    
    [PARSER]
        Name        vshell_parser
        Format      regex
        Regex       ^(?<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (?<protocol>\S+) (?<event_type>\S+) (?<session_id>\S+) (?<client_ip>\S+) (?<client_port>\S+) (?<username>\S+) (?<dash>\S+) (?<filename>\S+) (?<bytes_down>\S+) (?<bytes_up>\S+) (?<field1>\S+) (?<field2>\S+) (?<server_ip>\S+) (?<server_port>\S+) "(?<event_message>[^"]*)"
    
    [OUTPUT]
        Name                  s3
        Match                 vshell.*
        bucket                vandyke-sftp-logs
        region                us-east-1
        use_put_object        On
        total_file_size       5M
        upload_timeout        10s
        compression           gzip
        s3_key_format         /vshell/%Y/%m/%d/%H/%{hostname}_%{uuid}.json.gz
    
  3. מגדירים את פרטי הכניסה ל-AWS:

    export AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY
    export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_KEY
    
  4. מפעילים את Fluent Bit:

    sudo systemctl enable fluent-bit
    sudo systemctl start fluent-bit
    

הגדרת פיד ב-Google SecOps כדי להטמיע יומנים של VanDyke VShell

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על + הוספת פיד חדש.
  3. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, VanDyke VShell SFTP logs).
  4. בוחרים באפשרות Amazon S3 V2 בתור סוג המקור.
  5. בוחרים באפשרות VanDyke SFTP בתור סוג היומן (בהתאמה אישית).
  6. לוחצים על הבא.
  7. מציינים ערכים לפרמטרים הבאים של הקלט:
    • S3 URI: s3://vandyke-sftp-logs/vshell/
    • אפשרויות למחיקת המקור: בוחרים באפשרות שמירה (מומלץ) או באפשרות מחיקה לפי ההעדפה שלכם.
    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
    • מזהה מפתח הגישה: מפתח גישה של משתמש עם גישה לקטגוריית S3.
    • מפתח גישה סודי: מפתח סודי של משתמש עם גישה לקטגוריית S3.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות הטמעה: התווית שנוספה לאירועים מהפיד הזה.
  8. לוחצים על הבא.
  9. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
agent.id read_only_udm.observer.asset_id משרשר את "filebeat:" עם הערך של השדה agent.id
agent.type read_only_udm.observer.application ממפה ישירות את הערך של השדה agent.type
agent.version read_only_udm.observer.platform_version ממפה ישירות את הערך של השדה agent.version
ecs.version read_only_udm.metadata.product_version ממפה ישירות את הערך של השדה ecs.version
host.architecture read_only_udm.target.asset.hardware.cpu_platform ממפה ישירות את הערך של השדה host.architecture
host.hostname read_only_udm.target.hostname מיפוי ישיר של הערך בשדה host.hostname
host.id read_only_udm.principal.asset_id משרשר את "VANDYKE_SFTP:" עם הערך של השדה host.id
host.ip read_only_udm.target.ip ממפה ישירות כל כתובת IP במערך host.ip לשדה read_only_udm.target.ip נפרד
host.mac read_only_udm.target.mac ממפה ישירות כל כתובת MAC במערך host.mac לשדה read_only_udm.target.mac נפרד
host.os.kernel read_only_udm.target.platform_patch_level ממפה ישירות את הערך של השדה host.os.kernel
host.os.platform read_only_udm.target.platform ממפה את הערך של host.os.platform ל-WINDOWS,‏ LINUX,‏ MAC או UNKNOWN_PLATFORM על סמך הערך
host.os.version read_only_udm.target.platform_version מיפוי ישיר של הערך בשדה host.os.version
log.file.path read_only_udm.principal.process.file.full_path מיפוי ישיר של הערך בשדה log.file.path
logstash.collect.timestamp read_only_udm.metadata.collected_timestamp מנתח את חותמת הזמן מהשדה logstash.collect.timestamp וממיר אותה לאובייקט של חותמת זמן
logstash.irm_environment read_only_udm.additional.fields.value.string_value ממפה ישירות את הערך של השדה logstash.irm_environment. המפתח מוגדר כ-"irm_environment"
logstash.irm_region read_only_udm.additional.fields.value.string_value ממפה ישירות את הערך של השדה logstash.irm_region. המפתח מוגדר כ-"irm_region"
logstash.irm_site read_only_udm.additional.fields.value.string_value ממפה ישירות את הערך של השדה logstash.irm_site. המפתח מוגדר כ-"irm_site"
logstash.process.host read_only_udm.observer.hostname ממפה ישירות את הערך של השדה logstash.process.host
message משמש לחילוץ שדות שונים באמצעות תבניות grok וביטויים רגולריים
read_only_udm.metadata.event_type צריך להגדיר את הערך "NETWORK_FTP"
read_only_udm.metadata.log_type מגדירים את הערך "VANDYKE_SFTP"
read_only_udm.metadata.product_event_type חולץ משדה ההודעה באמצעות תבנית grok
read_only_udm.metadata.product_name מגדירים את הערך "VANDYKE_SFTP"
read_only_udm.metadata.vendor_name צריך להגדיר את הערך "VANDYKE SOFTWARE"
read_only_udm.network.application_protocol צריך להגדיר את הערך "SSH" אם שדה התיאור מכיל את הערכים "SSH2" או "SSH". אחרת, צריך להגדיר את הערך "HTTP" אם שדה השיטה תואם לשיטות HTTP
read_only_udm.network.http.method חולץ משדה ההודעה באמצעות תבנית grok, רק אם הוא תואם לשיטות HTTP נפוצות
read_only_udm.network.http.referral_url חולץ משדה ההודעה באמצעות תבנית grok
read_only_udm.network.http.response_code חולץ משדה ההודעה באמצעות תבנית grok והומר למספר שלם
read_only_udm.network.ip_protocol צריך להגדיר את הערך "TCP" אם שדה התיאור מכיל את הערך "TCP"
read_only_udm.principal.ip חולץ משדה ההודעה באמצעות תבנית grok
read_only_udm.principal.port חולץ משדה ההודעה באמצעות תבנית grok והומר למספר שלם
read_only_udm.security_result.description חולץ משדה ההודעה באמצעות תבנית grok
read_only_udm.security_result.severity ההגדרה תהיה "HIGH" אם הערך של syslog_severity הוא "error" או "warning",‏ "MEDIUM" אם הערך הוא "notice", ו-"LOW" אם הערך הוא "information" או "info"
read_only_udm.security_result.severity_details מיפוי ישיר של הערך בשדה syslog_severity
read_only_udm.target.ip חולץ משדה ההודעה באמצעות תבנית grok
read_only_udm.target.port חולץ משדה ההודעה באמצעות תבנית grok והומר למספר שלם
read_only_udm.target.process.pid חולץ משדה ההודעה באמצעות תבנית grok
syslog_severity משמש לקביעת החומרה של security_result
username event.idm.read_only_udm.target.user.userid מופה מיומן השינויים
username event.idm.read_only_udm.target.user.user_display_name מופה מיומן השינויים
id event.idm.read_only_udm.additional.fields מופה מיומן השינויים
reason security_result.summary מופה מיומן השינויים
srcip principal.ip מופה מיומן השינויים
username principal.user.user_display_name מופה מיומן השינויים

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.