收集 File Scanning Framework 記錄

剖析器版本:3.0

支援的服務:

本文說明如何使用 Cloud Storage V2,將 File Scanning Framework 記錄檔擷取至 Google Security Operations。

File Scanning Framework (FSF) 是由 Emerson Electric Co. 開發的開放原始碼模組化遞迴檔案掃描解決方案。FSF 採用用戶端伺服器架構分析檔案,並產生詳細的 JSON 掃描結果,包括檔案中繼資料、YARA 簽章比對、擷取的子物件和模組專屬中繼資料。

事前準備

請確認您已具備下列必要條件:

  • Google SecOps 執行個體
  • 已啟用 Cloud Storage API 的 Google Cloud 專案
  • 建立及管理 Cloud Storage bucket 的權限
  • 管理 Cloud Storage bucket 的 Identity and Access Management (IAM) 政策權限
  • 已部署的 FSF 伺服器執行個體,具備記錄目錄的寫入權限
  • FSF 伺服器主機的 root 或 sudo 存取權

建立 Cloud Storage bucket

  1. 前往 Google Cloud 控制台。
  2. 選取專案或建立新專案。
  3. 在導覽選單中,依序前往「Cloud Storage」>「Bucket」。
  4. 按一下「建立值區」。
  5. 提供下列設定詳細資料:

    設定 值
    為 bucket 命名 輸入全域不重複的名稱 (例如 fsf-logs-secops)。
    位置類型 請根據需求選擇 (區域、雙區域、多區域)。
    位置 選取位置 (例如 us-central1)。
    儲存空間級別 標準 (建議用於經常存取的記錄)。
    存取控管 統一 (建議)。
    保護工具 選用:啟用物件版本管理或資料保留政策。
  6. 點選「建立」。

設定 FSF 記錄輸出目錄

FSF 會將 JSON 掃描結果寫入可設定的記錄目錄。為 Google SecOps 擷取作業設定專屬目錄。

  1. 透過 SSH 連線至 FSF 伺服器主機。
  2. 開啟 FSF 伺服器設定檔:

    sudo nano /opt/fsf/fsf-server/conf/config.py
    
  3. 找出 SCANNER_CONFIG 字典。

  4. 將 LOG_PATH 參數更新為專用目錄:

    SCANNER_CONFIG = {
        'LOG_PATH': '/var/log/fsf',
        'YARA_PATH': '/opt/fsf/fsf-server/yara/rules.yara',
        'PID_PATH': '/tmp/scanner.pid',
        'EXPORT_PATH': '/tmp',
        'TIMEOUT': 60,
        'MAX_DEPTH': 10
    }
    
  5. 儲存並關閉檔案。

  6. 建立記錄目錄,並設定適當權限:

    sudo mkdir -p /var/log/fsf
    sudo chown -R fsf:fsf /var/log/fsf
    sudo chmod 755 /var/log/fsf
    
  7. 重新啟動 FSF 伺服器,以套用變更:

    sudo systemctl restart fsf
    
  8. 確認 FSF 將記錄寫入新目錄:

    ls -lh /var/log/fsf/
    

安裝及設定 Fluentd

Fluentd 會追蹤 FSF 記錄檔,並將其傳送至 Cloud Storage。

安裝 Fluentd

  1. 在 FSF 伺服器主機上安裝 Fluentd (td-agent):

    curl -fsSL https://toolbelt.treasuredata.com/sh/install-ubuntu-jammy-td-agent4.sh | sh
    
  2. 安裝 Cloud Storage 輸出外掛程式:

    sudo td-agent-gem install fluent-plugin-gcs
    
  3. 驗證外掛程式安裝作業:

    td-agent-gem list | grep fluent-plugin-gcs
    

為 Fluentd 建立 Google Cloud 服務帳戶

  1. 在 Google Cloud 控制台,依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
  2. 按一下「Create Service Account」(建立服務帳戶)。
  3. 提供下列設定詳細資料:
    • 「Service account name」(服務帳戶名稱):輸入 fsf-fluentd-shipper。
    • 服務帳戶說明:輸入 Service account for Fluentd to ship FSF logs to GCS。
  4. 按一下「建立並繼續」。
  5. 在「將專案存取權授予這個服務帳戶」部分:
    1. 按一下「請選擇角色」。
    2. 搜尋並選取「Storage 物件管理員」。
  6. 按一下「繼續」。
  7. 按一下「完成」。

建立服務帳戶金鑰

  1. 在「Service Accounts」(服務帳戶) 清單中,按一下服務帳戶 (fsf-fluentd-shipper)。
  2. 前往「金鑰」分頁。
  3. 依序點選「新增金鑰」>「建立新的金鑰」。
  4. 選取「JSON」做為金鑰類型。
  5. 點選「建立」。
  6. JSON 金鑰檔案會下載到您的電腦。
  7. 將金鑰檔案傳輸至 FSF 伺服器主機:

    scp /path/to/downloaded-key.json user@fsf-server:/etc/td-agent/gcp-key.json
    
  8. 設定金鑰檔案的適當權限:

    sudo chown td-agent:td-agent /etc/td-agent/gcp-key.json
    sudo chmod 600 /etc/td-agent/gcp-key.json
    

授予 Cloud Storage bucket 的 IAM 權限

  1. 依序前往「Cloud Storage」>「Buckets」(值區)。
  2. 按一下值區名稱 (fsf-logs-secops)。
  3. 前往「權限」分頁。
  4. 按一下「授予存取權」。
  5. 提供下列設定詳細資料:
    • 新增主體:輸入服務帳戶電子郵件地址 (例如 fsf-fluentd-shipper@PROJECT_ID.iam.gserviceaccount.com)。
    • 指派角色:選取「Storage 物件管理員」。
  6. 按一下「儲存」。

設定 Fluentd

  1. 在 FSF 伺服器主機上,建立 Fluentd 設定檔:

    sudo nano /etc/td-agent/td-agent.conf
    
  2. 新增下列設定:

    # Tail FSF JSON logs
    <source>
        @type tail
        path /var/log/fsf/*.log
        pos_file /var/log/td-agent/fsf.log.pos
        tag fsf.scan
        read_from_head true
        <parse>
            @type json
            time_key timestamp
            time_format %Y-%m-%dT%H:%M:%S.%L%z
        </parse>
    </source>
    
    # Ship to Google Cloud Storage
    <match fsf.scan>
        @type gcs
        project YOUR_GCP_PROJECT_ID
        keyfile /etc/td-agent/gcp-key.json
        bucket fsf-logs-secops
        object_key_format %{path}%{time_slice}_%{index}.%{file_extension}
        path fsf-logs/
        <buffer tag,time>
            @type file
            path /var/log/td-agent/buffer/gcs
            timekey 3600
            timekey_wait 10m
            timekey_use_utc true
            chunk_limit_size 10MB
        </buffer>
        <format>
            @type json
        </format>
        store_as json
        auto_create_bucket false
    </match>
    
  3. 將 YOUR_GCP_PROJECT_ID 替換為實際的 Google Cloud 專案 ID。

  4. 儲存並關閉檔案。

  5. 建立緩衝區目錄:

    sudo mkdir -p /var/log/td-agent/buffer/gcs
    sudo chown -R td-agent:td-agent /var/log/td-agent/buffer
    
  6. 重新啟動 Fluentd 以套用設定:

    sudo systemctl restart td-agent
    
  7. 啟用 Fluentd,以便在開機時啟動:

    sudo systemctl enable td-agent
    
  8. 確認 Fluentd 正在執行:

    sudo systemctl status td-agent
    

驗證記錄傳送

  1. 查看 Fluentd 記錄檔是否有錯誤:

    sudo tail -f /var/log/td-agent/td-agent.log
    
  2. 觸發測試 FSF 掃描,產生記錄:

    echo "test content" > /tmp/test.txt
    /opt/fsf/fsf-client/fsf_client.py /tmp/test.txt --suppress-report
    
  3. 等待 1 到 2 分鐘,讓 Fluentd 處理及傳送記錄。

  4. 在 Google Cloud 控制台中,依序前往「Cloud Storage」>「Buckets」。

  5. 按一下值區名稱 (fsf-logs-secops)。

  6. 前往 fsf-logs/ 前置字元。

  7. 確認系統是否正在建立含有時間戳記的 JSON 檔案。

  8. 下載並檢查檔案,確認檔案包含 JSON 格式的 FSF 掃描結果。

擷取 Google SecOps 服務帳戶

Google SecOps 會使用專屬服務帳戶,從 Cloud Storage bucket 讀取資料。您必須授予這個服務帳戶值區存取權。

取得服務帳戶電子郵件地址

  1. 依序前往「設定」>「資料管理」>「動態饋給」。如果使用的是 SIEM 專用平台,請依序前往「設定」>「動態饋給」。
  2. 按一下「新增動態饋給」。
  3. 按一下「設定單一動態饋給」。
  4. 在「Feed name」(動態饋給名稱) 欄位中,輸入動態饋給名稱 (例如 FSF File Scanning Logs)。
  5. 選取「Google Cloud Storage V2」做為「來源類型」。
  6. 選取「File Scanning Framework」做為「Log type」。
  7. 按一下「取得服務帳戶」。系統會顯示專屬服務帳戶電子郵件地址,例如:

    secops-12345678@secops-gcp-prod.iam.gserviceaccount.com
    
  8. 複製電子郵件地址,下一個步驟會用到。

  9. 點選「下一步」。

  10. 指定下列輸入參數的值:

    • Storage bucket URL:輸入 Cloud Storage bucket URI,並加上前置字元路徑:

      gs://fsf-logs-secops/fsf-logs/
      
    • 來源刪除選項:根據偏好選取刪除選項:

      • Never:轉移後一律不刪除任何檔案 (建議用於測試)。
      • 刪除已轉移的檔案:成功轉移後刪除檔案。
      • 刪除已轉移的檔案和空白目錄:成功轉移後,刪除檔案和空白目錄。

    • 檔案存在時間上限:納入過去幾天內修改過的檔案 (預設為 180 天)。

    • Asset namespace:資產命名空間。

    • 擷取標籤:要套用至這個動態饋給事件的標籤。

  11. 點選「下一步」。

  12. 在「完成」畫面中檢查新的新聞動態消息設定,然後按一下「提交」。

將 IAM 權限授予 Google SecOps 服務帳戶

Google SecOps 服務帳戶必須具備 Cloud Storage bucket 的「Storage 物件檢視者」角色。

  1. 依序前往「Cloud Storage」>「Buckets」(值區)。
  2. 按一下值區名稱 (fsf-logs-secops)。
  3. 前往「權限」分頁。
  4. 按一下「授予存取權」。
  5. 提供下列設定詳細資料:
    • 新增主體:貼上 Google SecOps 服務帳戶電子郵件地址。
    • 「指派角色」:選取「Storage 物件檢視者」。
  6. 按一下「儲存」。

驗證擷取

  1. 等待 10 到 15 分鐘,讓初始擷取作業完成。
  2. 在 Google SecOps 中,依序前往「設定」>「資料管理」>「動態消息」。如果使用的是 SIEM 專用平台,請依序前往「設定」>「動態饋給」。
  3. 找出動態饋給 (FSF File Scanning Logs)。
  4. 確認「狀態」顯示為「有效」。
  5. 按一下動態饋給名稱,即可查看擷取指標。
  6. 確認「Events ingested」(擷取的事件) 數量增加。
  7. 前往 Google SecOps 的「Search」(搜尋)。
  8. 執行搜尋查詢,確認 FSF 記錄是否已擷取:

    metadata.log_type = "FILE_SCANNING_FRAMEWORK"
    
  9. 確認 FSF 掃描結果顯示在搜尋結果中。

疑難排解

Cloud Storage 未顯示任何記錄

  • 確認 FSF 正在將記錄寫入 /var/log/fsf/:

    ls -lh /var/log/fsf/
    tail -f /var/log/fsf/*.log
    
  • 查看 Fluentd 記錄檔是否有錯誤:

    sudo tail -f /var/log/td-agent/td-agent.log
    
  • 請確認 Google Cloud 服務帳戶金鑰有效,且具備正確權限。

  • 確認 Fluentd 設定中的 bucket 名稱與實際 bucket 名稱相符。

Fluentd 權限錯誤

  • 確認服務帳戶 (fsf-fluentd-shipper) 具備 bucket 的儲存空間物件管理員角色。
  • 確認 Fluentd 設定中的金鑰路徑正確無誤。
  • 確認金鑰檔案具備正確的擁有權和權限:

    ls -l /etc/td-agent/gcp-key.json
    

Google SecOps 未擷取記錄

  • 確認 Google SecOps 服務帳戶具備 bucket 的 Storage 物件檢視者角色。
  • 請確認動態饋給設定中的 bucket URI 正確無誤,且包含結尾斜線。
  • 確認檔案位於 Cloud Storage bucket 的指定前置字串路徑。
  • 依序前往「設定」>「資料管理」>「動態饋給」,查看動態饋給狀態是否有錯誤訊息。

FSF 記錄不符合預期格式

  • 確認 FSF 已設為寫入 JSON 輸出 (預設行為)。
  • 確認 Fluentd <parse> 區段已設為 @type json。
  • 手動檢查記錄檔,確認其中包含有效的 JSON:

    head -n 1 /var/log/fsf/*.log | jq .
    

UDM 對應表

記錄欄位 UDM 對應 邏輯
CompressType_label, compressed_parents about.labels 合併自 CompressType_label (鍵為「壓縮類型」,值來自 Object.EXTRACT_ZIP.Object_0.Compress Type,如果訊息包含「壓縮類型」) 和 compressed_parents (鍵為「壓縮父項檔案」,串連自 Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.additional_info.compressed_parents)
Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.MD5, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.MD5, Object.EXTRACT_SWF.META_BASIC_INFO.MD5, Object.EXTRACT_GZIP.META_BASIC_INFO.MD5, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.MD5 intermediary.file.md5 如果 EXTRACT_EMBEDDED 存在,則為 Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.MD5 的值,否則如果 EXTRACT_ZIP 存在,則為 Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.MD5 的值,否則如果 EXTRACT_SWF 存在,則為 Object.EXTRACT_SWF.META_BASIC_INFO.MD5 的值,否則如果 EXTRACT_GZIP 存在,則為 Object.EXTRACT_GZIP.META_BASIC_INFO.MD5 的值,否則為 Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.MD5
Object.EXTRACT_EMBEDDED.Object_0.Description intermediary.file.mime_type 直接複製值
Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA1, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA1, Object.EXTRACT_SWF.META_BASIC_INFO.SHA1, Object.EXTRACT_GZIP.META_BASIC_INFO.SHA1, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA1 intermediary.file.sha1 如果 EXTRACT_EMBEDDED 存在,則為 Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA1 的值,否則如果 EXTRACT_ZIP 存在,則為 Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA1 的值,否則如果 EXTRACT_SWF 存在,則為 Object.EXTRACT_SWF.META_BASIC_INFO.SHA1 的值,否則如果 EXTRACT_GZIP 存在,則為 Object.EXTRACT_GZIP.META_BASIC_INFO.SHA1 的值,否則為 Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA1 的值
Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA256、Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA256、Object.EXTRACT_SWF.META_BASIC_INFO.SHA256、Object.EXTRACT_GZIP.META_BASIC_INFO.SHA256、Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA256 intermediary.file.sha256 如果 EXTRACT_EMBEDDED 存在,則為 Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA256 的值,否則如果 EXTRACT_ZIP 存在,則為 Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA256 的值,否則如果 EXTRACT_SWF 存在,則為 Object.EXTRACT_SWF.META_BASIC_INFO.SHA256 的值,否則如果 EXTRACT_GZIP 存在,則為 Object.EXTRACT_GZIP.META_BASIC_INFO.SHA256 的值,否則為 Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA256
Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.Size, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.Size, Object.EXTRACT_SWF.META_BASIC_INFO.Size, Object.EXTRACT_GZIP.META_BASIC_INFO.Size, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.Size intermediary.file.size 如果 EXTRACT_EMBEDDED 存在,則為 Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.Size 的值;如果 EXTRACT_ZIP 存在,則為 Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.Size 的值;如果 EXTRACT_SWF 存在,則為 Object.EXTRACT_SWF.META_BASIC_INFO.Size 的值;如果 EXTRACT_GZIP 存在,則為 Object.EXTRACT_GZIP.META_BASIC_INFO.Size 的值;如果 EXTRACT_CAB 存在,則為 Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.Size 的值;已移除結尾的「 .*」並轉換為 uinteger
Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.scan_id intermediary.resource.id 直接複製值
Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.permalink intermediary.url 直接複製值
Object.META_EMERSON_INFO.results intermediary.user.email_addresses 從結果陣列中的 matched_email 合併
Summary.Observations metadata.description 從陣列串連,以「, 」分隔,並移除開頭的逗號
掃描時間 metadata.event_timestamp 使用日期篩選器轉換,格式為 yyyy-MM-dd HH:mm:ss
來源 metadata.event_type 如果來源不為空白,請設為「SCAN_FILE」,否則設為「GENERIC_EVENT」
Object.META_VT_CACHE._id metadata.product_log_id 直接複製值
result.ad_data.message network.http.response_code 使用 grok 模式 INT 從 result.ad_data.message 擷取為整數
來源 principal.hostname 直接複製值
Object.META_EMERSON_INFO.result_summary, Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.verbose_msg security_result.summary 如果存在,則設為 Object.META_EMERSON_INFO.result_summary,否則設為 Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.verbose_msg
檔案名稱 target.file.full_path 直接複製值
Object.META_BASIC_INFO.MD5 target.file.md5 直接複製值
Summary.Yara target.file.mime_type 從 Summary.Yara 的第一個索引擷取,轉換為大寫,並在 Yara 存在時移除「FT_」,否則在 EXTRACT_ZIP 存在時設為「ZIP」,在 EXTRACT_SWF 存在時設為「SWF」,在 EXTRACT_GZIP 存在時設為「GZIP」,在 EXTRACT_CAB 存在時設為「CAB」
Object.META_BASIC_INFO.SHA1, Object.META_VT_CACHE.SHA1 target.file.sha1 Object.META_BASIC_INFO.SHA1 的值 (如果不是空白),否則為 Object.META_VT_CACHE.SHA1
Object.META_BASIC_INFO.SHA256 target.file.sha256 直接複製值
Object.META_BASIC_INFO.Size target.file.size 移除結尾的「 .*」,並轉換為無正負號整數
metadata.vendor_name 設為「EMERSON」
metadata.product_name 設為「FILE SCANNING FRAMEWORK」

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。