收集 Secure Web Proxy 記錄

剖析器版本:2.0

支援的服務:

本文說明如何使用 Cloud Storage,將 Secure Web Proxy 匯出並擷取至 Google Security Operations。剖析器會從 JSON 記錄中擷取欄位,並轉換為 Unified Data Model (UDM)。這個剖析器會初始化 UDM 欄位、剖析 JSON 酬載、擷取網路資訊、安全性詳細資料、資源屬性,並根據主體和目標資訊是否存在,設定事件類型。

事前準備

請確認您符合下列必要條件:

  • Google SecOps 執行個體。
  • Secure Web Proxy 已在 Google Cloud 環境中啟用並設定。
  • Google Cloud 的特殊存取權,以及存取 Secure Web Proxy 記錄檔的適當權限。

建立 Cloud Storage bucket

  1. 登入 Google Cloud 控制台。
  2. 前往「Cloud Storage Buckets」頁面。

    前往「Buckets」

  3. 點選「建立」。

  4. 在「Create a bucket」(建立 bucket) 頁面中,輸入 bucket 資訊。完成下列各步驟後,請點選「繼續」前往下一步:

    1. 在「Get started」(開始使用) 部分,執行下列操作:

      1. 輸入符合 bucket 名稱規定且不重複的名稱,例如 gcp-swp-logs。
      2. 如要啟用階層命名空間,請按一下展開箭頭,展開「Optimize for file oriented and data-intensive workloads」(針對檔案導向和資料密集型工作負載進行最佳化) 專區,然後選取「Enable Hierarchical namespace on this bucket」(為這個 bucket 啟用階層命名空間)。

      3. 如要新增值區標籤,請按一下展開箭頭,展開「Labels」(標籤) 專區。

      4. 按一下「Add label」(新增標籤),然後指定標籤的鍵和值。

    2. 在「Choose where to store your data」(選擇資料的儲存位置) 部分,執行下列操作:

      1. 選取「位置類型」。
      2. 使用位置類型選單,選取要永久儲存 bucket 內物件資料的位置。

      3. 如要設定跨 bucket 複製作業,請展開「Set up cross-bucket replication」(設定跨 bucket 複製作業) 專區。

    3. 在「Choose a storage class for your data」(為資料選擇儲存空間級別) 部分,選取值區的「default storage class」(預設儲存空間級別),或選取「Autoclass」,讓系統自動管理值區資料的儲存空間級別。

    4. 在「Choose how to control access to objects」(選取如何控制物件的存取權) 區段中,選取「不」強制執行「公開存取權防護」,並為 bucket 的物件選取「存取控管模型」。

    5. 在「Choose how to protect object data」(選擇保護物件資料的方式) 部分,執行下列操作:

      1. 在「資料保護」下方,選取要為 bucket 設定的選項。
      2. 如要選擇物件資料的加密方式,請按一下標示為「Data encryption」(資料加密) 的展開箭頭,然後選取「Data encryption method」(資料加密方法)。
  5. 點選「建立」。

設定 Secure Web Proxy 記錄檔匯出作業

  1. 登入 Google Cloud 控制台。
  2. 依序前往「Logging」>「Log Router」。
  3. 按一下「建立接收器」。
  4. 提供下列設定參數:

    • 「Sink Name」(接收器名稱):輸入有意義的名稱,例如 SWP-Export-Sink。
    • 「Sink Destination」(接收器目的地):選取「Cloud Storage Storage」,然後輸入 bucket 的 URI,例如 gs://gcp-swp-logs/。
    • 記錄篩選器:
    logName="projects/<your-project-id>/logs/networkservices.googleapis.com/gateway_requests"
    
  5. 點選「建立」。

設定 Cloud Storage 權限

  1. 依序前往「IAM & Admin」(IAM 與管理) >「IAM」(身分與存取權管理)。
  2. 找出 Cloud Logging 服務帳戶。
  3. 授予 bucket 的 roles/storage.admin 角色。

設定動態饋給

如要設定動態饋給,請按照下列步驟操作:

  1. 依序前往「設定」>「資料管理」>「動態饋給」。如果使用的是 SIEM 專用平台,請依序前往「設定」>「動態饋給」。
  2. 按一下「新增動態饋給」。
  3. 在下一頁,點按「設定單一動態饋給」。
  4. 在「Feed name」(動態饋給名稱) 欄位中,輸入動態饋給名稱,例如 Google Cloud SWP Logs。
  5. 選取「Google Cloud Storage V2」做為「來源類型」。
  6. 選取「GCP Secure Web Proxy」做為「Log type」(記錄類型)。
  7. 按一下「Chronicle 服務帳戶」欄位旁的「取得服務帳戶」。
  8. 點選「下一步」。
  9. 指定下列輸入參數的值:

    • Storage bucket URI:Cloud Storage bucket 網址,例如 gs://gcp-swp-logs/。這個網址結尾必須是正斜線 (/)。
    • 來源刪除選項:根據偏好選取刪除選項。

    • 檔案存在時間上限:包含過去幾天內修改過的檔案。預設值為 180 天。

  10. 點選「下一步」。

  11. 在「完成」畫面中檢查新的新聞動態消息設定,然後按一下「提交」。

UDM 對應表

記錄欄位 UDM 對應 邏輯
httpRequest.latency additional.fields[].key:HTTPRequest Latency
additional.fields[].value.string_value:0.124462s
直接從原始記錄欄位對應。
httpRequest.protocol network.application_protocol:HTTP
network.application_protocol_version:2
系統會使用 grok 模式,從 httpRequest.protocol 欄位擷取通訊協定和版本。
httpRequest.remoteIp target.asset.ip:1.1.0.1
target.ip:1.1.0.1
系統會使用 grok 模式,從 httpRequest.remoteIp 欄位擷取 IP 位址。
httpRequest.requestMethod network.http.method:GET 直接從原始記錄欄位對應。
httpRequest.requestSize network.sent_bytes:144 直接從原始記錄欄位對應,並轉換為整數。
httpRequest.requestUrl target.url:https://github.com/tempuslabs/tempusutils/info/refs?service=git-upload-pack 直接從原始記錄欄位對應。
httpRequest.responseSize network.received_bytes:225 直接從原始記錄欄位對應,並轉換為整數。
httpRequest.serverIp principal.asset.ip:1.8.1.4
principal.ip:1.8.1.4
系統會使用 grok 模式,從 httpRequest.serverIp 欄位擷取 IP 位址。
httpRequest.status network.http.response_code:401 直接從原始記錄欄位對應,並轉換為整數。
httpRequest.userAgent network.http.user_agent: git/2.34.1
network.http.parsed_user_agent: {
family: USER_DEFINED,
device: git,
device_version: 2.34.1
}
直接從原始記錄欄位對應。parsed_user_agent 欄位是透過剖析 httpRequest.userAgent 欄位衍生而來。
insertId metadata.product_log_id:1yh8wczer5o8n 直接從原始記錄欄位對應。
jsonPayload.@type additional.fields[].key:Log Type
additional.fields[].value.string_value:type.googleapis.com/google.cloud.loadbalancing.type.LoadBalancerLogEntry
直接從原始記錄欄位對應。
jsonPayload.enforcedGatewaySecurityPolicy.hostname target.asset.hostname:github.com
target.hostname:github.com
直接從原始記錄欄位對應。
jsonPayload.enforcedGatewaySecurityPolicy.matchedRules[].action security_result.action:ALLOW
security_result.action_details:ALLOWED
security_result.action 是根據 jsonPayload.enforcedGatewaySecurityPolicy.matchedRules[].action 的值衍生而來。如果動作是 ALLOWED,UDM 欄位會設為 ALLOW。如果動作為 DENIED,UDM 欄位會設為 BLOCK。
jsonPayload.enforcedGatewaySecurityPolicy.matchedRules[].name security_result.rule_name:projects/671807354785/locations/us-central1/gatewaySecurityPolicies/github-access-gateway-security-policy-5cec30cd/rules/github-access-gateway-security-policy-rule-5cec30cd 直接從原始記錄欄位對應。
jsonPayload.enforcedGatewaySecurityPolicy.requestWasTlsIntercepted security_result.detection_fields[].key:requestWasTlsIntercepted
security_result.detection_fields[].value:true
直接從原始記錄欄位對應。
logName additional.fields[].key:Log Name
additional.fields[].value.string_value:projects/rws-w6uza3pn5jzzh6z3hc3d/logs/networkservices.googleapis.com%2Fgateway_requests
直接從原始記錄欄位對應。
receiveTimestamp metadata.collected_timestamp: {
seconds: 1710189647,
nanos: 661101224
}
使用 RFC 3339 日期格式,從原始記錄欄位剖析。
resource.labels.gateway_name security_result.detection_fields[].key:gateway-name
security_result.detection_fields[].value:github-access-gateway-5cec30cd
直接從原始記錄欄位對應。
resource.labels.gateway_type security_result.detection_fields[].key:gateway-type
security_result.detection_fields[].value:SECURE_WEB_GATEWAY
直接從原始記錄欄位對應。
resource.labels.location target.resource.attribute.cloud.availability_zone:us-central1 直接從原始記錄欄位對應。
resource.labels.network_name target.resource.attribute.labels[].key:rc_network_name
target.resource.attribute.labels[].value:projects/rws-w6uza3pn5jzzh6z3hc3d/global/networks/rws-tr-pilot-workspace
直接從原始記錄欄位對應。
resource.type target.resource.attribute.labels[].key:Resource Type
target.resource.attribute.labels[].value:networkservices.googleapis.com/Gateway
直接從原始記錄欄位對應。
severity security_result.severity:MEDIUM 從原始記錄欄位對應。這個值會轉譯為 UDM 嚴重性等級。在本例中,WARNING 對應至 MEDIUM。
timestamp metadata.event_timestamp: {
seconds: 1710189639,
nanos: 952848000
}
使用 RFC 3339 日期格式,從原始記錄欄位剖析。
(剖析器邏輯) metadata.event_type:NETWORK_HTTP 由剖析器邏輯根據 has_principal、has_target 和與 http 相符的通訊協定決定。
(剖析器邏輯) metadata.log_type:GCP_SWP 根據產品而定的硬式編碼值。

變更記錄

查看這個剖析器的變更記錄

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。