收集 Secure Web Proxy 記錄
剖析器版本:2.0
本文說明如何使用 Cloud Storage,將 Secure Web Proxy 匯出並擷取至 Google Security Operations。剖析器會從 JSON 記錄中擷取欄位,並轉換為 Unified Data Model (UDM)。這個剖析器會初始化 UDM 欄位、剖析 JSON 酬載、擷取網路資訊、安全性詳細資料、資源屬性,並根據主體和目標資訊是否存在,設定事件類型。
事前準備
請確認您符合下列必要條件:
- Google SecOps 執行個體。
- Secure Web Proxy 已在 Google Cloud 環境中啟用並設定。
- Google Cloud 的特殊存取權,以及存取 Secure Web Proxy 記錄檔的適當權限。
建立 Cloud Storage bucket
- 登入 Google Cloud 控制台。
前往「Cloud Storage Buckets」頁面。
點選「建立」。
在「Create a bucket」(建立 bucket) 頁面中,輸入 bucket 資訊。完成下列各步驟後,請點選「繼續」前往下一步:
在「Get started」(開始使用) 部分,執行下列操作:
- 輸入符合 bucket 名稱規定且不重複的名稱,例如 gcp-swp-logs。
如要啟用階層命名空間,請按一下展開箭頭,展開「Optimize for file oriented and data-intensive workloads」(針對檔案導向和資料密集型工作負載進行最佳化) 專區,然後選取「Enable Hierarchical namespace on this bucket」(為這個 bucket 啟用階層命名空間)。
如要新增值區標籤,請按一下展開箭頭,展開「Labels」(標籤) 專區。
按一下「Add label」(新增標籤),然後指定標籤的鍵和值。
在「Choose where to store your data」(選擇資料的儲存位置) 部分,執行下列操作:
- 選取「位置類型」。
使用位置類型選單,選取要永久儲存 bucket 內物件資料的位置。
如要設定跨 bucket 複製作業,請展開「Set up cross-bucket replication」(設定跨 bucket 複製作業) 專區。
在「Choose a storage class for your data」(為資料選擇儲存空間級別) 部分,選取值區的「default storage class」(預設儲存空間級別),或選取「Autoclass」,讓系統自動管理值區資料的儲存空間級別。
在「Choose how to control access to objects」(選取如何控制物件的存取權) 區段中,選取「不」強制執行「公開存取權防護」,並為 bucket 的物件選取「存取控管模型」。
在「Choose how to protect object data」(選擇保護物件資料的方式) 部分,執行下列操作:
- 在「資料保護」下方,選取要為 bucket 設定的選項。
- 如要選擇物件資料的加密方式,請按一下標示為「Data encryption」(資料加密) 的展開箭頭,然後選取「Data encryption method」(資料加密方法)。
點選「建立」。
設定 Secure Web Proxy 記錄檔匯出作業
- 登入 Google Cloud 控制台。
- 依序前往「Logging」>「Log Router」。
- 按一下「建立接收器」。
提供下列設定參數:
- 「Sink Name」(接收器名稱):輸入有意義的名稱,例如
SWP-Export-Sink。 - 「Sink Destination」(接收器目的地):選取「Cloud Storage Storage」,然後輸入 bucket 的 URI,例如
gs://gcp-swp-logs/。 - 記錄篩選器:
logName="projects/<your-project-id>/logs/networkservices.googleapis.com/gateway_requests"- 「Sink Name」(接收器名稱):輸入有意義的名稱,例如
點選「建立」。
設定 Cloud Storage 權限
- 依序前往「IAM & Admin」(IAM 與管理) >「IAM」(身分與存取權管理)。
- 找出 Cloud Logging 服務帳戶。
- 授予 bucket 的 roles/storage.admin 角色。
設定動態饋給
如要設定動態饋給,請按照下列步驟操作:
- 依序前往「設定」>「資料管理」>「動態饋給」。如果使用的是 SIEM 專用平台,請依序前往「設定」>「動態饋給」。
- 按一下「新增動態饋給」。
- 在下一頁,點按「設定單一動態饋給」。
- 在「Feed name」(動態饋給名稱) 欄位中,輸入動態饋給名稱,例如 Google Cloud SWP Logs。
- 選取「Google Cloud Storage V2」做為「來源類型」。
- 選取「GCP Secure Web Proxy」做為「Log type」(記錄類型)。
- 按一下「Chronicle 服務帳戶」欄位旁的「取得服務帳戶」。
- 點選「下一步」。
指定下列輸入參數的值:
- Storage bucket URI:Cloud Storage bucket 網址,例如
gs://gcp-swp-logs/。這個網址結尾必須是正斜線 (/)。 來源刪除選項:根據偏好選取刪除選項。
檔案存在時間上限:包含過去幾天內修改過的檔案。預設值為 180 天。
- Storage bucket URI:Cloud Storage bucket 網址,例如
點選「下一步」。
在「完成」畫面中檢查新的新聞動態消息設定,然後按一下「提交」。
UDM 對應表
| 記錄欄位 | UDM 對應 | 邏輯 |
|---|---|---|
httpRequest.latency |
additional.fields[].key:HTTPRequest Latencyadditional.fields[].value.string_value:0.124462s |
直接從原始記錄欄位對應。 |
httpRequest.protocol |
network.application_protocol:HTTPnetwork.application_protocol_version:2 |
系統會使用 grok 模式,從 httpRequest.protocol 欄位擷取通訊協定和版本。 |
httpRequest.remoteIp |
target.asset.ip:1.1.0.1target.ip:1.1.0.1 |
系統會使用 grok 模式,從 httpRequest.remoteIp 欄位擷取 IP 位址。 |
httpRequest.requestMethod |
network.http.method:GET |
直接從原始記錄欄位對應。 |
httpRequest.requestSize |
network.sent_bytes:144 |
直接從原始記錄欄位對應,並轉換為整數。 |
httpRequest.requestUrl |
target.url:https://github.com/tempuslabs/tempusutils/info/refs?service=git-upload-pack |
直接從原始記錄欄位對應。 |
httpRequest.responseSize |
network.received_bytes:225 |
直接從原始記錄欄位對應,並轉換為整數。 |
httpRequest.serverIp |
principal.asset.ip:1.8.1.4principal.ip:1.8.1.4 |
系統會使用 grok 模式,從 httpRequest.serverIp 欄位擷取 IP 位址。 |
httpRequest.status |
network.http.response_code:401 |
直接從原始記錄欄位對應,並轉換為整數。 |
httpRequest.userAgent |
network.http.user_agent: git/2.34.1network.http.parsed_user_agent: {family: USER_DEFINED,device: git,device_version: 2.34.1} |
直接從原始記錄欄位對應。parsed_user_agent 欄位是透過剖析 httpRequest.userAgent 欄位衍生而來。 |
insertId |
metadata.product_log_id:1yh8wczer5o8n |
直接從原始記錄欄位對應。 |
jsonPayload.@type |
additional.fields[].key:Log Typeadditional.fields[].value.string_value:type.googleapis.com/google.cloud.loadbalancing.type.LoadBalancerLogEntry |
直接從原始記錄欄位對應。 |
jsonPayload.enforcedGatewaySecurityPolicy.hostname |
target.asset.hostname:github.comtarget.hostname:github.com |
直接從原始記錄欄位對應。 |
jsonPayload.enforcedGatewaySecurityPolicy.matchedRules[].action |
security_result.action:ALLOWsecurity_result.action_details:ALLOWED |
security_result.action 是根據 jsonPayload.enforcedGatewaySecurityPolicy.matchedRules[].action 的值衍生而來。如果動作是 ALLOWED,UDM 欄位會設為 ALLOW。如果動作為 DENIED,UDM 欄位會設為 BLOCK。 |
jsonPayload.enforcedGatewaySecurityPolicy.matchedRules[].name |
security_result.rule_name:projects/671807354785/locations/us-central1/gatewaySecurityPolicies/github-access-gateway-security-policy-5cec30cd/rules/github-access-gateway-security-policy-rule-5cec30cd |
直接從原始記錄欄位對應。 |
jsonPayload.enforcedGatewaySecurityPolicy.requestWasTlsIntercepted |
security_result.detection_fields[].key:requestWasTlsInterceptedsecurity_result.detection_fields[].value:true |
直接從原始記錄欄位對應。 |
logName |
additional.fields[].key:Log Nameadditional.fields[].value.string_value:projects/rws-w6uza3pn5jzzh6z3hc3d/logs/networkservices.googleapis.com%2Fgateway_requests |
直接從原始記錄欄位對應。 |
receiveTimestamp |
metadata.collected_timestamp: {seconds: 1710189647,nanos: 661101224} |
使用 RFC 3339 日期格式,從原始記錄欄位剖析。 |
resource.labels.gateway_name |
security_result.detection_fields[].key:gateway-namesecurity_result.detection_fields[].value:github-access-gateway-5cec30cd |
直接從原始記錄欄位對應。 |
resource.labels.gateway_type |
security_result.detection_fields[].key:gateway-typesecurity_result.detection_fields[].value:SECURE_WEB_GATEWAY |
直接從原始記錄欄位對應。 |
resource.labels.location |
target.resource.attribute.cloud.availability_zone:us-central1 |
直接從原始記錄欄位對應。 |
resource.labels.network_name |
target.resource.attribute.labels[].key:rc_network_nametarget.resource.attribute.labels[].value:projects/rws-w6uza3pn5jzzh6z3hc3d/global/networks/rws-tr-pilot-workspace |
直接從原始記錄欄位對應。 |
resource.type |
target.resource.attribute.labels[].key:Resource Typetarget.resource.attribute.labels[].value:networkservices.googleapis.com/Gateway |
直接從原始記錄欄位對應。 |
severity |
security_result.severity:MEDIUM |
從原始記錄欄位對應。這個值會轉譯為 UDM 嚴重性等級。在本例中,WARNING 對應至 MEDIUM。 |
timestamp |
metadata.event_timestamp: {seconds: 1710189639,nanos: 952848000} |
使用 RFC 3339 日期格式,從原始記錄欄位剖析。 |
| (剖析器邏輯) | metadata.event_type:NETWORK_HTTP |
由剖析器邏輯根據 has_principal、has_target 和與 http 相符的通訊協定決定。 |
| (剖析器邏輯) | metadata.log_type:GCP_SWP |
根據產品而定的硬式編碼值。 |
變更記錄
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。