在搜索和信息中心中使用去重功能

支持的平台：

Google SecOps SIEM

在 Google Security Operations 中，如果多个系统记录同一事件（例如，身份验证系统和防火墙都记录了单次登录），搜索结果可能会包含重复项。

如需仅返回唯一结果，请在 YARA-L 语法中使用 dedup 部分。向此部分添加 UDM 字段可确保查询针对每个不同的值组合返回单个结果。

性能准则

dedup 运算符会将时间范围内的所有数据作为一个整体进行处理，以确保正确性。

最佳范围：范围不超过 1 天时，效果最佳。
延迟时间：如果延迟时间介于 7 天到 30 天之间，延迟时间会显著增加，并可能导致查询超时。

我们建议您在应用 dedup 运算符时，始终使用适合调查的最短时间范围。

按查询类型去重

去重行为取决于您的查询是否使用聚合，并且适用于以下类型的搜索查询和信息中心查询。

汇总的搜索查询

汇总搜索查询包括 match、match 和 outcome 或 aggregated outcome 部分。去重处理会在确定转化结果后进行。

对于这些查询，请将以下字段添加到 dedup 部分：

match 部分中的字段
*outcome 部分中的字段

UDM 搜索查询

UDM 搜索查询不包含 match、outcome 或汇总的 outcome 部分。注意：只要没有汇总和 match 部分，UDM 搜索查询就可以包含 outcome 部分。

如需对 UDM 搜索结果进行去重，请将以下字段添加到 dedup 部分：

任何非重复、非数组和非分组的事件字段。
events 部分中的占位符字段。
outcome 部分中的结果变量（如果没有汇总）。

Google 搜索中的重复信息删除示例

本部分显示了 YARA-L 语法，可在搜索中运行。

示例：搜索唯一 IP 地址

以下示例查询可识别内部 IP 和外部 IP 之间的网络连接，并按内部 IP (principal.ip) 进行重复数据删除：

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

dedup:
   principal.ip

示例：具有流量的唯一 IP 地址

与上一个示例类似，以下示例搜索显示了具有唯一 IP 地址的网络连接事件。将 dedup 应用于 principal.ip 可将结果范围缩小到与唯一 IP 相关联的事件。outcome 部分显示了 principal.ip 和 target.ip 之间发送的总字节数，并按流量从高到低的顺序显示结果。

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.ip

order:
   $total_bytes desc

示例：基本 UDM 重复数据删除

以下示例用于搜索所有日志类型中访问的唯一主机名的高级视图。将 dedup 应用于 target.hostname 可将结果范围缩小到与唯一外部主机名相关联的事件。注意：此格式适用于不需要聚合的查询。

metadata.log_type != ""

dedup:
    target.hostname

以下是不含 dedup 选项的等效示例。它通常会返回更多事件。

metadata.log_type != "" AND target.hostname != ""

示例：唯一主机名

与上一个示例类似，此搜索会显示具有唯一主机名的网络连接事件。将 dedup 选项应用于 principal.hostname 可将结果范围缩小到与唯一主机相关联的事件：

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""

match:
   target.hostname, principal.hostname

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.hostname

order:
   $total_bytes desc