Usar a remoção de duplicidades na pesquisa e nos painéis

Compatível com:

No Google Security Operations, os resultados da pesquisa podem incluir duplicados quando vários sistemas registram o mesmo evento. Por exemplo, um sistema de autenticação e um firewall registrando um único login.

Para retornar apenas resultados exclusivos, use a seção dedup na sintaxe YARA-L. Adicionar campos do UDM a essa seção garante que a consulta retorne um único resultado para cada combinação distinta de valores.

Diretrizes de desempenho

O operador dedup processa todos os dados em um período como uma única unidade para manter a correção.

  • Intervalos ideais: a performance é melhor para intervalos de até um dia.
  • Latência: intervalos entre 7 e 30 dias aumentam significativamente a latência e podem causar tempos limite de consulta.

Recomendamos sempre usar o período mais curto possível adequado à sua investigação ao aplicar o operador dedup.

Eliminação de duplicação por tipo de consulta

O comportamento da remoção de duplicação depende de a consulta usar agregações e se aplica aos seguintes tipos de consultas de pesquisa e painel.

Consultas de pesquisa agregadas

As consultas de pesquisa agregadas incluem seções match, match e outcome ou aggregated outcome. A remoção de duplicações ocorre depois que os resultados são determinados.

Para essas consultas, adicione os seguintes campos à seção dedup:

  • Campos da seção match
  • *Campos da seção outcome

Consultas de pesquisa do UDM

As consultas de pesquisa da UDM excluem as seções match, outcome ou outcome agregadas. Observação: as consultas de pesquisa da UDM podem incluir uma seção outcome, desde que não haja agregações nem uma seção match.

Para remover duplicidades das pesquisas de UDM, adicione estes campos à seção dedup:

  • Todos os campos de evento não repetidos, não de matriz e não agrupados.
  • Campos de marcador de posição da seção events.
  • Variáveis de resultado da seção outcome (se não houver agregações).

Esta seção mostra a sintaxe YARA-L e pode ser executada na Pesquisa.

Exemplo: pesquisar endereços IP exclusivos

A consulta de exemplo a seguir identifica conexões de rede entre IPs internos e externos, removendo duplicidades pelo IP interno (principal.ip):

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

dedup:
   principal.ip

Exemplo: endereços IP exclusivos com volume de tráfego

Semelhante ao exemplo anterior, a pesquisa a seguir mostra eventos de conexão de rede com endereços IP exclusivos. Aplicar dedup a principal.ip restringe os resultados a eventos associados a IPs únicos. A seção outcome mostra o total de bytes enviados entre principal.ip e target.ip, ordenando os resultados do maior para o menor volume de tráfego.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.ip

order:
   $total_bytes desc

Exemplo: deduplicação básica de UDM

O exemplo a seguir procura uma visão geral dos nomes de host exclusivos acessados em todos os tipos de registros. Aplicar dedup a target.hostname restringe os resultados a eventos associados a nomes de host externos exclusivos. Observação: esse formato é eficaz para consultas que não exigem agregações.

metadata.log_type != ""

dedup:
    target.hostname

Confira abaixo um exemplo equivalente sem a opção dedup. Normalmente, ele retorna muito mais eventos.

metadata.log_type != "" AND target.hostname != ""

Exemplo: nomes de host exclusivos

Semelhante ao exemplo anterior, essa pesquisa mostra eventos de conexão de rede com nomes de host exclusivos. Aplicar a opção dedup a principal.hostname restringe os resultados a eventos associados a hosts únicos:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""

match:
   target.hostname, principal.hostname

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.hostname

order:
   $total_bytes desc

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.