Aplicar junções em pesquisas e painéis
As junções ajudam a correlacionar dados de várias fontes para fornecer mais contexto para uma investigação. Ao vincular eventos, entidades e outros dados relacionados, é possível investigar cenários de ataque complexos e visualizar tendências.
Neste documento, explicamos como usar a operação de mesclagem no campo Pesquisa e nos painéis do Google SecOps. Ele aborda os tipos de mesclagem compatíveis, os casos de uso e as práticas recomendadas.
Conceitos básicos de mesclagens
É possível criar uma mesclagem conectando fontes de dados usando variáveis de marcador de posição compartilhadas ou instruções de igualdade explícitas (por exemplo, $e1.hostname = $e2.hostname). Ao definir uma mesclagem na seção match de uma consulta baseada em estatísticas, é necessário usar variáveis de marcador de posição.
Os exemplos a seguir demonstram como vincular fontes de dados usando dois campos com um sinal de igual (=) e uma variável de marcador de posição compartilhada.
Exemplo 1: mesclagem implícita usando variáveis de marcador de posição
events: // Assign a value from the first event to the placeholder variable $user $user = $e1.principal.user.userid // The second assignment creates an implicit join, linking $e2 to $e1 // where the user ID is the same. $user = $e2.principal.user.userid match: $user over 1h condition: $e1 and $e2Exemplo 2: mesclagem explícita usando igualdade e marcadores de posição
$e1.principal.ip = $ip $e1.metadata.event_type = "USER_LOGIN" $e1.principal.hostname = $host $e2.target.ip = $ip $e2.principal.hostname = "altostrat" $e2.target.hostname = $host match: $ip, $host over 5m
Mesclagens na pesquisa
Os exemplos nesta seção demonstram a sintaxe usada na Pesquisa.
As consultas na Pesquisa não diferenciam maiúsculas de minúsculas por padrão.
Mesclagem de evento com evento
Uma mesclagem de eventos conecta dois eventos diferentes do Modelo de Dados Unificado (UDM). A consulta de exemplo a seguir vincula um evento
USER_LOGINa outro evento para encontrar o nome do host (altostrat) com que o usuário interagiu, com base em um endereço IP comum:$e1.principal.ip = $ip $e1.metadata.event_type = "USER_LOGIN" $e2.target.ip = $ip $e2.principal.hostname = "altostrat" match: $ip over 5m
Vinculação de evento-ECG
Uma mesclagem de evento-ECG conecta um evento de UDM a uma entidade do gráfico de contexto de entidade (ECG, na sigla em inglês). O exemplo de consulta a seguir encontra um evento
NETWORK_CONNECTIONe umASSETdo gráfico de entidades que compartilham o mesmo nome de host em um período de 1 hora:events: $e1.metadata.event_type = "NETWORK_CONNECTION" $g1.graph.metadata.entity_type = "ASSET" $e1.principal.asset.hostname = $g1.graph.entity.asset.hostname $x = $g1.graph.entity.asset.hostname match: $x over 1h condition: $e1 and $g1
Mesclagem de eventos de tabela de dados
Uma mesclagem de datatable-event conecta eventos do UDM com entradas em uma tabela de dados personalizada. Isso é útil para verificar dados de eventos ao vivo em uma lista definida pelo usuário, como endereços IP mal-intencionados conhecidos ou agentes de ameaças. O exemplo de consulta a seguir mescla eventos
NETWORK_CONNECTIONcom uma tabela de dados para encontrar conexões que envolvem endereços IP específicos dessa lista:$ip = %DATATABLE_NAME.COLUMN_NAME $ip = $e1.principal.ip $e1.metadata.event_type = "NETWORK_CONNECTION" match: $ip over 1h
Usar a cláusula IN com tabelas de dados
Também é possível usar a cláusula in para verificar se um valor de campo existe em uma coluna da tabela de dados. Essa sintaxe é compatível com todas as fontes de dados (por exemplo, ioc.type in %abc.type) e oferece uma maneira conveniente de filtrar eventos com base em listas de referência sem definir variáveis de marcador de posição explícitas para a mesclagem.
Casos de uso comuns
Nesta seção, listamos algumas maneiras comuns de usar as mesclagens.
Detectar roubo e uso de credenciais
Meta: encontrar instâncias em que um usuário faz login e exclui rapidamente um arquivo de sistema crítico. Isso pode sugerir um sequestro de conta ou uma atividade maliciosa de uma pessoa com informações privilegiadas.
Tipo de mesclagem: mesclagem de evento-evento
Descrição: essa consulta conecta dois eventos distintos que não são suspeitos
por si só, mas se tornam altamente suspeitos quando acontecem juntos. Primeiro, ele procura um evento USER_LOGIN e, em seguida, um evento FILE_DELETION. Eles são unidos pelo user.userid comum com uma janela de tempo curta.
Consulta de detecção de roubo de credenciais
// Event 1: A user successfully logs in $e1.metadata.event_type = "USER_LOGIN" $e1.security_result.action = "ALLOW" $e1.principal.user.userid = $user // Event 2: The same user deletes a critical file $e2.metadata.event_type = "FILE_DELETION" $e2.target.file.full_path = /etc\/passwd|C:\\Windows\\System32\\/ $e2.principal.user.userid = $user match: $user over 10m condition: $e1 and $e2
Identificar conexões de risco de recursos críticos
Meta: enriquecer os dados de rede em tempo real com informações de recursos para encontrar conexões de saída de servidores que não devem se comunicar com domínios externos de baixa prevalência (por exemplo, um servidor de banco de dados de produção).
Tipo de mesclagem: mesclagem de evento-ECG
Descrição: uma única conexão de rede com um domínio raro pode não ser uma
prioridade alta. No entanto, essa consulta aumenta a importância desse evento ao
unir ele ao Gráfico de Contexto de Entidade (ECG, na sigla em inglês). Ele procura especificamente eventos NETWORK_CONNECTION que vêm de recursos rotulados como "Servidor de banco de dados crítico" no gráfico de entidades.
Consulta de conexões de risco
events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.target.domain.prevalence.day_count <= 5 $asset.graph.metadata.entity_type = "ASSET" $asset.graph.entity.asset.labels.value = "Critical Database Server" $e.principal.asset.hostname = $asset.graph.entity.asset.hostname $host = $e.principal.asset.hostname match: $host over 1h condition: $e and $asset
Buscar IOCs de agentes de ameaças
Objetivo: pesquisar ativamente indicadores de comprometimento (IoCs) verificando todas as consultas DNS ativas em uma lista de domínios conhecidos por serem usados por um agente de ameaças específico.
Tipo de mesclagem: mesclagem de tabela de dados e evento
Descrição: sua equipe de inteligência contra ameaças mantém uma tabela de dados chamada
ThreatActor_Domains que lista domínios maliciosos. Essa consulta mescla todos os eventos NETWORK_DNS_QUERY em tempo real com essa tabela de dados. Ele mostra imediatamente
qualquer instância em que um host na sua rede tenta resolver um domínio da sua
lista de inteligência contra ameaças.
Consulta de busca de IOC de agente de ameaças
// Datatable: Get the list of malicious domains $domain = %DATATABLE_NAME.COLUMN_NAME // Event: A DNS query is made $e.metadata.event_type = "NETWORK_DNS" $e.network.dns.questions.name = $domain match: $domain over 5m condition: $e
Junções em painéis
Os painéis são compatíveis com uma variedade maior de fontes de dados e janelas de correlação mais longas
do que na Pesquisa. Ao contrário das consultas SQL padrão, o YARA-L 2.0 não usa instruções JOIN explícitas. Em vez disso, ele conecta fontes de dados correlacionando variáveis de marcador de posição compartilhadas ou usando consultas de vários estágios.
Diferenciação entre maiúsculas e minúsculas
As consultas do painel diferenciam maiúsculas de minúsculas. Para realizar uma mesclagem ou pesquisa que não diferencia maiúsculas de minúsculas em um
painel, use o modificador nocase.
Fontes de dados compatíveis
Nos painéis, é possível mesclar dados de combinações de fontes de dados compatíveis. Nem todas as combinações de fontes de dados podem ser unidas em uma única consulta.
Todas as referências de dados em uma consulta de painel de várias fontes precisam incluir o qualificador de prefixo YARA-L (por exemplo, $u1), não apenas os campos mesclados. Isso permite que o sistema identifique corretamente a propriedade do campo em fontes de dados sobrepostas.
Combinações de mesclagem compatíveis
Com as mesclagens, é possível correlacionar eventos do UDM, contexto de entidade e tabelas de dados em painéis integrados. Para manter o desempenho do sistema, consulte as combinações compatíveis e os limites técnicos nesta seção antes de criar suas consultas.
- Evento de UDM para evento de UDM (vários eventos)
- Evento de UDM para contexto de entidade
- Evento do UDM para a tabela de dados
Histórico de caso a caso: essa combinação é estritamente limitada a exatamente uma fonte
casee uma fontecase_history. Não é possível incluir outras fontes de dados nessa mesclagem.
Para informações sobre limites e proteções, consulte Limites e restrições técnicas.
Exemplo: mesclar case e case_history
É possível correlacionar os metadados do caso com a atividade histórica dele ao mesclar o ID do caso exclusivo.
O exemplo a seguir mescla as fontes de dados
caseecase_historypara contar o número total de ações históricas para cada caso de alta prioridade.// 1. Establish the Join using a shared placeholder variable ($case_id) $h.case_history.case_response_platform_info.case_id = $case_id $c.case.response_platform_info.response_platform_id = $case_id // 2. Apply Filters $c.case.priority = "PRIORITY_HIGH" // 3. Group the correlated data by the Case ID match: $case_id // 4. Calculate the selected metrics to display on the dashboard outcome: $case_name = array_distinct($c.case.display_name) $total_historical_actions = count($h.case_history.case_activity)
Caso de uso avançado: como calcular o MTTR
Para métricas mais complexas, como tempo médio de resolução (MTTR, na sigla em inglês) ou tempo médio de fechamento (MTTC, na sigla em inglês), use uma consulta de vários estágios. Isso permite calcular a duração de cada caso individual no primeiro estágio e, em seguida, calcular a média dessas durações globalmente no bloco de resultado final.
A consulta a seguir calcula o tempo médio para fechar casos (em minutos) em todos os casos no "Ambiente padrão".
stage stage1 { // 1. Establish the Join $h.case_history.case_response_platform_info.case_id = $case_id $c.case.response_platform_info.response_platform_id = $case_id // 2. Filter by specific environment $c.case.environment = "Default Environment" // 3. Group by Case ID to process per case match: $case_id // 4. Calculate the Time to Close (TTC) for each case individually outcome: $case_close_time = max(if($h.case_history.case_activity = "CLOSE_CASE", $h.case_history.event_time.seconds, 0)) $status = array_distinct($h.case_history.case_activity) // Subtract the very first event time (creation) from the close time $TTC = $case_close_time - min($h.case_history.event_time.seconds) // 5. Filter to ensure the case has a complete lifecycle condition: arrays.contains($status, "CREATE_CASE") and arrays.contains($status, "CLOSE_CASE") } // 6. Global Aggregation: Calculate the Mean (Average) across all processed cases outcome: $case_count = count($stage1.case_id) $MTTC = (math.round(avg($stage1.TTC) / 60))
Práticas recomendadas
Para otimizar o desempenho das suas consultas de mesclagem e garantir que elas sejam processadas de forma eficiente, siga estas práticas recomendadas para filtrar eventos e gerenciar o escopo da pesquisa.
Use filtros específicos para reduzir o número de eventos
As consultas de mesclagem podem consumir muitos recursos porque combinam muitos resultados.
Filtros amplos e gerais podem causar falhas nas consultas, às vezes após um longo atraso, por exemplo:
target.ip != ""metadata.event_type = "NETWORK_CONNECTION"(se esse tipo de evento for muito comum no seu ambiente)
Recomendamos combinar filtros gerais com filtros mais específicos para reduzir o número total de eventos que a consulta precisa processar. Um filtro amplo como
target.ip != ""precisa ser combinado com filtros mais específicos para melhorar o desempenho da consulta, por exemplo:$e1.metadata.log_type = $log $e1.metadata.event_type = "USER_LOGIN" $e1.target.ip != "" $e2.metadata.log_type = $log $e2.principal.ip = "10.0.0.76" $e2.target.hostname != "altostrat" match: $log over 5m
Se a consulta ainda estiver lenta, você também poderá reduzir o período geral dela (por exemplo, de 30 dias para uma semana).
Para mais informações, consulte Práticas recomendadas do YARA-L.
Limites e restrições técnicas
As limitações e os limites a seguir se aplicam ao uso de mesclagens na Pesquisa e nos painéis.
Limites de janela de correspondência e consulta
A janela de correspondência define o período específico para que os eventos sejam correlacionados. Isso é diferente do período de pesquisa que você seleciona na interface do usuário.
Limites na pesquisa
A pesquisa é otimizada para investigações em tempo real ou rápidas em janelas mais curtas.
| Limite de consultas | Uso |
|---|---|
| Até 48 horas (algumas consultas podem aceitar períodos mais longos). | Correlacionar eventos em investigações rápidas. |
Limites em painéis
Os painéis são compatíveis com análises históricas de longo prazo.
| Tipo de mesclagem | Limite de consultas | Uso |
|---|---|---|
| UDM para UDM e UDM para entidade | 31 dias | Consultas de telemetria de alto volume. |
| Case-to-CaseHistory | 90 dias | Consultas de rastreamento do ciclo de vida. |
| Outras configurações compatíveis | Até 365 dias | Fallback para fontes não UDM ou baseadas em métricas (por exemplo, métricas de ingestão). |
Limites de fontes de dados e tabelas
O número máximo de fontes de dados e tabelas que você pode mesclar em uma única consulta depende do uso da Pesquisa ou de painéis.
Restrições de pesquisa
- É possível usar no máximo dois eventos de UDM por consulta.
- É possível usar no máximo um evento de ECG por consulta.
- É possível usar no máximo duas tabelas de dados por consulta.
- Não é possível mesclar uma tabela de dados diretamente com uma tabela de contexto de entidade. É necessário usar um evento UDM como ponte intermediária (por exemplo, correlacionar
$event.target.hostnamecom$datatable.hostnamee$asset.graph.entity.asset.hostname).
Restrições do painel
| Tipo de mesclagem | Máximo de tabelas de eventos (UDM ou tabela de dados) | Máximo de tabelas de entidades |
|---|---|---|
| Vários eventos (UDM para UDM) | 2 | N/A |
| UDM para entidade | 2 | 1 |
| UDM para datatable | 2 | N/A |
| Consultas de vários estágios | 2 | 1 |
Desempenho e proteções
O sistema monitora consultas de mesclagem complexas para identificar o consumo excessivo de recursos. Para proteger o desempenho geral do ambiente, o sistema pode pausar ou colocar em quarentena automaticamente as consultas que excedem os limites de segurança de recursos.
Se uma consulta falhar ou retornar erros indicando que excedeu os limites de recursos, tente as seguintes otimizações:
- Reduza a janela de tempo da consulta.
- Adicione filtros mais específicos para reduzir o tamanho do conjunto de dados antes da mesclagem.
- Simplifique suas agregações.
Restrições de API e tipo de consulta
- As mesclagens são compatíveis com a interface do usuário e a API
EventService.UDMSearch, mas não com a APISearchService.UDMSearch.
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.