Visão geral da extração automática

Compatível com:

Este documento fornece uma visão geral de como os dados são extraídos automaticamente para melhorar a capacidade de ingestão, tratamento e análise.

O Google Security Operations usa analisadores pré-criados para extrair e estruturar dados de registro usando o esquema do modelo de dados unificado (UDM). Gerenciar e manter esses analisadores pode ser difícil devido a várias limitações: extração de dados incompleta, número crescente de analisadores para gerenciar e necessidade de atualizações frequentes à medida que os formatos de registro evoluem.

Para resolver esses desafios, use o recurso de extração automática. Esse recurso extrai automaticamente pares de chave-valor de registros formatados em JSON e XML ingeridos no Google SecOps. Ele também é compatível com registros formatados em Syslog que incluem uma mensagem JSON. Esses dados extraídos são armazenados em um campo UDM do tipo mapa chamado extracted. Em seguida, você pode usar esses dados em consultas de pesquisa da UDM, painéis nativos e regras YARA-L.

Como prática recomendada, as pesquisas de UDM que usam campos extraídos precisam incluir metadata.log_type na consulta para melhorar o desempenho da consulta de pesquisa.

O benefício da extração automática é a redução da dependência de analisadores, garantindo que os dados permaneçam disponíveis, mesmo quando um analisador não está presente ou não consegue analisar um registro.

Analisar e extrair dados do registro bruto

  1. Análise: o Google SecOps tenta analisar os registros usando um analisador específico para o tipo de registro, se disponível. Se não houver um analisador específico ou se a análise falhar, o Google SecOps usará um analisador geral para extrair informações básicas, como carimbo de data/hora ingerido, tipo de registro e rótulos de metadados.

  2. Extração de dados: a extração automática não é ativada por padrão. Ative e selecione os campos específicos (pontos de dados) que você quer extrair dos registros.

  3. Enriquecimento de eventos: o Google SecOps combina os dados analisados e os campos formatados de maneira personalizada para criar eventos enriquecidos, fornecendo mais contexto e detalhes.

  4. Transferência de dados downstream: esses eventos enriquecidos são enviados para outros sistemas para análise e processamento adicionais.

Trabalhar com extratores

Com os extratores, é possível extrair campos de todas as origens de registros compatíveis. Eles foram projetados para otimizar o gerenciamento de registros. Com os extratores, é possível reduzir o tamanho dos eventos, melhorar a eficiência da análise e ter mais controle sobre a extração de dados. Isso é especialmente útil para gerenciar novos tipos de registros ou minimizar o tempo de processamento.

É possível criar extratores usando o menu Configurações do SIEM ou fazendo uma pesquisa de log bruto.

Criar extratores

  1. Acesse o painel Extrair outros campos usando um dos seguintes métodos:

    • Clique em Configurações do SIEM > Analistas e faça o seguinte:
      1. Na tabela PARSERS que aparece, identifique um analisador (origem de registro) e clique em Menu > Estender analisador > Extrair outros campos.
    • Use a verificação de registros brutos e faça o seguinte:
      1. Selecione as fontes de registros (analisadores) necessárias no menu Fontes de registros.
      2. Nos resultados do registro bruto, selecione uma origem para abrir o painel DADOS DO EVENTO.
      3. No painel DADOS DE EVENTO, clique em Gerenciar analisador > Estender analisador > Extrair outros campos.
    • Use a pesquisa do UDM e faça o seguinte:
      1. Na guia EVENTOS dos resultados da pesquisa da UDM, selecione uma origem de registro para abrir o painel Visualizador de eventos.
      2. Na guia Registro bruto, clique em Gerenciar analisador > Estender analisador > Extrair outros campos.

  2. Na guia Selecionar extratores do painel Extrair campos adicionais, selecione os campos de registro brutos necessários. Por padrão, é possível selecionar até 100 campos. Se não houver mais campos disponíveis para extração, uma mensagem de aviso será exibida.

    Clique na guia Registro bruto de referência para ver os dados de registro brutos e visualizar a saída da UDM.

  3. Clique em Salvar.

O extrator recém-criado é rotulado como EXTRACTOR. Os campos extraídos são mostrados na saída da UDM comoextracted.field{"fieldName"}.

Mais detalhes do extrator

  1. Acesse a linha do extrator na tabela ANALISADORES e clique em Menu > Estender analisador > Ver extensão.
  2. Na página VER ANALISADORES PERSONALIZADOS, clique na guia Extensões e campos extraídos.

Essa guia mostra informações sobre extensões de analisador e campos de extrator. É possível modificar ou remover campos e visualizar a saída do analisador na página VER ANALISADORES PERSONALIZADOS.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.