Otimizar o volume de ingestão

Este guia explica como otimizar o volume de ingestão, concentrando-se na configuração de pipelines de processamento de dados do Google Security Operations. Esse recurso oferece uma maneira unificada de filtrar, transformar e editar dados antes que eles sejam totalmente ingeridos, independentemente da origem. Esse método melhora a qualidade de dados e a eficiência da detecção de ameaças.

O guia é destinado a engenheiros de segurança, analistas do Google SecOps e administradores de nuvem que gerenciam a ingestão de registros no Google SecOps.

A ingestão de grandes volumes de registros não filtrados pode sobrecarregar seu orçamento e recursos. Isso leva a custos mais altos, recursos de pesquisa e análise mais lentos e uma maior chance de analistas de segurança perderem alertas críticos em meio a uma enxurrada de dados irrelevantes. A filtragem eficaz é fundamental para uma implantação econômica e eficiente do Google SecOps.

Antes de começar

Verifique se você tem ou faz o seguinte:

  • Um papel do Identity and Access Management (IAM): o papel predefinido da API Chronicle Admin (roles/chronicle.admin) ou um papel personalizado que contenha uma destas permissões:
    • chronicle.logProcessingPipelines.*
    • chronicle.logTypes.get
    • chronicle.logTypes.list
    • chronicle.feeds.get
    • chronicle.feeds.list
    • chronicle.logs.list
  • Versão do Bindplane: é necessário ter a versão 1.96.4 ou mais recente do console do Bindplane Server.
  • Para o Bindplane Cloud, a federação de identidade da carga de trabalho (WIF) é compatível com a autenticação. As implantações do Bindplane auto-hospedadas exigem credenciais de chave JSON da conta de serviço.
  • Acesso ao console de gerenciamento do Bindplane ou às APIs do pipeline de dados do Google SecOps para configurar os nós do processador.
  • Identifique os campos, tipos de registro e condições exatos necessários para configurar os processadores de filtro, transformação e edição para redução de volume.
  • Defina as entradas de fluxo do pipeline combinando os tipos de registro específicos, IDs de coletor (para fontes do Bindplane) ou nomes de feed (para feeds de dados) associados aos seus métodos de ingestão.
  • Se você estiver ingerindo Google Cloud registros, defina os filtros de exportação do Logging necessários para implementar a filtragem upstream para maximizar a economia de custos antes que os dados cheguem ao pipeline do SecOps.
  • Entenda seus dados de registro:
    • Identifique registros de alto volume ou baixo valor: analise suas métricas de ingestão atuais para identificar quais tipos de registro e fontes contribuem mais para o volume e o custo. Para mais informações, consulte a Visão geral das métricas de ingestão.
    • Determine os critérios de filtragem: determine os campos, valores, padrões (regex) ou condições específicos que identificam de forma confiável os registros a serem descartados, transformados ou editados.
    • Conheça seus métodos de ingestão: entenda como cada origem do registro de destino é ingerida (direta, Bindplane, feed, API), já que isso afeta a forma como você configura o fluxo do pipeline.

Terminologia importante

  • Pipelines de processamento de dados: um recurso usado para filtrar, transformar e editar dados de registro à medida que eles chegam, antes de serem armazenados e indexados.
  • Filtro/filtragem: o principal recurso para otimização de volume, que define condições para descartar seletivamente eventos não necessários para análise de segurança.
  • Transformar: um recurso usado para modificar formatos de registro para melhor usabilidade, como remover nomes de domínio totalmente qualificados (FQDNs) ou excluir campos detalhados em eventos.
  • Redact: um recurso para mascarar ou remover completamente informações sensíveis dos registros antes de serem armazenados, ajudando na conformidade e privacidade.
  • Agente do Bindplane: um método de ingestão de registros coletados de sistemas locais ou de outros sistemas de nuvem.
  • Feeds: um método de ingestão de dados de fontes, como Cloud Storage, Amazon S3 ou APIs de terceiros.
  • APIs de ingestão: um método para enviar dados de registro personalizados, que permite a filtragem do lado do servidor usando pipelines de processamento de dados.
  • Filtragem upstream: a prática recomendada de filtragem Google Cloud de registros na origem usando filtros de exportação do Logging para uma economia de custos ideal.
  • Fluxos: um fluxo específico de dados, definido pelo tipo de registro e pela fonte de ingestão (como um feed ou API), que serve como entrada para um pipeline de processamento de dados.
  • Nó do processador: um componente em um pipeline que contém um ou mais processadores (ações de filtro, transformação ou edição) que manipulam dados sequencialmente.
  • Destino: o endpoint do pipeline de processamento de dados, normalmente a instância do Google SecOps em que os dados processados são enviados para ingestão e análise final.

Usar pipelines de processamento de dados para otimização

Os pipelines de processamento de dados no Google SecOps oferecem controle robusto de pré-análise sobre o processo de ingestão de dados. Eles permitem definir regras e ações que são aplicadas aos registros à medida que chegam, antes de serem armazenados e indexados. Para mais informações, consulte Configurar e gerenciar pipelines de processamento de dados.

Principais recursos

  • Filtrar:esse é o foco principal da otimização de volume. É possível definir condições, usando conteúdo de registro bruto, atributos ou expressão regular, para descartar seletivamente eventos que não são necessários para análise de segurança. Isso é fundamental para reduzir ruídos e custos.
  • Transformar:modifique os formatos de registro para melhorar a usabilidade ou remover dados desnecessários em eventos. Os exemplos incluem a remoção de FQDNs de nomes de host, a análise e a reestruturação de payloads JSON ou a exclusão de campos detalhados, mas irrelevantes.
  • Encobrir:mascare ou remova completamente informações sensíveis, como informações de identificação pessoal (PII), dos registros antes de serem armazenados, ajudando com as normas de privacidade.

Aplicabilidade universal

Uma das principais vantagens dos pipelines de processamento de dados é que eles podem ser aplicados a dados de qualquer método de ingestão. Isso fornece uma camada de filtragem consistente para:

  • Google Cloud registros integrados
  • Registros coletados usando o agente do Bindplane
  • Dados recebidos por feeds
  • Registros personalizados enviados pelas APIs de ingestão

Para mais informações, consulte a seção Estratégias de filtragem específicas do método neste guia.

Implementar a filtragem com pipelines de processamento de dados

Etapa 1: configurar o pipeline

É possível configurar e gerenciar pipelines de processamento de dados pelo console de gerenciamento do Bindplane ou usando as APIs públicas do pipeline de dados do Google SecOps. Eles permitem definir fluxos (entradas), configurar nós do processador (filtrar, transformar, editar) e gerenciar a implantação do pipeline.

Para instruções de configuração abrangentes, consulte Configurar e gerenciar pipelines de processamento de dados.

Etapa 2: configurar os processadores para filtragem

Em um pipeline, é possível adicionar processadores a um nó. Para reduzir o volume, use principalmente processadores de filtro. É possível configurar esses processadores para descartar registros com base em condições ou expressões regulares. Você configura condições e instruções de pipeline personalizadas usando a sintaxe OTTL (OpenTelemetry Transformation Language).

  • Condições:avaliação de campos ou atributos nos dados de registro.
  • Expressões regulares:padrões correspondentes na mensagem de registro bruta.
  • Exemplo de OTTL: uma instrução de exemplo seria set(attributes["labels.myLabel.value"], "myValue").

Embora a filtragem seja fundamental, também é possível usar processadores de transformação para remover campos grandes e desnecessários dos registros que você mantém e usar processadores de edição para anular dados sensíveis.

Etapa 3: estratégias de filtragem específicas do método

As seções a seguir explicam como abordar a filtragem com pipelines de processamento de dados para cada tipo de ingestão principal.

Google Cloud registros

  • Filtragem upstream (prática recomendada): para uma economia de custos ideal, o Google recomenda a filtragem Google Cloud de registros na origem usando filtros de exportação do Cloud Logging. Isso impede que registros indesejados sejam enviados ao Google SecOps. É possível usar pipelines de processamento de dados para filtragem adicional, se necessário. Para mais informações, consulte o guia Ingerir Google Cloud dados, em especial a seção Personalizar configurações de filtro de exportação.

  • Aplicação de pipeline: configure um pipeline de processamento de dados, selecionando o tipo de registro e o método de ingestão adequados, Google Cloud direto ou nativo da nuvem. Defina processadores de filtro para descartar registros indesejados com base no conteúdo.

Agente do Bindplane

Os registros coletados pelo agente do Bindplane, de sistemas locais ou de outros sistemas de nuvem, podem ser filtrados usando um pipeline de processamento de dados. Configure o fluxo para corresponder aos tipos de registro e IDs de coletor associados às suas fontes do Bindplane. Para mais informações, consulte Usar o Bindplane com o Google SecOps.

Feeds de dados

Para dados ingeridos usando feeds (por exemplo, do Cloud Storage, Amazon S3 ou APIs de terceiros), é possível aplicar filtros de pipeline de processamento de dados selecionando o nome do feed e o tipo de registro ao configurar o fluxo do pipeline. Para mais informações, consulte o guia Trabalhar com feeds.

Métodos de ingestão da API Chronicle

Se você enviar dados usando os métodos de ingestão da API Chronicle, ainda poderá aproveitar os pipelines de processamento de dados. Configure o fluxo do pipeline para corresponder ao tipo de registro usado nas chamadas de API. Isso permite a filtragem do lado do servidor dos fluxos de registro personalizados. Para mais informações, consulte o guia Métodos de ingestão da API Chronicle.

Práticas recomendadas

  • Filtrar upstream quando possível: como mencionado para Google Cloud, sempre filtre os registros o mais próximo possível da origem. Essa é a abordagem mais econômica, pois reduz a sobrecarga de transferência e processamento de dados.
  • Seja específico:comece com filtros estreitos e bem definidos para excluir registros conhecidos de alto volume e baixo valor. Evite filtros muito amplos que possam descartar dados úteis acidentalmente.
  • Iterar e refinar:revise regularmente a eficácia dos filtros. Eles estão capturando os eventos certos? Há um novo ruído que precisa ser filtrado?
  • Documente seus filtros:mantenha um registro de quais filtros estão em vigor e por quê, especialmente para expressões regulares complexas ou lógica condicional.

Verificação e testes

  • Testes:primeiro, teste seus filtros em um ambiente de não produção ou com um pequeno subconjunto de dados.
  • Validar filtros:use os recursos de teste no editor de pipeline do console do Bindplane. Isso permite inserir registros de amostra e conferir a saída depois que os processadores são aplicados, confirmando que os filtros funcionam como esperado.
  • Monitorar a ingestão:depois de implantar pipelines, monitore os painéis de ingestão no Google SecOps para observar o impacto no volume e nos custos de dados. Para mais informações, consulte a Visão geral das métricas de ingestão.
  • Conferir configurações:é possível conferir todas as configurações na interface do Google SecOps em Configurações do SIEM > Processamento de dados.
  • Gerenciamento externo: é possível pesquisar configurações e clicar em "Abrir no Bindplane" para acessar diretamente o console do Bindplane para gerenciamento avançado.

Limitações

  • Limites de serviço:regexes muito complexas ou um grande número de processadores por pipeline podem afetar a performance ou estar sujeitos a limites. Consulte os limites do Google SecOps em Limites de serviço.
  • Pacotes do Google SecOps:confira os recursos e as funcionalidades do seu pacote do Google SecOps. Para mais informações, consulte Pacotes do Google SecOps.
  • Reutilização:embora seja eficiente, uma configuração de pipeline para um tipo ou origem de registro pode não ser diretamente reutilizável para outra sem ajustes.
  • Número máximo de processadores:defina um máximo de 10 processadores por pipeline.
  • Performance de regex:evite a correspondência excessiva de expressões regulares, pois isso pode fazer com que a criação ou implantação do pipeline falhe devido a tempos limite. Prefira analisar dados para JSON e filtrar por campos específicos.
  • Restrição de associação de fluxo:embora pipelines diferentes possam ser criados para feeds diferentes do mesmo tipo de registro, a mesma definição de fluxo (por exemplo, o mesmo feed ou o mesmo tipo de registro abrangente) não pode ser associada a mais de um pipeline ativo. Definir um tipo de registro como Todos os métodos de ingestão atua como um abrangente e impede a configuração de outros pipelines para feeds específicos desse tipo de registro.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.