Verificar a integridade da ingestão de dados

Compatível com:

Este guia é destinado a engenheiros de segurança que querem monitorar a integridade da ingestão de dados e resolver problemas no Google Security Operations. Ele explica como usar o Hub de integridade, configurar alertas do Cloud Monitoring para rastrear o status de fontes de dados e analisadores e usar o monitoramento de host silencioso (SHM) para detectar possíveis interrupções do coletor.

Usar esses fluxos de trabalho de monitoramento ajuda a identificar, diagnosticar e corrigir problemas de pipeline de dados, distinguindo entre problemas que podem ser corrigidos pelo usuário (acionáveis) e que exigem suporte (não acionáveis). Uma configuração bem-sucedida garante um fluxo de dados confiável, o que é fundamental para operações e análises de segurança eficazes.

Casos de uso comuns

Esta seção aborda casos de uso comuns para o monitoramento da ingestão.

Verificação de integridade proativa

  • Objetivo: analisar o status e a integridade de todas as fontes de dados configuradas.
  • Valor: detecte possíveis problemas de ingestão antes que eles afetem a visibilidade da segurança.

Resposta a alertas

  • Objetivo: investigar e corrigir um problema de fonte de dados ou de analisador sinalizado por um alerta automático.
  • Valor: minimize a perda ou os atrasos de dados, garantindo que eles estejam disponíveis para detecção e resposta a ameaças em tempo hábil.

Terminologia importante

  • Central de integridade:o painel central do Google SecOps para monitorar o status e a integridade de todas as fontes de dados e analisadores configurados.
  • Cloud Monitoring: Google Cloud serviço usado para criar políticas de alertas com base em métricas, incluindo as da ingestão do Google SecOps.
  • Monitoramento de hosts silenciosos:método de monitoramento para identificar hosts no seu ambiente que ficaram inativos.
  • Problema que exige ação:um problema de ingestão que geralmente pode ser resolvido por você mesmo com mudanças na configuração (por exemplo, atualização de credenciais).
  • Problema não acionável:um problema de ingestão que exige assistência do suporte do Google para ser resolvido (por exemplo, um erro interno do sistema).
  • Analisador:um componente que normaliza dados de registro brutos na estrutura do modelo de dados unificado (UDM).

Antes de começar

Verifique se você tem os papéis e permissões do Identity and Access Management (IAM) necessários para acessar a instância do Google SecOps, visualizar o Hub de integridade e configurar alertas no Cloud Monitoring.

Monitorar a ingestão de dados

Esta seção detalha vários métodos para monitorar a ingestão de dados.

Monitorar usando o Hub de integridade

Use o Central de integridade para monitorar a integridade geral dos dados de relance e conferir o status principal de integridade de cada feed, fonte de dados e tipo de registro. Isso ajuda a identificar fontes e analisadores irregulares e com falha sem configurar alertas externos personalizados.

  1. No menu de navegação lateral do Google SecOps, clique em Health Hub.
  2. Analise os widgets de número grande para Fontes com falha e Analistas com falha para identificar componentes que precisam de atenção imediata.
  3. Inspecione a tabela Status de integridade por fonte de dados. Confira a coluna Detalhes do problema mais recente para ver descrições de erros, como Config credential issue ou Normalization issue.
  4. Clique nos links Editar fonte de dados ou Editar analisador fornecidos na tabela para acessar diretamente as páginas de configuração respectivas e fazer a correção.
  5. Verifique os carimbos de data/hora, como Horário do último evento e Última ingestão, para verificar se os dados foram ingeridos conforme o esperado.
  6. Depois de aplicar uma correção, monitore o Central de integridade para a fonte de dados ou o analisador específico e garanta que a correção foi bem-sucedida.

Configurar alertas de ingestão automática

Configure o monitoramento para acionar alertas quando os valores de ingestão atingirem determinados níveis predefinidos. Isso permite integrar notificações por e-mail aos fluxos de trabalho atuais para corrigir feeds corrompidos ou detectar fontes de registros silenciosas de forma proativa.

  1. No Health Hub, clique no link Configurar alertas, que direciona você para a interface do Monitoring.
  2. Crie uma política de alertas:
    • Selecione métricas: escolha métricas em Coletor do Chronicle > Ingestão, como Contagem total de registros ingeridos ou Tamanho total de registros ingeridos.
    • Adicione filtros para collector_id ou log_type e restrinja o escopo do alerta a fontes específicas.
  3. Para detectar encaminhadores silenciosos, selecione Ausência de métrica como o tipo de condição. Configure para acionar um alerta se os registros pararem de fluir por um período especificado (por exemplo, 60 minutos).

Solução de problemas

Esta seção detalha vários métodos para resolver problemas de ingestão de dados.

Problemas comuns

  • Latência do pipeline:um atraso significativo entre o carimbo de data/hora de Último evento e Última ingestão indica uma possível latência. O Hub de integridade expõe o percentil 95th desse delta. Valores altos sugerem latência do pipeline, enquanto valores normais podem significar que a origem está enviando dados históricos.
  • Aumentos ou quedas na ingestão:o sistema usa a padronização do escore z para sinalizar anomalias. Uma queda é sinalizada se as diferenças diárias e semanais padronizadas forem menores que -1.645.
  • Falhas de análise:um alerta é acionado se a proporção de erros do analisador em relação ao total de eventos ingeridos aumentar em 5 pontos percentuais ou mais em comparação com o dia anterior. Investigue a configuração do analisador usando o link no Hub de integridade.

Para saber mais sobre como identificar problemas de ingestão de dados e análise, consulte Identificar e investigar problemas de ingestão de dados e análise.

Latência, cota de serviço e limites

  • Atualização de dados:as informações no painel do Hub de integridade e da Ingestão de dados são atualizadas aproximadamente a cada 15 minutos.

Correção de erros

Para conferir uma lista completa de mensagens de erro e soluções, consulte Resolver problemas de ingestão.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.