Usar o painel de monitoramento da integridade dos dados"

Compatível com:

Este documento descreve o painel Monitoramento da integridade dos dados, o local central no Google Security Operations para monitorar o status e a integridade de todas as fontes de dados configuradas. O painel fornece informações importantes sobre fontes e tipos de registros anômalos, oferecendo o contexto necessário para diagnosticar e corrigir problemas no pipeline de dados.

O painel Monitoramento da integridade dos dados inclui informações sobre o seguinte:

  • Volumes e integridade da ingestão.
  • Analisar volumes de registros brutos para eventos do modelo de dados unificado (UDM).
  • Contexto e links para interfaces com mais informações e funcionalidades relevantes.

  • Fontes e tipos de registros irregulares e com falha. O painel Monitoramento da integridade dos dados detecta irregularidades por cliente. Ele usa métodos estatísticos com um período de retorno de 30 dias para analisar os dados de ingestão. Os itens marcados como irregulares identificam picos ou quedas nos dados ingeridos e processados pelo Google SecOps.

Principais vantagens

Use o painel Monitoramento da integridade dos dados para fazer o seguinte:

  • Monitore a integridade geral dos dados de relance. Confira o status de integridade principal e as métricas associadas de cada feed, fonte de dados, tipo de registro e origem (ou seja, o ID do feed).

  • Monitore métricas agregadas de integridade dos dados para:

    • Ingestão e análise ao longo do tempo com eventos destacados (não necessariamente irregularidades) que se vinculam a painéis filtrados.
    • Irregularidades: atuais e ao longo do tempo.

  • Acesse painéis relacionados, filtrados por intervalos de tempo, tipo de registro ou feed.

  • Acesse a configuração do feed para editar e corrigir ou resolver um problema.

  • Acesse a configuração do analisador para editar e corrigir ou resolver um problema.

  • Clique no link Configurar alertas para abrir a interface do Cloud Monitoring e, nela, configure alertas personalizados com base em API usando as métricas de Status e volume de registros.

Principais perguntas

Esta seção se refere aos componentes e parâmetros do painel Monitoramento da integridade dos dados, que são descritos na seção Interface.

Use o painel Monitoramento da integridade dos dados para responder às seguintes perguntas típicas e importantes sobre seu pipeline de dados:

  • Meus registros estão chegando ao Google SecOps?

    Para verificar se os registros estão chegando ao Google SecOps, use as métricas Última ingestão e Última normalização. Essas métricas confirmam a última vez que os dados foram entregues. Além disso, as métricas de volume de ingestão (por origem e por tipo de registro) mostram a quantidade de dados ingeridos.

  • Meus registros estão sendo analisados corretamente?

    Para confirmar a análise correta, consulte a métrica Última normalização. Essa métrica indica quando ocorreu a última transformação bem-sucedida do registro bruto em um evento da UDM.

  • Por que a ingestão ou a análise não estão acontecendo?

    O texto na coluna Detalhes do problema identifica problemas específicos, o que ajuda a determinar se a ação é acionável (você corrige) ou não acionável (requer suporte). O texto Proibido 403: permissão negada é um exemplo de erro acionável, em que a conta de autenticação fornecida na configuração do feed não tem as permissões necessárias. O texto Internal_error é um exemplo de erro não acionável, em que a ação recomendada é abrir um caso de suporte com o Google SecOps.

  • Há mudanças significativas no número de registros ingeridos e analisados?

    O campo Status mostra a integridade dos seus dados (de Íntegro a Falha), com base no volume de dados. Você também pode identificar aumentos ou quedas repentinas ou contínuas no gráfico Total de registros ingeridos e analisados.

  • Como posso receber um alerta se minhas fontes estiverem falhando?

    O painel Monitoramento da integridade dos dados envia as métricas de Status e volume de registros para o Cloud Monitoring. Em uma das tabelas do painel Monitoramento da integridade dos dados, clique no link Alertas relevante para abrir a interface do Cloud Monitoring. Lá, você pode configurar alertas personalizados com base em API usando as métricas de Status e volume de registros.

  • Como posso inferir um atraso em uma ingestão do tipo registro?

    Um atraso é indicado quando o Horário do último evento está significativamente atrasado em relação ao carimbo de data/hora Última ingestão. O painel Monitoramento da integridade dos dados expõe o percentil 95th do delta Última ingestão–Hora do último evento por tipo de registro. Um valor alto sugere um problema de latência no pipeline do Google SecOps, enquanto um valor normal pode indicar que a fonte está enviando dados antigos.

  • Mudanças recentes na minha configuração causaram falhas no feed?

    Se o carimbo de data/hora Última atualização da configuração estiver próximo ao carimbo Última ingestão, isso sugere que uma atualização recente da configuração pode ser a causa de uma falha. Essa correlação ajuda na análise da causa raiz.

  • Como a integridade da transferência e da análise tem evoluído ao longo do tempo?

    O gráfico Total de registros ingeridos e analisados mostra a tendência histórica da integridade dos seus dados, permitindo que você observe padrões e irregularidades de longo prazo.

Interface

O painel Monitoramento da integridade dos dados mostra os seguintes widgets:

  • Widgets de número grande:

    • Em bom estado: o número de fontes de dados e analisadores funcionando sem irregularidades.
    • Com falha: o número de fontes de dados que precisam de atenção imediata.
    • Irregular: o número de fontes de dados e analisadores irregulares.

  • Total de registros ingeridos e analisados: um gráfico de linhas mostrando as curvas de registros analisados e registros ingeridos por dia ao longo do tempo.

  • Tabela Status de integridade por fonte de dados: inclui as seguintes colunas:

    • Status: o status cumulativo do feed (Em bom estado, Falha ou Irregular), derivado do volume de dados, erros de configuração e erros de API.
    • Tipo de origem: o tipo de origem (mecanismo de ingestão), por exemplo, API de ingestão, Feeds, Ingestão nativa do Workspace ou Feeds do Hub de eventos do Azure.
    • Nome: o nome do feed.
    • Tipo de registro: o tipo de registro, por exemplo, CS_EDR, UDM, GCP_CLOUDAUDIT ou WINEVTLOG.
    • Detalhes do problema: se houver um problema, a coluna vai mostrar detalhes, por exemplo, Falha ao analisar registros, Problema de credencial de configuração ou Problema de normalização. O problema declarado pode ser acionável (por exemplo, Incorrect Auth) ou não acionável (por exemplo, Internal_error). Se o problema não puder ser resolvido, a ação recomendada é abrir um caso de suporte com o Google SecOps. Quando o Status é Normal, o valor fica vazio.
    • Duração do problema: o número de dias em que a fonte de dados ficou em um estado irregular ou com falha. Quando o Status é Normal, o valor fica vazio.
    • Última coleta: o carimbo de data/hora da última coleta de dados.
    • Última ingestão: o carimbo de data/hora da última ingestão bem-sucedida. Use essa métrica para identificar se os registros estão chegando ao Google SecOps.
    • Última atualização da configuração: o carimbo de data/hora da última mudança na métrica. Use esse valor para correlacionar atualizações de configuração com irregularidades observadas, ajudando a determinar a causa raiz dos problemas de ingestão ou análise.
    • Ver detalhes da ingestão: um link que abre uma nova guia com outro painel, que contém informações históricas adicionais para uma análise mais detalhada.
    • Editar fonte de dados: um link que abre uma nova guia com a configuração de feed correspondente, em que é possível corrigir irregularidades relacionadas à configuração.
    • Configurar alertas: um link que abre uma nova guia com a interface correspondente do Cloud Monitoring.

  • Tabela Status de integridade por analisador: inclui as seguintes colunas:

    • Status: o status cumulativo do tipo de registro (Íntegro, Com falha ou Irregular), derivado da taxa de normalização.
    • Nome: o tipo de registro. Por exemplo, DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT ou WEBPROXY.
    • Detalhes do problema: se houver um problema, a coluna vai mostrar detalhes sobre o problema ou problemas de análise. Por exemplo, Falha ao analisar registros, Problema de credencial de configuração ou Problema de normalização. O problema declarado pode ser acionável (por exemplo, Incorrect Auth) ou não acionável (por exemplo, Internal_error). Se o problema não puder ser resolvido, a ação recomendada é abrir um caso de suporte com o Google SecOps. Quando o Status é Healthy, o valor fica vazio.
    • Duração do problema: o número de dias em que a fonte de dados ficou em um estado irregular ou com falha. Quando o Status é Healthy, o valor fica vazio.
    • Última ingestão: o carimbo de data/hora da última ingestão bem-sucedida. Use essa métrica para determinar se os registros estão chegando ao Google SecOps.

    • Horário do último evento: o carimbo de data/hora do último registro normalizado.

    • Última normalização: o carimbo de data/hora da última ação de análise e normalização do tipo de registro. Use essa métrica para determinar se os registros brutos foram transformados em eventos da UDM.

    • Última atualização da configuração: o carimbo de data/hora da última mudança na métrica. Use esse valor para correlacionar atualizações de configuração com irregularidades observadas, ajudando a determinar a causa raiz dos problemas de ingestão ou análise.

    • Ver detalhes da análise: um link que abre uma nova guia com outro painel, que contém mais informações históricas para uma análise mais detalhada.

    • Editar analisador: um link que abre uma nova guia com a configuração do analisador correspondente, em que é possível corrigir irregularidades relacionadas à configuração.

    • Configurar alerta: um link que abre uma nova guia com a interface correspondente do Cloud Monitoring.

Mecanismo de detecção de irregularidades

O painel Monitoramento da integridade dos dados usa o mecanismo de detecção de irregularidades do Google SecOps para identificar automaticamente mudanças significativas nos seus dados, permitindo que você detecte e resolva rapidamente possíveis problemas.

Detecção de irregularidades na ingestão de dados

O Google SecOps analisa as mudanças diárias de volume, considerando os padrões semanais normais.

O mecanismo de detecção de irregularidades usa os seguintes cálculos para detectar aumentos ou quedas incomuns na ingestão de dados:

  • Comparações diárias e semanais: o Google SecOps calcula a diferença no volume de ingestão entre o dia atual e o anterior, além da diferença entre o dia atual e o volume médio da semana passada.

  • Padronização: para entender a importância dessas mudanças, o Google SecOps as padroniza usando a seguinte fórmula de escore z:

    z = (xi − x_bar) / stdev

    em que

    • z é a pontuação padronizada (ou z-score) de uma diferença individual.
    • xi é um valor de diferença individual
    • x_bar é a média das diferenças
    • stdev é o desvio padrão das diferenças

  • Detecção de irregularidades: o Google SecOps sinaliza uma irregularidade se as mudanças diárias e semanais padronizadas forem estatisticamente significativas. Especificamente, o Google SecOps procura:

    • Reduções: as diferenças diárias e semanais padronizadas são menores que -1,645.
    • Picos: as diferenças diárias e semanais padronizadas são maiores que 1,645.

Proporção de normalização

Ao calcular a proporção de eventos ingeridos para eventos normalizados, o mecanismo de detecção de irregularidades usa uma abordagem combinada para garantir que apenas quedas significativas nas taxas de normalização sejam sinalizadas. O mecanismo de detecção de irregularidades gera um alerta somente quando as duas condições a seguir são atendidas:

  • Há uma queda estatisticamente significativa na proporção de normalização em comparação com o dia anterior.
  • A queda também é significativa em termos absolutos, com uma magnitude de 0,05 ou mais.

Detecção de irregularidades em erros de análise

Para erros que ocorrem durante a análise de dados, o mecanismo de detecção de irregularidades usa um método baseado em proporção. O mecanismo de detecção de irregularidades aciona um alerta se a proporção de erros do analisador em relação ao número total de eventos ingeridos aumentar em 5 pontos percentuais ou mais em comparação com o dia anterior.

A seguir

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.