Use o painel de controlo de monitorização do estado dos dados"

Suportado em:

Este documento descreve o painel de controlo de Monitorização do estado dos dados, a localização central no Google Security Operations para monitorizar o estado e a integridade de todas as origens de dados configuradas. O painel de controlo fornece informações críticas sobre origens anómalas e tipos de registos, oferecendo o contexto necessário para diagnosticar e corrigir problemas de pipeline de dados.

O painel de controlo Monitorização do estado dos dados inclui informações sobre o seguinte:

  • Volumes de carregamento e estado de carregamento.
  • Analisar volumes de registos não processados para eventos do modelo de dados unificado (UDM).
  • Contexto e links para interfaces com informações e funcionalidades relevantes adicionais.

  • Origens e tipos de registos irregulares e com falhas. O painel de controlo Monitorização do estado dos dados deteta irregularidades por cliente. Usa métodos estatísticos com um período de análise retrospetiva de 30 dias para analisar os dados de carregamento. Os itens marcados como irregulares identificam picos ou quedas nos dados que estão a ser carregados e processados pelo Google SecOps.

Principais vantagens

Pode usar o painel de controlo Monitorização do estado dos dados para fazer o seguinte:

  • Monitorize o estado geral dos dados rapidamente. Veja o estado de funcionamento principal e as métricas associadas para cada feed, origem de dados, tipo de registo e origem (ou seja, o ID do feed).

  • Monitorize as métricas de saúde dos dados agregados para:

    • Carregamento e análise ao longo do tempo com eventos realçados (não necessariamente irregularidades) que têm um link para painéis de controlo filtrados.
    • Irregularidades: atuais e ao longo do tempo.

  • Aceda a painéis de controlo relacionados, filtrados por intervalos de tempo, tipo de registo ou feed.

  • Aceda à configuração do feed para editar e corrigir um problema.

  • Aceda à configuração do analisador para editar e corrigir ou resolver um problema.

  • Clique no link Configurar alertas para abrir a interface do Cloud Monitoring e, a partir daí, configure alertas personalizados baseados na API através das métricas de Estado e volume de registos.

Perguntas importantes

Esta secção refere-se aos componentes e parâmetros do painel de controlo de Monitorização do estado dos dados, que são descritos na secção Interface.

Pode usar o painel de controlo Monitorização do estado dos dados para responder às seguintes perguntas importantes típicas sobre o seu pipeline de dados:

  • Os meus registos estão a chegar ao Google SecOps?

    Pode verificar se os registos estão a chegar ao Google SecOps através das métricas Última ingestão e Última normalização. Estas métricas confirmam a última vez que os dados foram entregues com êxito. Além disso, as métricas de volume de carregamento (por origem e por tipo de registo) mostram a quantidade de dados que está a ser carregada.

  • Os meus registos estão a ser analisados corretamente?

    Para confirmar a análise correta, veja a métrica Última normalização. Esta métrica indica quando ocorreu a última transformação bem-sucedida do registo não processado num evento UDM.

  • Por que motivo não está a ocorrer a carregamento ou a análise?

    O texto na coluna Detalhes do problema identifica problemas específicos, o que ajuda a determinar se a ação é acionável (você corrige o problema) ou não acionável (requer apoio técnico). O texto Proibido 403: autorização recusada é um exemplo de um erro acionável, em que a conta de autorização fornecida na configuração do feed não tem as autorizações necessárias. O texto Internal_error é um exemplo de um erro não acionável, em que a ação recomendada é abrir um registo de apoio técnico junto do Google SecOps.

  • Existem alterações significativas no número de registos carregados e registos analisados?

    O campo Estado mostra o estado dos seus dados (de Em bom estado a Com falhas), com base no volume de dados. Também pode identificar aumentos ou diminuições súbitas ou sustentadas através do gráfico Total de registos carregados e analisados.

  • Como posso receber um alerta se as minhas fontes estiverem a falhar?

    O painel de controlo Monitorização do estado dos dados envia as métricas de Estado e volume de registos para o Cloud Monitoring. Numa das tabelas do painel de controlo Monitorização do estado dos dados, clique no link Alertas relevante para abrir a interface do Cloud Monitoring. Aí, pode configurar alertas personalizados baseados em API através das métricas de estado e volume de registos.

  • Como posso inferir um atraso numa ingestão do tipo registo?

    Um atraso é indicado quando a Hora do último evento está significativamente atrás da data/hora Última ingestão. O painel de controlo Monitorização da integridade dos dados expõe o percentil 95th do delta Última data/hora de carregamento–Última data/hora do evento por tipo de registo. Um valor elevado sugere um problema de latência no pipeline do Google SecOps, enquanto um valor normal pode indicar que a origem está a enviar dados antigos.

  • As alterações recentes na minha configuração causaram falhas no feed?

    Se a data/hora de Config Last Updated for próxima da data/hora de Last Ingested, sugere que uma atualização de configuração recente pode ser a causa de uma falha. Esta correlação ajuda na análise da causa principal.

  • Como tem sido a tendência da saúde do carregamento e da análise ao longo do tempo?

    O gráfico Total de registos carregados e analisados mostra a tendência do histórico do estado dos seus dados, o que lhe permite observar padrões e irregularidades a longo prazo.

Interface

O painel de controlo Monitorização do estado dos dados apresenta os seguintes widgets:

  • Widgets de números grandes:

    • Em bom estado: o número de origens de dados e analisadores que estão a funcionar sem irregularidades.
    • Falhou: o número de origens de dados que precisam de atenção imediata.
    • Irregular: o número de origens de dados e analisadores irregulares.

  • Total de registos carregados e analisados: um gráfico de linhas que mostra as curvas de registos analisados e carregados por dia ao longo do tempo.

  • Tabela Estado de saúde por origem de dados: inclui as seguintes colunas:

    • Estado: o estado cumulativo do feed (Em bom estado, Com falhas ou Irregular), derivado do volume de dados, dos erros de configuração e dos erros da API.
    • Tipo de origem: o tipo de origem (mecanismo de carregamento), por exemplo, API de carregamento, Feeds, Carregamento nativo do Workspace ou Feeds do Azure Event Hub.
    • Nome: o nome do feed.
    • Log Type: o tipo de registo, por exemplo, CS_EDR, UDM, GCP_CLOUDAUDIT ou WINEVTLOG.
    • Detalhes do problema: se existir um problema, a coluna apresenta detalhes, por exemplo, Falha na análise dos registos, Problema de credenciais de configuração ou Problema de normalização. O problema indicado pode ser acionável (por exemplo, Incorrect Auth) ou não acionável (por exemplo, Internal_error). Se o problema não for acionável, a ação recomendada é abrir um registo de apoio técnico junto da Google SecOps. Quando o Estado é Em bom estado, o valor está vazio.
    • Duração do problema: o número de dias em que a origem de dados esteve num estado irregular ou com falhas. Quando o Estado é Em bom estado, o valor está vazio.
    • Última recolha: a data/hora da última recolha de dados.
    • Último carregamento: a data/hora do último carregamento bem-sucedido. Use esta métrica para identificar se os seus registos estão a chegar ao Google SecOps.
    • Configuração atualizada pela última vez: a data/hora da última alteração à métrica. Use este valor para correlacionar as atualizações de configuração com irregularidades observadas, o que ajuda a determinar a causa principal dos problemas de carregamento ou de análise.
    • Ver detalhes do carregamento: um link que abre um novo separador com outro painel de controlo, que contém informações adicionais do histórico para uma análise mais detalhada.
    • Editar origem de dados: um link que abre um novo separador com a configuração do feed correspondente, onde pode corrigir irregularidades relacionadas com a configuração.
    • Configurar alertas: um link que abre um novo separador com a interface do Cloud Monitoring correspondente.

  • Tabela Estado de saúde por analisador: inclui as seguintes colunas:

    • Estado: o estado cumulativo do tipo de registo (Bom, Com falhas ou Irregular), derivado da taxa de normalização.
    • Nome: o tipo de registo, por exemplo, DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT ou WEBPROXY.
    • Detalhes do problema: se existir um problema, a coluna apresenta detalhes sobre o problema ou os problemas de análise, por exemplo, Falha na análise dos registos, Problema de credenciais de configuração ou Problema de normalização. O problema indicado pode ser acionável (por exemplo, Incorrect Auth) ou não acionável (por exemplo, Internal_error). Se o problema não for acionável, a ação recomendada é abrir um registo de apoio técnico junto da Google SecOps. Quando o Estado é Em bom estado, o valor está vazio.
    • Duração do problema: o número de dias em que a origem de dados esteve num estado irregular ou com falhas. Quando o Estado é Em bom estado, o valor está vazio.
    • Último carregamento: a data/hora do último carregamento bem-sucedido. Pode usar esta métrica para determinar se os registos estão a chegar ao Google SecOps.

    • Hora do último evento: a data/hora do evento do último registo normalizado.

    • Última normalização: a data/hora da última ação de análise e normalização para o tipo de registo. Pode usar esta métrica para determinar se os registos não processados são transformados com êxito em eventos UDM.

    • Configuração atualizada pela última vez: a data/hora da última alteração à métrica. Use este valor para correlacionar as atualizações de configuração com irregularidades observadas, o que ajuda a determinar a causa principal dos problemas de carregamento ou de análise.

    • Ver detalhes da análise: um link que abre um novo separador com outro painel de controlo, que contém informações históricas adicionais para uma análise mais detalhada.

    • Editar analisador: um link que abre um novo separador com a configuração do analisador correspondente, onde pode corrigir irregularidades relacionadas com a configuração.

    • Configurar alerta: um link que abre um novo separador com a interface do Cloud Monitoring correspondente.

Motor de deteção de irregularidades

O painel de controlo Monitorização do estado dos dados usa o motor de deteção de irregularidades do Google SecOps para identificar automaticamente alterações significativas nos seus dados, o que lhe permite detetar e resolver rapidamente potenciais problemas.

Data ingestion irregularity-detection

A Google SecOps analisa as alterações de volume diárias, ao mesmo tempo que considera os padrões semanais normais.

O motor de deteção de irregularidades usa os seguintes cálculos para detetar aumentos ou diminuições invulgares na ingestão de dados:

  • Comparações diárias e semanais: o Google SecOps calcula a diferença no volume de carregamento entre o dia atual e o dia anterior, bem como a diferença entre o dia atual e o volume médio da semana anterior.

  • Normalização: para compreender a importância destas alterações, o Google SecOps normaliza-as através da seguinte fórmula de z-score:

    z = (xi − x_bar) / stdev

    onde

    • z é a pontuação padronizada (ou pontuação z) para uma diferença individual
    • xi é um valor de diferença individual
    • x_bar é a média das diferenças
    • stdev é o desvio padrão das diferenças

  • Denúncia de irregularidades: o Google SecOps denuncia uma irregularidade se as alterações padronizadas diárias e semanais forem estatisticamente relevantes. Especificamente, o Google SecOps procura:

    • Diminuições: as diferenças padronizadas diárias e semanais são inferiores a -1,645.
    • Picos: as diferenças padronizadas diárias e semanais são superiores a 1,645.

Rácio de normalização

Ao calcular a proporção de eventos carregados em relação a eventos normalizados, o motor de deteção de irregularidades usa uma abordagem combinada para garantir que apenas as diminuições significativas nas taxas de normalização são sinalizadas. O motor de deteção de irregularidades gera um alerta apenas quando as duas condições seguintes são cumpridas:

  • Existe uma diminuição estatisticamente significativa na taxa de normalização em comparação com o dia anterior.
  • A diminuição também é significativa em termos absolutos, com uma magnitude de 0,05 ou superior.

Deteção de irregularidades de erros de análise

Para erros que ocorrem durante a análise de dados, o motor de deteção de irregularidades usa um método baseado em rácios. O motor de deteção de irregularidades aciona um alerta se a proporção de erros do analisador em relação ao número total de eventos carregados aumentar 5 pontos percentuais ou mais em comparação com o dia anterior.

O que se segue?

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.