Visão geral das métricas de ingestão

Compatível com:

O Google SecOps oferece métricas de ingestão detalhadas para mostrar a integridade, o volume e o status de processamento do pipeline de dados de segurança. O monitoramento dessas métricas é fundamental para garantir que os dados estejam fluindo corretamente, identificar possíveis problemas e otimizar a implantação do Google SecOps.

Por que as métricas de ingestão são importantes

  • Monitoramento de integridade:acompanhe o status dos feeds de dados e dos agentes de coleta.
  • Solução de problemas:diagnostique rapidamente problemas como quedas de dados, erros de análise ou problemas de conectividade.
  • Acompanhamento de volume:entenda a quantidade de dados ingeridos de várias fontes, útil para o planejamento de capacidade e o gerenciamento de custos.
  • Insights de normalização:monitore a taxa de sucesso dos registros que estão sendo analisados no modelo de dados unificado (UDM).
  • Alertas:configure notificações para anomalias no fluxo de dados, erros ou mudanças de volume.

Onde acessar as métricas de ingestão

  • Google Cloud Monitoring:

    • Integra as métricas do Google SecOps ao Cloud Monitoring, permitindo que você crie painéis e configure políticas de alerta com base em limites para métricas como contagens, tamanhos e eventos de normalização de registros ingeridos.
    • As métricas estão disponíveis em prefixos como Chronicle Collector e Chronicle Log Type.
    • Referência: usar o Cloud Monitoring para insights de ingestão

  • Central de integridade do Google SecOps:

    • A Central de integridade oferece uma visão centralizada na plataforma do Google SecOps para monitorar o status da fonte de dados, os volumes de ingestão e a integridade da análise. Ela destaca erros e fornece links para investigar mais a fundo.
    • Referência: usar a Central de integridade

  • BigQuery Export:

Principais categorias e campos de métricas

As métricas de ingestão são divididas por diferentes componentes do pipeline de ingestão (por exemplo, encaminhador, API Ingestion, normalizador, feeds). Confira alguns campos importantes que você vai encontrar:

  • Métricas de volume:

    • log_count: número de entradas de registro brutas recebidas ou processadas.
    • log_volume: tamanho total dos registros recebidos ou processados (em bytes).
    • event_count: número de eventos UDM gerados após a análise.

  • Métricas de normalização:

    • state: o resultado do processo de normalização de registros (por exemplo, parsed, failed_parsing, failed_validation).
    • total_events: contagem de eventos UDM validados com sucesso.
    • total_error_events: contagem de eventos que falharam na análise ou validação.
    • drop_reason_code: motivo pelo qual um registro ou evento foi descartado.

  • Integridade e performance:

    • last_heartbeat_time: indica a última vez que um coletor ou feed estava ativo.
    • drop_count: número de registros descartados por um componente.
    • cpu_used, memory_used, disk_used: utilização de recursos para componentes locais, como o agente Bindplane ou o encaminhador legado.
    • latency_count: métricas relacionadas ao tempo gasto entre a ingestão e a normalização.

  • Métricas de cota (API Ingestion):

    • quota_rejected_long_term_log_volume: volume de registros rejeitados devido ao excesso de limites de cota.

Entender as dimensões

As métricas são normalmente divididas por dimensões, permitindo filtrar e agrupar dados:

  • component: a parte do pipeline de ingestão a que a métrica se refere (por exemplo, Forwarder, Ingestion API, Normalizer, Out-of-Band Processor).
  • log_type: o tipo de fonte de registro (por exemplo, WINDOWS_DNS, CS_EDR).
  • collector_id / feed_id: identificador exclusivo da instância do coletor ou do feed de dados específico.
  • namespace: para organizar registros, geralmente usado na ingestão de API.

Observação: conforme declarado no esquema de métricas de ingestão, as métricas de ingestão agregadas devem ser tratadas como indicadores de volume aproximado, em vez de contagens exatas para qualquer período.

Discrepâncias entre o volume de registros brutos e o volume de registros do painel

O ingestion.log_volume total informado nos painéis do Google SecOps (por exemplo, ao consultar ingestion.component = "Ingestion API") pode ser significativamente diferente do volume total de registros brutos armazenados na sua instância. A interface do Google SecOps não mostra um contador de ingestão cumulativo de todos os tempos desde o provisionamento da instância. Como cada ferramenta de relatórios aplica uma janela de lookback máxima, não é possível calcular um total cumulativo de todos os tempos quando a instância é mais antiga que o limite de retenção da ferramenta.

Essas diferenças ocorrem pelos seguintes motivos:

  • Períodos e limites de lookback diferentes:

    • Armazenamento de registros brutos: retém dados de acordo com a política de retenção de instâncias configurada. Sua instância pode ter ingerido registros por vários anos desde o provisionamento.
    • Painéis do Google SecOps: calculam ingestion.log_volume apenas para o período selecionado, até um limite máximo de lookback de 365 dias (ou até 24 meses no Cloud Monitoring para instâncias do tipo "Traga seu próprio projeto" (BYOP, na sigla em inglês)). Se a instância tiver ingerido dados por mais de 365 dias, as consultas do painel vão informar um total menor do que o volume de ingestão histórico cumulativo.

  • Diferentes fontes de dados e pipelines de coleta:

    • Armazenamento de registros brutos: registra o tamanho direto em bytes dos lotes de registros brutos ingeridos armazenados no Google SecOps.
    • Painéis do Google SecOps: consultam ingestion.log_volume na tabela ingestion_metrics, que coleta telemetria de forma assíncrona em intervalos de aproximadamente 5 minutos. Como esse pipeline de telemetria pode apresentar latência de coleta, amostragem ou quedas de métricas temporárias, as consultas do painel fornecem um volume aproximado, em vez de uma contagem exata de bytes.

Onde calcular o volume de ingestão e como os valores são diferentes

Como a interface do Google SecOps não mostra um contador de ingestão cumulativo de todos os tempos desde o horário de início da instância, use os seguintes locais para calcular o volume de ingestão, dependendo do período necessário:

  • Painéis do Google SecOps (até 365 dias):

    • Onde calcular: abra Painéis e relatórios > Painéis e confira o widget Taxa de transferência no painel Principal ou Ingestão de dados e integridade (incluindo o gráfico Ingestão – taxa de transferência (todos os tempos)). Também é possível executar uma consulta de painel personalizado para sum($event.ingestion.log_volume) filtrada por $event.ingestion.component = "Ingestion API".
    • Período máximo: as consultas são limitadas a um máximo de 365 dias, mesmo no gráfico selecionado Ingestão – taxa de transferência (todos os tempos).
    • Como os valores são diferentes: os painéis consultam a tabela assíncrona ingestion_metrics, que coleta telemetria em intervalos de aproximadamente 5 minutos e pode apresentar latência de coleta ou quedas de métricas temporárias. Os valores são aproximados e refletem apenas os registros ingeridos pela API Ingestion durante o período selecionado, em vez de bytes de registro brutos de todos os tempos ou volume faturado final.

  • Metrics Explorer do Cloud Monitoring (até 24 meses para instâncias BYOP):

    • Onde calcular: abra Monitoring > Metrics Explorer no Google Cloud console e execute uma consulta para chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}. Para instruções detalhadas, consulte Conferir o volume de ingestão faturado.
    • Período máximo: as consultas são limitadas a um máximo de 24 meses, com base na retenção de métricas do Cloud Monitoring.
    • Como os valores são diferentes: o Cloud Monitoring consulta as contagens de bytes de ingestão no nível do coletor durante o período selecionado. Os valores abrangem uma janela de lookback mais longa do que os painéis do Google SecOps (até 24 meses em vez de 365 dias), mas não refletem um total de todos os tempos se a instância tiver mais de 24 meses.

  • Exportação do BigQuery (além de 365 dias, com base na retenção do conjunto de dados):

    • Onde calcular: abra o projeto do BigQuery depois de exportar a tabela ingestion_metrics e execute uma consulta para SUM(log_volume) (ou total_size_bytes no Looker e no BigQuery) filtrada por component = "Ingestion API".
    • Período máximo: as consultas são limitadas ao período de armazenamento configurado para a tabela do BigQuery desde que você ativou a exportação, em vez do limite de 365 dias do painel.
    • Como os valores são diferentes: o BigQuery consulta a mesma tabela assíncrona ingestion_metrics que os painéis do Google SecOps. Os valores correspondem às consultas do painel para o mesmo período, mas permanecem indicadores de telemetria aproximados, em vez de bytes de registro brutos de todos os tempos ou volume faturado final.

Usar métricas de ingestão

  • Solução de problemas:filtre por log_type e state (por exemplo, failed_parsing) nas métricas do normalizador para encontrar problemas de análise. Verifique drop_count e drop_reason_code para perda de dados.

  • Alertas: configure alertas no Cloud Monitoring para monitorar quedas repentinas em log_count para fontes de registro críticas ou taxas altas de total_error_events. Para monitorar o volume de ingestão diário em relação aos limites contratuais, use a métrica Tamanho total do registro ingerido (chronicle.googleapis.com/ingestion/log/bytes_count). Não use a métrica chronicle.googleapis.com/ingestion/quota_limit para alertas de volume diário pelos seguintes motivos:

    • A métrica quota_limit mede a proximidade dos limites de back-end dinâmicos, em vez do volume real de dados ingeridos.
    • O uso de quota_limit para alertas de volume diário pode causar alarmes falsos quando os limites de back-end são ajustados.

    Para conferir as etapas de configuração de uma política de alerta de volume diário, consulte Configurar uma política de exemplo para monitorar o volume de ingestão diário.

  • Planejamento de capacidade:analise as tendências de log_volume no BigQuery para prever necessidades futuras.

  • Validação da configuração:depois de configurar uma nova fonte de dados, verifique as métricas para confirmar se os dados estão fluindo e sendo analisados conforme o esperado.

Ao monitorar e entender regularmente essas métricas de ingestão, você pode garantir um pipeline de dados confiável e eficiente para sua instância do Google SecOps.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.