Visão geral da ingestão de dados

Compatível com:

Google SecOps SIEM

O Google Security Operations ingere registros de clientes, normaliza os dados e detecta alertas de segurança. Ele oferece recursos de autoatendimento para ingestão de dados, detecção de ameaças, alertas e gerenciamento de casos. O Google SecOps também pode receber alertas de outros sistemas SIEM e analisá-los.

Visão geral da arquitetura de ingestão de dados

O diagrama a seguir ilustra como os dados de segurança fluem para o Google SecOps e como o sistema processa esses dados para análise na interface.

Observação: consulte Entender a disponibilidade de dados para pesquisa para ver todos os detalhes do ciclo de vida da ingestão de dados, incluindo o fluxo de dados de ponta a ponta e a latência, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.

Etapas principais envolvidas na ingestão de dados

O Google SecOps trata seus dados de segurança da seguinte forma:

1. Recupera dados de segurança de serviços de nuvem, como o Amazon S3 ou o Google Cloud. O Google SecOps criptografa esses dados em trânsito.
2. Separa e armazena os dados de segurança criptografados na sua conta. O acesso é limitado a você e a um pequeno número de funcionários do Google para suporte, desenvolvimento e manutenção de produtos.
3. Analisa e valida dados de segurança brutos, facilitando o processamento e a visualização.
4. Indexa os dados para pesquisas rápidas.
5. Armazena os dados analisados e indexados na sua conta.
6. Oferece acesso seguro para que os usuários pesquisem e analisem os dados de segurança.
7. Compara seus dados de segurança com o banco de dados de malware do VirusTotal para identificar correspondências. Em uma visualização de evento do Google SecOps, como a visualização de recursos, clique em Contexto do VT para ver as informações do VirusTotal. O Google SecOps não compartilha seus dados de segurança com o VirusTotal.

Visão geral dos métodos de ingestão de dados

O serviço de ingestão do Google SecOps atua como um gateway para todos os dados.

O Google SecOps ingere dados usando os seguintes sistemas:

• Google Cloud: o Google SecOps recupera dados diretamente da sua organização Google Cloud , que é o método principal para todos os registros Google Cloud padrão (por exemplo, auditoria, fluxo de VPC, DNS e firewall). É a maneira mais econômica e eficiente de trazer a telemetria do Google Cloud para o Google SecOps. Para mais informações, consulte Ingerir dados do Google Cloud no Google SecOps.

• Agente do Bindplane: é um agente gerenciado para coletar registros de ambientes e servidores locais (Windows ou Linux). O Bindplane é um pipeline de telemetria que pode coletar, refinar e exportar registros de qualquer origem para o Google SecOps. Assim, ele oferece flexibilidade na coleta de diferentes tipos de registros que não funcionam com outros métodos. É possível usar o recurso para dados locais, como registros de firewall, registros do Windows e do Linux, ou para dados da nuvem que você quer pré-processar (por exemplo, refinar ou filtrar) antes de ingerir no Google SecOps. Também é possível gerenciar esse agente usando o console de gerenciamento do Bindplane OP. Para mais informações, consulte Usar o agente do Bindplane.

• Feeds de dados: são usados principalmente para registros baseados na nuvem em que os registros de terceiros já estão agregados em um repositório de objetos, como o Cloud Storage ou o Amazon S3, ou quando o terceiro oferece suporte a métodos baseados em "push", como webhook. Os feeds de dados também oferecem suporte imediato a um conjunto predefinido de integrações baseadas em API. Use feeds de dados para registros baseados na nuvem, como EDRs ou qualquer aplicativo SaaS, e para as integrações específicas predefinidas como API direta. Os feeds de dados enviam registros diretamente para o serviço de ingestão do Google SecOps. Para mais informações, consulte a documentação sobre gerenciamento de feeds. Os feeds de dados aceitam linhas de registro de até 4 MB. É possível monitorar a atividade e os erros do feed usando o Cloud Logging. Para mais informações, consulte Analisar a atividade do feed com o Cloud Logging.

• Métodos de ingestão da API Chronicle: use os métodos de ingestão da API Chronicle modernos para aplicativos personalizados, de alto volume ou desenvolvidos internamente que não se encaixam em outros métodos. Esse método é um pouco mais complexo de usar do que outros métodos de ingestão.

Observação: a API Ingestion legada foi descontinuada. Se você estiver usando essa API, siga as etapas necessárias para migrar, conforme descrito em Migrar da API SIEM legada para a API Chronicle.

• Encaminhadores: o encaminhador chegou ao fim da vida útil. O Google recomenda que você use o agente do Bindplane.

Os analisadores convertem registros dos sistemas dos clientes em um modelo de dados unificado (UDM). Os sistemas downstream no Google SecOps usam o UDM para oferecer recursos adicionais, incluindo regras e pesquisa de UDM.

Consulte Entender a disponibilidade de dados para pesquisa para conferir todos os detalhes do ciclo de vida da ingestão de dados, incluindo o fluxo de dados de ponta a ponta e a latência, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.

Observação: para monitorar o status operacional e a integridade de todas as suas origens de dados e analisadores, acesse o Hub de integridade. Ele inclui informações sobre fontes e tipos de registros com falhas e irregulares, além de fornecer contexto para diagnosticar e corrigir problemas.

Especificações:

• Ao ingerir arquivos, o formato do conteúdo precisa corresponder ao formato esperado da extensão para que os registros sejam ingeridos corretamente.

• Arquivos grandes (5 a 10 GB ou mais) podem atrasar significativamente a ingestão de dados.

• A ingestão só aceita codificação UTF-8.

Como entender os tempos de ingestão e disponibilidade de dados

A disponibilidade de dados para análise no Google SecOps depende de várias etapas. Para resolver problemas de atrasos, diferencie entre atrasos do sistema de origem e o tempo de processamento do Google SecOps.

• Atrasos no sistema de origem (pré-ingestão): muitas fontes de dados têm latências inerentes. Os dados podem não estar disponíveis para coleta imediatamente após a ocorrência de um evento. Estas são as causas mais comuns:

  • Programações de processamento e loteamento de origem.
  • Tempo necessário para gravar eventos em arquivos de registro ou endpoints de API.
  • Limites de taxa de API.
  • A diferença entre o carimbo de data/hora do evento e o momento em que o registro fica disponível para ingestão (por exemplo, createTime).

• Atrasos na ingestão e no processamento do Google SecOps: depois que os dados chegam a um ponto de ingestão, as seguintes etapas podem causar atrasos:

  • Intervalo de coleta: para fontes agrupadas (como APIs ou buckets de armazenamento), a frequência de feed configurada (por exemplo, a cada 5 minutos ou a cada hora) determina o atraso máximo.
  • Pipeline interno: análise, normalização, indexação e enriquecimento. Para mais informações, consulte Entender a disponibilidade de dados para pesquisa.

Se houver atrasos, determine se a causa é a origem ou o Google SecOps. Por exemplo, os registros dos serviços de armazenamento de blobs não são em tempo real e dependem da frequência de sondagem.

Para conferir uma lista de tipos de registros com atrasos conhecidos no lado da origem, consulte a Referência da API Feed Management.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.