Visão geral da ingestão de dados

Compatível com:

Google SecOps SIEM

O Google Security Operations ingere registros de clientes, normaliza os dados e detecta alertas de segurança. Ele oferece recursos de autoatendimento para ingestão de dados, detecção de ameaças, alertas e gerenciamento de casos. O Google SecOps também pode receber alertas de outros sistemas SIEM e analisá-los.

Visão geral da arquitetura de ingestão de dados

O diagrama a seguir ilustra como os dados de segurança são enviados para o Google SecOps e como o sistema processa esses dados para análise na interface.

Observação: consulte Entender a disponibilidade de dados para pesquisa para conferir todos os detalhes do ciclo de vida da ingestão de dados, incluindo o fluxo de dados de ponta a ponta e a latência, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.

Etapas principais envolvidas na ingestão de dados

O Google SecOps processa seus dados de segurança da seguinte maneira:

1. Recupera dados de segurança de serviços de nuvem, como o Amazon S3 ou o Google Cloud. O Google SecOps criptografa esses dados em trânsito.
2. Separa e armazena os dados de segurança criptografados na sua conta. O acesso é limitado a você e a um pequeno número de funcionários do Google para suporte, desenvolvimento e manutenção de produtos.
3. Analisa e valida dados de segurança brutos, facilitando o processamento e a visualização.
4. Indexa os dados para pesquisas rápidas.
5. Armazena os dados analisados e indexados na sua conta.
6. Oferece acesso seguro para que os usuários pesquisem e analisem os dados de segurança.
7. Compara seus dados de segurança com o banco de dados de malware do VirusTotal para identificar correspondências. Em uma visualização de eventos do Google SecOps, como a visualização de ativos, clique em Contexto do VT para conferir as informações do VirusTotal. O Google SecOps não compartilha seus dados de segurança com o VirusTotal.

Visão geral dos métodos de ingestão de dados

O serviço de ingestão do Google SecOps atua como um gateway para todos os dados.

O Google SecOps ingere dados usando os seguintes sistemas:

• Google Cloud: o Google SecOps recupera dados diretamente da sua Google Cloud organização, que é o método principal para todos os registros padrão Google Cloud (por exemplo, auditoria, fluxo de VPC, DNS e firewall). É a maneira mais econômica e eficiente de trazer telemetria para o Google SecOps. Google Cloud Para mais informações, consulte Ingerir Google Cloud dados no Google SecOps.

• Agente do Bindplane: é um agente gerenciado para coletar registros de ambientes e servidores locais (Windows ou Linux). O Bindplane é um pipeline de telemetria que pode coletar, refinar e exportar registros de qualquer fonte para o Google SecOps e, portanto, oferece flexibilidade na coleta de diferentes tipos de registros que não funcionam com outros métodos. Você pode usá-lo para dados locais, como registros de firewall, registros do Windows e do Linux, ou para dados de nuvem que você quer pré-processar (por exemplo, refinar ou filtrar) antes de ingerir no Google SecOps. Também é possível gerenciar esse agente usando o console de gerenciamento do Bindplane OP. Para mais informações, consulte Usar o agente do Bindplane.

• Feeds de dados: os feeds de dados são usados principalmente para registros baseados na nuvem em que os registros de terceiros já estão agregados em um armazenamento de objetos, como o Cloud Storage ou o Amazon S3, ou quando o terceiro oferece suporte a métodos baseados em push, como webhook. Os feeds de dados também oferecem suporte imediato a um conjunto predefinido de integrações baseadas em API. Use feeds de dados para registros baseados na nuvem, como EDRs ou qualquer aplicativo SaaS, e para as integrações específicas predefinidas como API direta. Os feeds de dados enviam registros diretamente para o serviço de ingestão do Google SecOps. Para mais informações, consulte a documentação de gerenciamento de feeds. Os feeds de dados oferecem suporte a linhas de registro de até 4 MB.

• APIs de ingestão: use a API Ingestion para aplicativos personalizados, de alto volume ou internos que não se encaixam em outros métodos. Esse método é um pouco mais complexo de usar do que outros métodos de ingestão. Para mais informações, consulte a API Ingestion.

• Encaminhadores: o encaminhador chegou ao fim da vida útil. O Google recomenda o uso do agente do Bindplane.

Os analisadores convertem registros de sistemas de clientes em um modelo de dados unificado (UDM). Os sistemas downstream no Google SecOps usam o UDM para oferecer recursos adicionais, incluindo regras e pesquisa de UDM.

Consulte Entender a disponibilidade de dados para pesquisa para conferir todos os detalhes do ciclo de vida da ingestão de dados, incluindo o fluxo de dados de ponta a ponta e a latência, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.

Observação: para monitorar o status operacional e a integridade de todas as suas fontes de dados e analisadores, acesse o Hub de integridade. Ele inclui informações sobre fontes e tipos de registro com falha e irregulares e fornece contexto para diagnosticar e corrigir problemas.

Especificações:

• Ao ingerir arquivos, o formato do conteúdo do arquivo precisa corresponder ao formato esperado da extensão do arquivo para que os registros sejam ingeridos.

• Arquivos grandes (5 a 10 GB ou mais) podem atrasar significativamente a ingestão de dados.

• A ingestão só oferece suporte à codificação UTF-8.

Entender os tempos de ingestão e disponibilidade de dados

A disponibilidade de dados para análise no Google SecOps depende de várias etapas. Para solucionar problemas de atrasos, distinga entre atrasos do sistema de origem e tempo de processamento do Google SecOps.

• Atrasos do sistema de origem (pré-ingestão): muitas fontes de dados têm latências inerentes. Os dados podem não estar disponíveis para coleta imediatamente após a ocorrência de um evento. Estas são as causas mais comuns:

  • Programações de processamento e lote de origem.
  • Tempo necessário para gravar eventos em arquivos de registro ou endpoints de API.
  • Limitações de taxa de API.
  • A diferença entre o carimbo de data/hora do evento e o momento em que o registro fica disponível para ingestão (por exemplo, createTime).

• Atrasos de ingestão e processamento do Google SecOps: depois que os dados chegam a um ponto de ingestão, as etapas a seguir podem introduzir atrasos:

  • Intervalo de coleta: para fontes agrupadas (como APIs ou buckets de armazenamento), a frequência de feed configurada (por exemplo, a cada 5 minutos ou a cada hora) determina o atraso máximo.
  • Pipeline interno: análise, normalização, indexação e otimização. Para mais informações, consulte Entender a disponibilidade de dados para pesquisa.

Se houver atrasos, determine se a causa é a origem ou o Google SecOps. Por exemplo, os registros de serviços de armazenamento de blobs não são em tempo real e dependem da frequência de pesquisa.

Para conferir uma lista de tipos de registro com atrasos conhecidos do lado da origem, consulte a referência da API Feed Management.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.