Entender a disponibilidade de dados para pesquisa
Este documento detalha o ciclo de vida da ingestão de dados, incluindo o fluxo de dados e a latência de ponta a ponta, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.
Ingerir e processar dados no Google SecOps
Nesta seção, descrevemos como o Google SecOps ingere, processa e analisa dados de segurança.
Ingestão de dados
O pipeline de ingestão de dados começa com a coleta de dados de segurança brutos de fontes como:
- Registros de segurança dos seus sistemas internos
- Dados armazenados no Cloud Storage
- Sua central de operações de segurança (SOC) e outros sistemas internos
O Google SecOps traz esses dados para a plataforma usando um dos métodos de ingestão seguros.
Os principais métodos de ingestão são:
Ingestão Google Cloud direta
O Google SecOps usa a ingestão Google Cloud direta para extrair automaticamente registros e dados de telemetria da Google Cloudda sua organização, incluindo o Cloud Logging, os metadados do Inventário de recursos do Cloud e as descobertas do Security Command Center Premium.
APIs de ingestão
Envie dados diretamente para o Google SecOps usando as APIs de ingestão REST públicas. Use esse método para integrações personalizadas ou para enviar dados como registros não estruturados ou eventos pré-formatados do modelo de dados unificado (UDM, na sigla em inglês).
Agente do Bindplane
É possível implantar o versátil agente do Bindplane no seu ambiente (no local ou em outras nuvens) para coletar registros de uma ampla variedade de fontes e encaminhá-los ao Google SecOps.
Feeds de dados
No Google SecOps, você configura feeds de dados para extrair registros de fontes de terceiros, como buckets de armazenamento em nuvem específicos de terceiros (como o Amazon S3) ou APIs de terceiros (como o Okta ou o Microsoft 365).
Normalização e aprimoramento de dados
Depois que os dados chegam ao Google SecOps, a plataforma os processa nas seguintes etapas:
Análise e normalização
Primeiro, um analisador processa os dados de registro brutos para validar, extrair e transformar os dados do formato original no UDM padronizado. A análise e a normalização permitem analisar fontes de dados diferentes (por exemplo, registros de firewall, dados de endpoint, registros de nuvem) usando um esquema único e consistente. O registro bruto original permanece armazenado junto com o evento do UDM.
Indexação
Após a normalização, o Google SecOps indexa os dados do UDM para oferecer velocidades de consulta rápidas em conjuntos de dados massivos, tornando os eventos do UDM pesquisáveis.
Aliasing e enriquecimento de UDM
- O Google SecOps realiza aliasing e enriquecimento de UDM
para enriquecer eventos de UDM com contexto valioso, identificando e adicionando
dados de contexto e indicadores para entidades de registro. Por exemplo, ele conecta o
login namede um usuário aos váriosIP addresses,hostnameseMAC addressesdele. - Geolocalização: o Google SecOps enriquece os endereços IP com dados de geolocalização.
- O Google SecOps realiza aliasing e enriquecimento de UDM
para enriquecer eventos de UDM com contexto valioso, identificando e adicionando
dados de contexto e indicadores para entidades de registro. Por exemplo, ele conecta o
Enriquecimento de ECG
O Google SecOps realiza o aliasing de ECG, que mescla o contexto de várias fontes (como IdPs, CMDBs e inteligência contra ameaças) para criar um perfil de entidade consolidado no gráfico de contexto de entidade.
Inteligência contra ameaças: o Google SecOps compara automaticamente os dados de eventos com a vasta inteligência contra ameaças do Google, incluindo fontes como o Google Threat Intelligence e a Navegação segura, para identificar ameaças maliciosas conhecidas, como
domains,IP addressesefile hashes.WHOIS: o Google SecOps enriquece os nomes de domínio com as informações de registro público do WHOIS.
Disponibilidade de dados para análise
Depois de processados e enriquecidos, os dados do UDM ficam imediatamente disponíveis para análise:
Detecção em tempo real
O mecanismo de detecção executa automaticamente regras personalizadas e criadas pelo Google com a regra em tempo real ativada em dados recebidos em tempo real para identificar ameaças e gerar alertas.
Pesquisa e investigação
Um analista pode usar os métodos de pesquisa para pesquisar todos esses dados normalizados e enriquecidos. Por exemplo, use a pesquisa de UDM para alternar entre entidades relacionadas (como um
user, oassetdele e umdomainmal-intencionado) e investigar alertas.
Métodos de pesquisa
O Google SecOps oferece vários métodos distintos para pesquisar seus dados, cada um com uma finalidade diferente.
Pesquisa de UDM
A pesquisa de UDM é o método de pesquisa principal e mais rápido, usado na maioria das investigações.
- O que ela pesquisa: consulta os eventos normalizados e indexados do UDM. Como todos os dados são analisados nesse formato padrão, é possível escrever uma consulta para encontrar a mesma atividade (como um login) em todos os seus produtos (por exemplo, Windows, Okta, Linux).
- Como funciona: você usa uma sintaxe específica para consultar campos, operadores e valores.
Exemplo:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"Os resultados geralmente ficam disponíveis de 2 a 15 minutos após a ingestão.
Pesquisa de registros brutos
Use a pesquisa de registro bruto para encontrar algo na mensagem de registro original não analisada que pode não ter sido mapeado para um campo de UDM. Esse método de pesquisa é otimizado para buscas de alta velocidade, geralmente retornando resultados em menos de 2 segundos para indicadores específicos, como hashes de arquivos ou endereços IP.
- O que ele pesquisa: ele verifica o texto original e bruto dos registros antes de serem analisados e normalizados. Isso é útil para encontrar strings específicas, argumentos de linha de comando ou outros artefatos que não são campos de UDM indexados.
- Como funciona: use o prefixo
raw =. Ela pode ser mais lenta do que a pesquisa de UDM porque não pesquisa campos indexados. - Exemplo (string):
raw = "PsExec.exe" - Exemplo (Regex):
raw = /admin\$/
Pesquisa de estatísticas
Use a pesquisa de estatísticas para tendências de longo prazo que agregam milhões de linhas de dados. Como a plataforma precisa realizar análises estatísticas e agrupamentos, o tempo de carregamento dessas consultas é maior.
Pesquisa com linguagem natural (Gemini)
A pesquisa com linguagem natural (Gemini) permite que você use o inglês simples para fazer perguntas, que o Gemini traduz em uma consulta formal da UDM.
- O que ele pesquisa: ele fornece uma interface de conversação para consultar dados do UDM.
- Como funciona: você digita uma pergunta, e o Gemini gera a consulta de pesquisa de UDM correspondente, que pode ser executada ou refinada.
- Exemplo: "Mostre todos os logins com falha do usuário 'bob' nas últimas 24 horas"
Pesquisa no SOAR
A pesquisa de SOAR é específica para componentes de SOAR. Ele é usado para gerenciar incidentes de segurança, não para buscar registros.
- O que ele pesquisa: Casos e Entidades (como usuários, recursos, endereços IP) na plataforma SOAR.
- Como funciona: use filtros de texto livre ou baseados em campos para encontrar casos, por exemplo, pelo ID, nome do alerta, status e usuário atribuído.
- Exemplo: pesquise
CaseIds:180ouAlertName:Brute Force.
Pipeline de ingestão de dados para pesquisar disponibilidade
A disponibilidade de dados de ponta a ponta é o tempo total entre o momento em que um evento ocorre e quando ele fica disponível para pesquisa ou execução de regras no Google SecOps. Essa latência é a soma dos dois componentes a seguir:
Atraso de disponibilidade do lado da origem: o tempo entre a ocorrência de um evento e o momento em que o sistema de origem disponibiliza os dados de registro para ingestão. Esse atraso depende da arquitetura, do processamento, do lote e das programações de publicação da API do sistema de origem. O Google SecOps não pode influenciar esse atraso. Por exemplo, atrasos quando um sistema grava registros em um bucket de armazenamento ou os publica em um endpoint de API.
Tempo de processamento do Google SecOps: o tempo que o Google SecOps precisa para processar os dados após o recebimento. Essa duração inclui etapas internas do pipeline, como ingestão, análise, normalização, indexação e enriquecimento.
Considere os dois componentes ao solucionar problemas de cronogramas de visibilidade de dados.
Atrasos originados na fonte de dados
Os seguintes fatores podem influenciar o atraso na disponibilidade do lado da origem:
- Processamento em lote: alguns sistemas geram registros em lotes em intervalos definidos (por exemplo, de hora em hora).
- Latência da API: a API de origem pode ter atrasos inerentes na disponibilização de novos eventos para consulta.
- Horário de criação e publicação do evento: um carimbo de data/hora de evento em um registro pode ser muito anterior ao carimbo de data/hora em que o registro é finalizado e disponibilizado para coleta.
- Limitação de taxa: os limites de taxa da API do lado da origem podem desacelerar a recuperação de dados.
- Preenchimento inicial: a disponibilização e a ingestão de grandes volumes de dados históricos levam tempo.
Esses atrasos variam de acordo com a fonte de dados e o tipo de registro. Para mais detalhes sobre os métodos de ingestão, consulte Visão geral da ingestão de dados. A referência da API Feed Management descreve considerações específicas para tipos de registro, como Microsoft Graph, SentinelOne, Okta e CrowdStrike.
Tempo de processamento do Google SecOps
O sistema processa os dados recém-ingeridos em várias etapas. A duração dessas etapas determina quando os dados recém-ingeridos ficam disponíveis para consulta e análise.
A tabela a seguir detalha as etapas de processamento dos dados recém-ingeridos por método de pesquisa. Os dados recém-ingeridos se tornam pesquisáveis após a conclusão dessas etapas.
| Método de pesquisa | Dados pesquisados | Etapas de processamento que contribuem para o tempo de disponibilidade |
|---|---|---|
| Eventos de UDM normalizados e enriquecidos |
|
|
| Pesquisa de registro bruto | Texto de registro original não analisado |
|
| Mecanismo de detecção (regras) | Eventos normalizados |
|
| Pesquisa no SOAR | Casos e entidades |
Esse é um ciclo de vida diferente, porque pesquisa alertas e casos, não registros. O horário é baseado em:
|
Exemplo de fluxo de dados
O exemplo a seguir demonstra como o Google SecOps ingere, processa, aprimora e analisa seus dados de segurança, disponibilizando-os para pesquisas e análises adicionais.
Exemplo de etapas de tratamento de dados
- Recupera dados de segurança de serviços em nuvem, como o Amazon S3, ou do Google Cloud. O Google SecOps criptografa esses dados em trânsito.
- Separa e armazena os dados de segurança criptografados na sua conta. O acesso é limitado a você e a um pequeno número de funcionários do Google para suporte, desenvolvimento e manutenção do produto.
- Analisa e valida dados de segurança brutos, facilitando o processamento e a visualização.
- Normaliza e indexa os dados para pesquisas rápidas.
- Armazena os dados analisados e indexados na sua conta.
- Enriquece com dados de contexto.
- Oferece acesso seguro para os usuários pesquisarem e analisarem os dados de segurança.
- Compara seus dados de segurança com o banco de dados de malware do Google Threat Intelligence para identificar correspondências. Na Pesquisa do SIEM, abra a guia Visão geral de um domínio, hash de arquivo ou endereço IP e clique em Contexto do VT para ver as informações do Google Threat Intelligence. O Google SecOps não compartilha seus dados de segurança com o Google Threat Intelligence.
Exemplos do tempo esperado até a disponibilidade da Pesquisa
O tempo esperado até que os dados recém-ingeridos fiquem disponíveis para a Pesquisa é a soma das durações do fluxo de dados.
Por exemplo, um tempo médio típico para disponibilidade de dados na pesquisa de UDM é de aproximadamente 5 minutos e 30 segundos a partir do momento em que os dados são enviados para o serviço de ingestão do Google SecOps.
| Etapa do fluxo de dados | Descrição | Duração do fluxo |
|---|---|---|
| Cloud Storage para registros brutos | Ingere registros brutos do Cloud Storage. | Menos de 30 segundos |
| Registros de segurança para Serviço de encaminhamento de dados | Transmite registros de segurança de sistemas internos para a plataforma. | N/A |
| Serviço de encaminhamento de dados para Registros brutos | Envia dados de segurança brutos recebidos de várias fontes para o pipeline de ingestão. | Menos de 30 segundos |
| Registros brutos para Analisar e validar | Analisa e valida registros brutos no formato UDM. | Menos de 3 minutos |
| Analisar e validar para Indexar | Indexa os dados analisados do UDM para uma pesquisa rápida. | N/A |
| Indexar para Dados do cliente analisados | Disponibiliza os dados indexados como dados do cliente analisados para análise. | Menos de 2 minutos |
Solução de problemas
Esta seção fornece orientações para solução de problemas.
Latência e limites
Os atrasos de processamento e visualização na plataforma do Google SecOps estão sujeitos aos seguintes limites de arquitetura após o recebimento dos dados:
- Visibilidade na pesquisa: de 2 a 15 minutos após a ingestão.
- Execução da regra: de 5 a 10 minutos após a chegada do evento.
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.