Entender a disponibilidade de dados para pesquisa
Este documento detalha o ciclo de vida da ingestão de dados, incluindo o fluxo de dados e a latência de ponta a ponta, e como esses fatores afetam a disponibilidade de dados ingeridos recentemente para consulta e análise.
Ingerir e processar dados no Google Security Operations
Esta seção descreve como o Google SecOps ingere, processa e analisa dados de segurança.
Ingestão de dados
O pipeline de ingestão de dados começa coletando seus dados de segurança brutos de fontes como:
- Registros de segurança dos seus sistemas internos
- Dados armazenados no Cloud Storage
- Sua central de operações de segurança (SOC) e outros sistemas internos
O Google SecOps traz esses dados para a plataforma usando um dos métodos de ingestão segura.
Os principais métodos de transferência são:
Ingestão Google Cloud direta
O Google SecOps usa a ingestão Google Cloud direta para extrair automaticamente registros e dados de telemetria do Google Cloudda sua organização, incluindo metadados do Cloud Logging, do Inventário de recursos do Cloud e descobertas do Security Command Center Premium.
APIs de ingestão
Envie dados diretamente para o Google SecOps usando as APIs de ingestão REST públicas. Use esse método para integrações personalizadas ou para enviar dados como registros não estruturados ou eventos pré-formatados do modelo de dados unificado (UDM, na sigla em inglês).
Agente do Bindplane
É possível implantar o agente Bindplane versátil no seu ambiente (local ou outras nuvens) para coletar registros de várias fontes e encaminhá-los ao Google SecOps.
Feeds de dados
No Google SecOps, você configura feeds de dados para extrair registros de fontes de terceiros, como buckets de armazenamento em nuvem específicos (como o Amazon S3) ou APIs de terceiros (como o Okta ou o Microsoft 365).
Normalização e enriquecimento de dados
Depois que os dados chegam ao Google SecOps, a plataforma os processa nas seguintes etapas:
Análise e normalização
Os dados de registro brutos são processados primeiro por um analisador para validar, extrair e transformar os dados do formato original no UDM padronizado. Com a análise e normalização, é possível analisar fontes de dados diferentes (por exemplo, registros de firewall, dados de endpoint, registros da nuvem) usando um esquema único e consistente. O registro bruto original permanece armazenado junto ao evento da UDM.
Indexação
Depois da normalização, o Google SecOps indexa os dados da UDM para oferecer velocidades de consulta rápidas em conjuntos de dados enormes, tornando os eventos da UDM pesquisáveis. Ele também indexa os registros brutos originais para pesquisas de "registro bruto".
Aprimoramento de dados
O Google SecOps enriquece seus dados com contexto valioso da seguinte forma:
- Contexto da entidade (aliasing): o aliasing enriquece os registros de log do UDM identificando e adicionando dados de contexto e indicadores para entidades de log. Por exemplo, ele conecta o nome de login de um usuário aos vários endereços IP, nomes de host e endereços MAC, criando um "gráfico de entidades" consolidado.
- Inteligência contra ameaças:os dados são comparados automaticamente com a vasta inteligência contra ameaças do Google, incluindo fontes como o VirusTotal e o Navegação segura, para identificar domínios, IPs, hashes de arquivos maliciosos conhecidos e muito mais.
- Geolocalização:os endereços IP são enriquecidos com dados de geolocalização.
- WHOIS:os nomes de domínio são enriquecidos com as informações públicas de registro WHOIS.
Disponibilidade de dados para análise
Depois de processados e enriquecidos, os dados da UDM ficam imediatamente disponíveis para análise:
Detecção em tempo real
O Detection Engine executa automaticamente regras personalizadas e criadas pelo Google ativadas com Live Rule em dados recebidos em tempo real para identificar ameaças e gerar alertas.
Pesquisa e investigação
Um analista pode usar os métodos de pesquisa para pesquisar todos esses dados normalizados e enriquecidos. Por exemplo, usando a pesquisa de UDM para fazer uma rotação entre entidades relacionadas (como um
user, umassete umdomainmalicioso) e investigar alertas.
Métodos de pesquisa
O Google SecOps oferece vários métodos distintos para pesquisar seus dados, cada um com uma finalidade diferente.
Pesquisa do UDM
A pesquisa do UDM é o método de pesquisa principal e mais rápido, usado na maioria das investigações.
- O que ele pesquisa:consulta os eventos normalizados e indexados da UDM. Como todos os dados são analisados nesse formato padrão, você pode escrever uma consulta para encontrar a mesma atividade (como um login) em todos os seus produtos diferentes (por exemplo, Windows, Okta, Linux).
- Como funciona:você usa uma sintaxe específica para consultar campos, operadores e valores.
- Exemplo:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"
Pesquisa de registros brutos
Use a Pesquisa de registros brutos para encontrar algo na mensagem de registro original e não analisada que talvez não tenha sido mapeada para um campo da UDM.
- O que ele pesquisa:ele verifica o texto original e bruto dos registros antes de serem analisados e normalizados. Isso é útil para encontrar strings específicas, argumentos de linha de comando ou outros artefatos que não são campos UDM indexados.
- Como funciona:você usa o prefixo
raw =. Ela pode ser mais lenta do que a pesquisa da UDM porque não pesquisa campos indexados. - Exemplo (string):
raw = "PsExec.exe" - Exemplo (regex):
raw = /admin\$/
Pesquisa com linguagem natural (Gemini)
Com a pesquisa em linguagem natural (Gemini), você pode usar o inglês simples para fazer perguntas, que o Gemini traduz em uma consulta formal da UDM.
- O que ela pesquisa:ela oferece uma interface de conversa para consultar dados da UDM.
- Como funciona:você digita uma pergunta, e o Gemini gera a consulta de pesquisa UDM correspondente, que pode ser executada ou refinada.
- Exemplo: "Mostre todas as tentativas de login com falha do usuário 'bob' nas últimas 24 horas"
Pesquisa no SOAR
A pesquisa de SOAR é específica para componentes de SOAR. Ela é usada para gerenciar incidentes de segurança, não para procurar em registros.
- O que ele pesquisa:casos e entidades (como usuários, recursos, IPs) na plataforma SOAR.
- Como funciona:você pode usar filtros de texto livre ou baseados em campos para encontrar casos por ID, nome do alerta, status e usuário atribuído, por exemplo.
- Exemplo:pesquise
CaseIds:180ouAlertName:Brute Force.
Pipeline de ingestão de dados para pesquisar disponibilidade
O sistema processa os dados recém-ingeridos em várias etapas. A duração dessas etapas determina quando os dados recém-ingeridos ficam disponíveis para consulta e análise.
A tabela a seguir detalha as etapas de processamento para dados recém-ingeridos por método de pesquisa. Os dados recém-ingeridos ficam disponíveis para pesquisa depois que essas etapas são concluídas.
| Método de pesquisa | Dados pesquisados | Etapas de processamento que contribuem para o tempo de disponibilidade |
|---|---|---|
| Eventos do UDM normalizados e enriquecidos |
|
|
| Pesquisa de registro bruto | Texto do registro original e não analisado |
|
| Pesquisa no SOAR | Casos e entidades |
Esse é um ciclo de vida diferente, já que ele procura alertas e casos, não registros. O horário é baseado em:
|
Exemplo de fluxo de dados
O exemplo a seguir demonstra como o Google SecOps ingere, processa, melhora e analisa seus dados de segurança, disponibilizando-os para pesquisas e análises adicionais.
Exemplo de etapas de tratamento de dados
- Recupera dados de segurança de serviços na nuvem, como o Amazon S3, ou do Google Cloud. O Google SecOps criptografa esses dados em trânsito.
- Separa e armazena os dados de segurança criptografados na sua conta. O acesso é limitado a você e a um pequeno número de funcionários do Google para suporte, desenvolvimento e manutenção de produtos.
- Analisa e valida dados de segurança brutos, facilitando o processamento e a visualização.
- Normaliza e indexa os dados para pesquisas rápidas.
- Armazena os dados analisados e indexados na sua conta.
- Enriquece com dados de contexto.
- Oferece acesso seguro para que os usuários pesquisem e analisem os dados de segurança.
- Compara seus dados de segurança com o banco de dados de malware do VirusTotal para identificar correspondências. Em uma visualização de evento do Google SecOps, como a visualização de ativos, clique em Contexto do VT para ver as informações do VirusTotal. O Google SecOps não compartilha seus dados de segurança com o VirusTotal.
Exemplos do tempo esperado até a disponibilidade da Pesquisa
O tempo esperado até que os dados recém-ingeridos fiquem disponíveis para a Pesquisa é a soma das durações do fluxo ao longo do fluxo de dados.
Por exemplo, o tempo médio típico para disponibilidade de dados na pesquisa da UDM é de aproximadamente 5 minutos e 30 segundos a partir do momento em que os dados são enviados ao serviço de ingestão do Google SecOps.
| Etapa de fluxo de dados | Descrição | Duração do fluxo |
|---|---|---|
| Cloud Storage para Registros brutos | Ingere registros brutos do Cloud Storage. | Menos de 30 segundos |
| Registros de segurança para o Serviço de encaminhamento de dados | Transmite registros de segurança de sistemas internos para a plataforma. | N/A |
| Serviço de encaminhamento de dados para Registros brutos | Envia dados de segurança brutos recebidos de várias fontes para o pipeline de ingestão. | Menos de 30 segundos |
| Registros brutos para Analisar e validar | Analisa e valida registros brutos no formato UDM. | Menos de 3 minutos |
| Analisar e validar para Index | Indexa os dados analisados do UDM para uma pesquisa rápida. | N/A |
| Index para Dados do cliente analisados | Disponibiliza os dados indexados como dados de clientes analisados para análise. | Menos de 2 minutos |
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.