Compreenda a disponibilidade de dados para a pesquisa

Suportado em:

Este documento detalha o ciclo de vida da ingestão de dados, incluindo o fluxo de dados e a latência completos, e como estes fatores afetam a disponibilidade dos dados ingeridos recentemente para consulta e análise.

Carregue e processe dados no Google Security Operations

Esta secção descreve como o Google SecOps carrega, processa e analisa os dados de segurança.

Carregamento de dados

O pipeline de carregamento de dados começa por recolher os seus dados de segurança não processados de origens como:

  • Registos de segurança dos seus sistemas internos
  • Dados armazenados no Cloud Storage
  • O seu centro de operações de segurança (SOC) e outros sistemas internos

O Google SecOps transfere estes dados para a plataforma através de um dos respetivos métodos de carregamento seguros.

Os principais métodos de carregamento são:

  • Carregamento Google Cloud direto

    O Google SecOps usa a ingestão Google Cloud direta para extrair automaticamente registos e dados de telemetria da sua organização Google Cloud, incluindo o Cloud Logging, os metadados do Cloud Asset Inventory e as conclusões do Security Command Center Premium.

  • APIs de carregamento

    Envie dados diretamente para o Google SecOps através das respetivas APIs de carregamento REST públicas. Use este método para integrações personalizadas ou para enviar dados como registos não estruturados ou eventos do modelo de dados unificado (UDM) pré-formatados.

  • Agente Bindplane

    Pode implementar o agente Bindplane versátil no seu ambiente (no local ou noutras nuvens) para recolher registos de uma grande variedade de fontes e encaminhá-los para o Google SecOps.

  • Feeds de dados

    No Google SecOps, configura feeds de dados para extrair registos de origens de terceiros, como contentores de armazenamento na nuvem de terceiros específicos (como o Amazon S3) ou APIs de terceiros (como o Okta ou o Microsoft 365).

Normalização e enriquecimento de dados

Assim que os dados chegam ao Google SecOps, a plataforma processa-os nas seguintes fases:

  1. Análise e normalização

    Os dados de registo não processados são primeiro processados por um analisador para validar, extrair e transformar os dados do formato original no UDM padronizado. A análise e a normalização permitem-lhe analisar origens de dados diferentes (por exemplo, registos de firewall, dados de pontos finais, registos na nuvem) através de um esquema único e consistente. O registo não processado original permanece armazenado juntamente com o evento UDM.

  2. Indexação

    Após a normalização, o Google SecOps indexa os dados do UDM para oferecer velocidades de consulta rápidas em conjuntos de dados enormes, tornando os eventos do UDM pesquisáveis. Também indexa os registos não processados originais para pesquisas de "registos não processados".

  3. Enriquecimento de dados

    O Google SecOps enriquece os seus dados com contexto valioso da seguinte forma:

    • Contexto da entidade (atribuição de alias): a atribuição de alias enriquece os registos do UDM identificando e adicionando dados de contexto e indicadores para entidades de registo. Por exemplo, associa o nome de início de sessão de um utilizador aos respetivos endereços IP, nomes de anfitrião e endereços MAC, criando um "gráfico de entidades" consolidado.
    • Informações sobre ameaças: os dados são automaticamente comparados com as vastas informações sobre ameaças da Google, incluindo origens como o VirusTotal e a Navegação Segura, para identificar domínios, IPs, hashes de ficheiros maliciosos conhecidos e muito mais.
    • Geolocalização: os endereços IP são enriquecidos com dados de geolocalização.
    • WHOIS: os nomes de domínios são enriquecidos com as respetivas informações de registo WHOIS públicas.

Disponibilidade de dados para análise

Após o processamento e o enriquecimento, os dados da UDM ficam imediatamente disponíveis para análise:

  • Deteção em tempo real

    O motor de deteção executa automaticamente regras personalizadas e criadas pela Google ativadas com regras em tempo real em dados recebidos em tempo real para identificar ameaças e gerar alertas.

  • Pesquisa e investigação

    Um analista pode usar os métodos de pesquisa para pesquisar todos estes dados normalizados e enriquecidos. Por exemplo, usar a pesquisa UDM para alternar entre entidades relacionadas (como um user, para o respetivo asset, para um domain malicioso) e investigar alertas.

Métodos de pesquisa

O Google SecOps oferece vários métodos distintos para pesquisar os seus dados, cada um com um objetivo diferente.

A pesquisa UDM é o método de pesquisa principal e mais rápido, usado para a maioria das investigações.

  • O que pesquisa: consulta os eventos da UDM normalizados e indexados. Uma vez que todos os dados são analisados neste formato padrão, pode escrever uma consulta para encontrar a mesma atividade (como um início de sessão) em todos os seus diferentes produtos (por exemplo, Windows, Okta, Linux).
  • Como funciona: usa uma sintaxe específica para consultar campos, operadores e valores.
  • Exemplo: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

Use a pesquisa de registos não processados para encontrar algo na mensagem de registo original não analisada que pode não ter sido mapeada para um campo UDM.

  • O que pesquisa: analisa o texto original não processado dos registos antes de serem analisados e normalizados. Isto é útil para encontrar strings específicas, argumentos de linha de comandos ou outros artefactos que não sejam campos UDM indexados.
  • Como funciona: use o prefixo raw =. Pode ser mais lento do que a pesquisa da UDM porque não pesquisa campos indexados.
  • Exemplo (string): raw = "PsExec.exe"
  • Exemplo (regex): raw = /admin\$/

Pesquisa de linguagem natural (Gemini)

A pesquisa em linguagem natural (Gemini) permite-lhe usar inglês simples para fazer perguntas, que o Gemini traduz numa consulta UDM formal.

  • O que pesquisa: fornece uma interface de conversação para consultar dados da UDM.
  • Como funciona: escreve uma pergunta e o Gemini gera a consulta de pesquisa da UDM subjacente, que pode executar ou refinar.
  • Exemplo: "Mostra-me todos os inícios de sessão falhados do utilizador "bob" nas últimas 24 horas"

A pesquisa SOAR é específica dos componentes SOAR. Utiliza-o para gerir incidentes de segurança e não para procurar nos registos.

  • O que pesquisa: pesquisa registos e entidades (como utilizadores, recursos e IPs) na plataforma SOAR.
  • Como funciona: pode usar texto livre ou filtros baseados em campos para encontrar registos, por exemplo, pelo respetivo ID, nome do alerta, estado e utilizador atribuído.
  • Exemplo: pesquise CaseIds:180 ou AlertName:Brute Force

Pipeline de carregamento de dados para pesquisar disponibilidade

O sistema processa os dados carregados recentemente através de vários passos. A duração destes passos determina quando os dados carregados recentemente ficam disponíveis para consulta e análise.

A tabela seguinte detalha os passos de processamento dos dados carregados recentemente por método de pesquisa. Os dados carregados recentemente tornam-se pesquisáveis após a conclusão destes passos.

Método de pesquisa Dados que estão a ser pesquisados Passos de processamento que contribuem para o tempo de disponibilidade
Eventos da UDM normalizados e enriquecidos
  1. Carregamento: o registo chega ao ponto de carregamento do Google SecOps.
  2. Análise: o registo não processado é identificado e processado pelo respetivo analisador específico.
  3. Normalização: os dados são extraídos e mapeados para o esquema do UDM.
  4. Indexação (UDM): o registo UDM normalizado é indexado para uma pesquisa rápida e estruturada.
  5. Enriquecimento: é adicionado contexto (informações sobre ameaças, geolocalização, dados de utilizadores ou recursos).
Pesquisa de registos não processados Texto do registo original não analisado
  1. Carregamento: o registo chega ao ponto de carregamento do Google SecOps.
  2. Indexação (não processada): a string de texto original do registo é indexada.
Pesquisa SOAR Casos e entidades Este é um ciclo de vida diferente, uma vez que procura alertas e registos, e não registos. A hora baseia-se em:
  1. Disponibilidade de eventos da UDM: usa os mesmos passos de processamento indicados para "Pesquisa da UDM".
  2. Deteção: uma regra do motor de deteção tem de corresponder aos eventos do UDM.
  3. Geração de alertas: o sistema cria um alerta formal a partir da deteção.
  4. Criação de registos: a plataforma SOAR introduz o alerta e cria um registo.

Exemplo de fluxo de dados

O exemplo seguinte demonstra como o Google SecOps carrega, processa, melhora e analisa os seus dados de segurança, disponibilizando-os para pesquisas e análises adicionais.

Exemplo de passos de tratamento de dados

  1. Obtém dados de segurança de serviços na nuvem, como o Amazon S3, ou do Google Cloud. A Google SecOps encripta estes dados em trânsito.
  2. Separa e armazena os seus dados de segurança encriptados na sua conta. O acesso está limitado a si e a um pequeno número de funcionários da Google para apoio técnico, desenvolvimento e manutenção de produtos.
  3. Analisa e valida dados de segurança não processados, o que facilita o processamento e a visualização.
  4. Normaliza e indexa os dados para pesquisas rápidas.
  5. Armazena os dados analisados e indexados na sua conta.
  6. Enriquece com dados de contexto.
  7. Oferece aos utilizadores acesso seguro para pesquisar e rever os respetivos dados de segurança.
  8. Compara os seus dados de segurança com a base de dados de software malicioso do VirusTotal para identificar correspondências. Numa vista de eventos do Google SecOps, como a vista de recursos, clique em Contexto do VT para ver as informações do VirusTotal. O Google SecOps não partilha os seus dados de segurança com o VirusTotal.

Fluxo e processamento de dados para o Google SecOps

Exemplos do tempo esperado até à disponibilidade da Pesquisa

O tempo esperado até que os dados carregados recentemente fiquem disponíveis para a Pesquisa é a soma das durações do fluxo ao longo do fluxo de dados.

Por exemplo, um tempo médio típico para a disponibilidade de dados na pesquisa da UDM é de aproximadamente 5 minutos e 30 segundos a partir do momento em que os dados são enviados para o serviço de carregamento do Google SecOps.

Passo do fluxo de dados Descrição Duração do fluxo
Cloud Storage para registos não processados Carrega registos não processados do Cloud Storage. Menos de 30 segundos
Registos de segurança para o Serviço de encaminhamento de dados Transmite registos de segurança de sistemas internos para a plataforma. N/A
Serviço de encaminhamento de dados para Registos não processados Envia dados de segurança não processados recebidos de várias origens para o pipeline de carregamento. Menos de 30 segundos
Registos não processados para Analisar e validar Analisa e valida registos não processados no formato UDM. Menos de 3 minutos
Analise e valide para indexar Indexa os dados UDM analisados para uma pesquisa rápida. N/A
Indexe os dados de clientes analisados Disponibiliza os dados indexados como dados de clientes analisados para análise. Menos de 2 minutos

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.