Exportar para um projeto do BigQuery gerenciado pelo Google

Compatível com:

O Google SecOps oferece um data lake gerenciado de telemetria normalizada e enriquecida com inteligência contra ameaças ao exportar dados para o BigQuery. Isso permite que você faça o seguinte:

  • Executar consultas ad hoc diretamente no BigQuery.
  • Use suas próprias ferramentas de Business Intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Combine dados do Google SecOps com conjuntos de dados de terceiros.
  • Execute análises usando ferramentas de ciência de dados ou machine learning.
  • Gerar relatórios usando painéis padrão predefinidos e personalizados.

O Google SecOps exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos da UDM:registros da UDM criados com base em dados de registros ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem a feeds de indicadores de comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos do cliente.
  • Métricas de ingestão:incluem estatísticas, como número de linhas de registro ingeridas, número de eventos produzidos com base em registros, número de erros de registro indicando que os registros não puderam ser analisados e o estado dos encaminhadores do Google SecOps. Para mais informações, consulte Esquema do BigQuery para métricas de ingestão.
  • Gráfico de entidades e relacionamentos entre entidades: armazena a descrição de entidades e os relacionamentos delas com outras entidades.

Visão geral das tabelas

O Google SecOps cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades do UDM.
  • events: armazena dados sobre eventos do UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e normalização de dados de fontes de ingestão específicas, como encaminhadores do Google SecOps, feeds e API Ingestion.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos de UDM.
  • job_metadata: uma tabela interna usada para rastrear a exportação de dados para o BigQuery.
  • rule_detections: armazena detecções retornadas por regras executadas no Google SecOps. Essa tabela inclui apenas detecções de regras que estavam ativas (por exemplo, ativadas e não excluídas) no momento em que o processo de exportação foi executado. As detecções de regras desativadas ou excluídas antes da execução do job de exportação não serão incluídas nessa tabela, mesmo que o horário da detecção esteja dentro do período da consulta.
  • rulesets: armazena informações sobre detecções selecionadas do Google SecOps, incluindo a categoria a que cada conjunto de regras pertence, se está ativado e o status atual de alerta.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela de eventos, mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados. Essa tabela é preenchida na medida do possível. Os dados de cada hora podem não estar disponíveis imediatamente, e pode haver atrasos no preenchimento.

Atualização de dados e programação de exportação

Os dados nas tabelas do BigQuery são atualizados em intervalos diferentes. Entender esses fatores pode ajudar a definir expectativas para a disponibilidade de dados:

  • Eventos da UDM (tabela events): geralmente atualizados com frequência, com dados disponíveis em aproximadamente duas horas após a ingestão.
  • Exportações com o melhor esforço:muitos outros conjuntos de dados são exportados com base no melhor esforço. Isso inclui, mas não se limita a:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Para tabelas exportadas da melhor maneira possível, embora as atualizações sejam regulares, não há uma latência ou um tempo estritamente definidos. Pode haver atrasos, e para agregações por hora, como udm_events_aggregates, os dados de cada hora podem não estar disponíveis imediatamente no final dela. Os dados geralmente são atualizados em um dia.

Acessar dados no BigQuery

Você pode executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de inteligência de negócios, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para ativar o acesso à instância do BigQuery, use a API Google SecOps BigQuery Access. Você pode fornecer um endereço de e-mail para um usuário ou grupo de sua propriedade. Se você configurar o acesso a um grupo, use-o para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de Business Intelligence ao BigQuery, entre em contato com seu representante do Google SecOps e peça as credenciais da conta de serviço que permitem conectar um aplicativo ao conjunto de dados do BigQuery do Google SecOps. A conta de serviço terá o papel do IAM de Leitor de dados do BigQuery (roles/bigquery.dataViewer) e Leitor de jobs do BigQuery (roles/bigquery.jobUser).

Retenção de dados

Para clientes do Google SecOps Enterprise Plus que usam o BigQuery gerenciado pelo Google, as seguintes configurações de retenção se aplicam:

  • Clientes legados do Google SecOps Enterprise Plus (em processo de descontinuação):

    • Tabelas ioc_matches e rule_detections: nenhum limite de retenção é definido devido ao baixo volume.
    • entity_graph, udm_events_aggregates e outras tabelas particionadas, exceto a tabela events: 180 dias.
    • Tabela events (eventos do UDM): os dados são retidos de acordo com seu contrato do Google SecOps ou o padrão de 366 dias, se não especificado no contrato.

  • Novos clientes: a duração da retenção é regida pelo contrato do Google SecOps (consistente com o recurso de BigQuery Export avançado).

A seguir

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.