Exportar para um projeto do BigQuery gerenciado pelo Google

Compatível com:

O Google SecOps oferece um data lake gerenciado de telemetria normalizada e enriquecida com inteligência contra ameaças exportando dados para o BigQuery. Isso permite que você faça o seguinte:

  • Executar consultas ad hoc diretamente no BigQuery.
  • Usar suas próprias ferramentas de business intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Combinar dados do Google SecOps com conjuntos de dados de terceiros.
  • Executar análises usando ferramentas de ciência de dados ou machine learning.
  • Gerar relatórios usando painéis padrão predefinidos e personalizados.

O Google SecOps exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos da UDM:registros da UDM criados com dados de registro ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem a feeds de indicadores de comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos do cliente.
  • Métricas de ingestão:incluem estatísticas, como o número de linhas de registro ingeridas, o número de eventos produzidos a partir de registros, o número de erros de registro que indicam que os registros não puderam ser analisados e o estado dos encaminhadores do Google SecOps. Para mais informações, consulte o esquema do BigQuery de métricas de ingestão.
  • Gráfico de entidades e relacionamentos de entidades: armazena a descrição de entidades e os relacionamentos delas com outras entidades.

Visão geral das tabelas

O Google SecOps cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades da UDM.
  • events: armazena dados sobre eventos da UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e normalização de dados de fontes de ingestão específicas, como encaminhadores, feeds e a API Ingestion do Google SecOps.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos da UDM.
  • job_metadata: uma tabela interna usada para acompanhar a exportação de dados para o BigQuery.
  • rule_detections: armazena detecções retornadas por regras executadas no Google SecOps. Essa tabela inclui apenas detecções de regras ativas (por exemplo, ativadas e não excluídas) no momento em que o processo de exportação foi executado. As detecções de regras desativadas ou excluídas antes da execução do job de exportação não serão incluídas nessa tabela, mesmo que o tempo de detecção esteja dentro do intervalo da consulta.
  • rulesets: armazena informações sobre detecções selecionadas do Google SecOps, incluindo a categoria a que cada conjunto de regras pertence, se ele está ativado e o status atual de alertas.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela de eventos, mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados. Essa tabela é preenchida da melhor maneira possível. Os dados de cada hora podem não estar disponíveis imediatamente, e pode haver atrasos no preenchimento.

Atualização de dados e programação de exportação

Os dados nas tabelas do BigQuery são atualizados em intervalos diferentes. Entender isso pode ajudar a definir as expectativas de disponibilidade de dados:

  • Eventos da UDM (tabela events) : geralmente atualizados com frequência, com dados normalmente disponíveis em aproximadamente duas horas após a ingestão.
  • Exportações da melhor maneira possível:muitos outros conjuntos de dados são exportados da melhor maneira possível. Isso inclui, entre outros:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Para tabelas exportadas da melhor maneira possível, embora as atualizações sejam regulares, não há latência ou tempo estritamente comprometido. Podem ocorrer atrasos e, para agregações por hora, como udm_events_aggregates, os dados de cada hora podem não estar disponíveis imediatamente no final da hora. Geralmente, os dados são atualizados em um dia.

Acessar dados no BigQuery

É possível executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de business intelligence, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para ativar o acesso à instância do BigQuery, use a API Google SecOps BigQuery Access. Você pode fornecer um endereço de e-mail para um usuário ou um grupo que você possui. Se você configurar o acesso a um grupo, use-o para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de business intelligence ao BigQuery, entre em contato com seu representante do Google SecOps para receber as credenciais da conta de serviço que permitem conectar um aplicativo ao conjunto de dados do Google SecOps BigQuery. A conta de serviço terá o papel de Leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e o papel de Usuário de jobs do BigQuery (roles/bigquery.jobUser).

Retenção de dados

Para clientes do Google SecOps Enterprise Plus que usam o BigQuery gerenciado pelo Google, as seguintes configurações de retenção se aplicam:

  • Clientes legados do Google SecOps Enterprise Plus (no caminho de suspensão de uso):

    • Tabelas ioc_matches e rule_detections: nenhum limite de retenção é definido devido ao baixo volume.
    • entity_graph, udm_events_aggregates e outras tabelas particionadas, exceto a tabela events: 180 dias.
    • Tabela events (eventos da UDM): os dados são retidos de acordo com o contrato do Google SecOps ou o padrão de 366 dias, se não especificado no contrato.

  • Novos clientes: a duração da retenção é regida pelo contrato do Google SecOps (consistente com o recurso de exportação avançada do BigQuery).

A seguir

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.