Exportar para um projeto do BigQuery gerenciado pelo Google

Compatível com:

O Google SecOps oferece um data lake gerenciado de telemetria normalizada e enriquecida com inteligência de ameaças exportando dados para o BigQuery. Isso permite que você faça o seguinte:

  • Executar consultas ad hoc diretamente no BigQuery.
  • Usar suas próprias ferramentas de Business Intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Combinar dados do Google SecOps com conjuntos de dados de terceiros.
  • Executar análises usando ferramentas de ciência de dados ou machine learning.
  • Gerar relatórios usando painéis padrão predefinidos e personalizados.

O Google SecOps exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos da UDM: registros da UDM criados com dados de registro ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem a feeds de indicadores de comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos do cliente.
  • Métricas de ingestão: incluem estatísticas, como o número de linhas de registro ingeridas, o número de eventos produzidos a partir de registros, o número de erros de registro que indicam que os registros não puderam ser analisados e o estado dos encaminhadores do Google SecOps. Para mais informações, consulte o esquema do BigQuery de métricas de ingestão.
  • Gráfico de entidades e relacionamentos de entidades: armazena a descrição de entidades e os relacionamentos delas com outras entidades.

Visão geral das tabelas

O Google SecOps cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades da UDM.
  • events: armazena dados sobre eventos da UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e normalização de dados de fontes de ingestão específicas, como encaminhadores, feeds e API Ingestion do Google SecOps.
  • ioc_matches: armazena correspondências de IoC encontradas em eventos da UDM.
  • job_metadata: uma tabela interna usada para acompanhar a exportação de dados para BigQuery.
  • rule_detections: armazena detecções retornadas por regras executadas no Google SecOps.
  • rulesets: armazena informações sobre detecções selecionadas do Google SecOps, incluindo a categoria a que cada conjunto de regras pertence, se ele está ativado e o status atual de alertas.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela de eventos, mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados.

Acessar dados no BigQuery

É possível executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de Business Intelligence, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para ativar o acesso à instância do BigQuery, use a API Google SecOps BigQuery Access. Você pode fornecer um endereço de e-mail para um usuário ou um grupo que você possui. Se você configurar o acesso a um grupo, use-o para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de Business Intelligence ao BigQuery, entre em contato com seu representante do Google SecOps para receber credenciais de conta de serviço que permitam conectar um aplicativo ao conjunto de dados do Google SecOps BigQuery. A conta de serviço terá o papel de Leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e o papel de Usuário de jobs do BigQuery (roles/bigquery.jobUser).

Retenção de dados

Para clientes do Google SecOps Enterprise Plus que usam o BigQuery gerenciado pelo Google, as seguintes configurações de retenção são aplicadas:

  • Clientes legados do Google SecOps Enterprise Plus (no caminho de descontinuação):

    • Tabelas ioc_matches e rule_detections: nenhum limite de retenção é definido devido ao baixo volume.
    • entity_graph, udm_events_aggregates e outras tabelas particionadas, exceto a tabela events: 180 dias.
    • Tabela events (eventos da UDM): os dados são retidos de acordo com o contrato do Google SecOps ou o padrão de 366 dias, se não especificado no contrato.

  • Novos clientes: a duração da retenção é regida pelo contrato do Google SecOps (consistente com o recurso de exportação avançada do BigQuery).

Para ter acesso de autoatendimento aos dados do Google SecOps em BigQuery, use os métodos de API descritos em Usar a API BigQuery Access.

A seguir

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.