Exportar para um projeto do BigQuery gerenciado pelo Google

Compatível com:

O Google SecOps oferece um data lake gerenciado de telemetria normalizada e enriquecida com informações sobre ameaças exportando dados para o BigQuery. Isso permite que você faça o seguinte:

  • Executar consultas ad hoc diretamente no BigQuery.
  • Use suas próprias ferramentas de Business Intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Combine dados do Google SecOps com conjuntos de dados de terceiros.
  • Execute análises usando ferramentas de ciência de dados ou machine learning.
  • Gere relatórios usando painéis padrão predefinidos e personalizados.

O Google SecOps exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos da UDM:registros da UDM criados com base em dados de registro ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem a feeds de indicadores de comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos do cliente.
  • Métricas de ingestão:incluem estatísticas, como número de linhas de registro ingeridas, número de eventos produzidos com base em registros, número de erros de registro indicando que os registros não puderam ser analisados e o estado dos encaminhadores do Google SecOps. Para mais informações, consulte Esquema do BigQuery para métricas de ingestão.
  • Gráfico de entidades e relações entre entidades: armazena a descrição de entidades e as relações delas com outras entidades.

Visão geral das tabelas

O Google SecOps cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades do UDM.
  • events: armazena dados sobre eventos do UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e normalização de dados de fontes de ingestão específicas, como encaminhadores, feeds e API Ingestion do Google SecOps.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos do UDM.
  • job_metadata: uma tabela interna usada para rastrear a exportação de dados para o BigQuery.
  • rule_detections: armazena detecções retornadas por regras executadas no Google SecOps.
  • rulesets: armazena informações sobre as detecções selecionadas do Google SecOps, incluindo a categoria a que cada conjunto de regras pertence, se está ativado e o status atual de alerta.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela "events", mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados.

Acessar dados no BigQuery

Você pode executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de inteligência de negócios, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para ativar o acesso à instância do BigQuery, use a API Google SecOps BigQuery Access. Você pode fornecer um endereço de e-mail de um usuário ou grupo que seja seu. Se você configurar o acesso a um grupo, use-o para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de business intelligence ao BigQuery, entre em contato com seu representante do Google SecOps e peça as credenciais da conta de serviço que permitem conectar um aplicativo ao conjunto de dados do BigQuery do Google SecOps. A conta de serviço terá o papel de Leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e Leitor de jobs do BigQuery (roles/bigquery.jobUser).

Para ter acesso independente aos dados do Google SecOps no BigQuery, use os métodos de API descritos em Usar a API BigQuery Access.

A seguir

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.