Exportar para um projeto do BigQuery autogerenciado

Compatível com:

O Google Security Operations permite exportar dados do Modelo de dados unificado (UDM, na sigla em inglês) para um projeto autogerenciado de sua propriedade. Você pode vincular seu próprio Google Cloud projeto à instância do Google SecOps e gerenciar permissões do IAM de forma independente, sem depender das configurações gerenciadas pelo Google. Também é possível ativar e configurar o Bring Your Own BigQuery (BYOBQ) selecionando Configurações do SIEM > Exportação de dados.

O Google SecOps exporta as seguintes categorias de dados para o projeto do BigQuery:

  • udm_events: dados de registro normalizados no esquema do UDM.
  • udm_events_aggregates: dados agregados resumidos por cada hora de eventos normalizados.
  • entity_graph: há três dimensões (dados de contexto, dados derivados e contexto global) para o gráfico de entidades. Todos os dados contextuais e derivados, bem como parte dos dados de contexto global, são gravados e armazenados como UDM.
  • rule_detections: detecções retornadas por regras executadas no Google SecOps.
  • ioc_matches: correspondências de IOC encontradas em eventos do UDM.
  • ingestion_metrics: métricas relacionadas ao pipeline de ingestão e normalização (exportadas por padrão).
  • udm_enum_value_to_name_mapping: mapeia valores de enumeração para nomes de campos do UDM (exportados por padrão).
  • entity_enum_value_to_name_mapping: mapeia valores de enumeração para nomes de campos de entidades (exportados por padrão).

Período de armazenamento

Se você já é cliente, o período de armazenamento definido determina por quanto tempo os dados exportados para o BigQuery permanecem no projeto gerenciado pelo Google.

O período de armazenamento começa na data do registro exportado mais antigo. É possível configurar um período de armazenamento separado para cada fonte de dados, até um máximo que corresponda ao período de armazenamento de registros padrão no Google SecOps.

Se nenhum período de armazenamento for especificado, o comportamento padrão será continuar exportando dados sem limpeza ou remoção para limitar o período de armazenamento.

Nesse caso, você pode definir o período de armazenamento como Ilimitado:

  • Clique em Configurações do SIEM > Exportação de dados.
  • Na coluna Período de armazenamento da tabela Exportação de dados, selecione Ilimitado na lista do tipo de dados relevante.

Em seguida, configure uma regra de ciclo de vida de objetos no bucket de Google Cloud armazenamento para excluir objetos conforme necessário.

Migração de dados para clientes atuais

Se você já é cliente, os dados do projeto gerenciado pelo Google não serão migrados para o projeto autogerenciado. Como os dados não são migrados, eles ficam em dois projetos separados. Para consultar os dados em um período que inclua a data de ativação do projeto autogerenciado, conclua uma das seguintes ações:

  • Use uma única consulta que combine dados dos dois projetos.
  • Execute duas consultas separadas nos respectivos projetos, uma para dados anteriores à data de ativação do projeto autogerenciado e outra para dados posteriores. Quando o período de armazenamento do projeto gerenciado pelo Google expirar, os dados serão excluídos. Só será possível consultar os dados que estão no Google Cloud projeto após esse ponto.

Permissões necessárias para exportar dados

Para acessar os dados do BigQuery, execute as consultas no próprio BigQuery. Atribua os seguintes papéis do IAM a qualquer usuário que precise de acesso:

Iniciar a exportação de dados do BigQuery para o projeto autogerenciado

  1. Crie um Google Cloud projeto em que você quer que os dados sejam exportados. Para mais informações, consulte Configurar um Google Cloud projeto para o Google SecOps.

  2. Vincule o projeto autogerenciado à instância do Google SecOps para estabelecer uma conexão entre o Google SecOps e o projeto autogerenciado. Para mais informações, consulte Vincular o Google Security Operations a Google Cloud serviços. Também é possível ativar e configurar o recurso Bring Your Own BigQuery (BYOBQ) selecionando Configurações do SIEM > Exportação de dados.

  3. Para validar se os dados são exportados para o projeto autogerenciado, verifique as tabelas no conjunto de dados datalake no BigQuery.

É possível gravar consultas ad hoc em dados do Google SecOps armazenados em tabelas do BigQuery. Também é possível criar análises mais avançadas usando outras ferramentas de terceiros que se integram ao BigQuery.

Todos os recursos criados no seuprojeto autogerenciado Google Cloud para ativar exportações, incluindo o bucket do Cloud Storage e as tabelas do BigQuery, estão na mesma região do Google SecOps.

Se você receber um erro como Unrecognized name: <field_name> at [<some_number>:<some_number>] ao consultar o BigQuery, isso significa que o campo que você está tentando acessar não está no conjunto de dados e que o esquema é gerado dinamicamente durante o processo de exportação.

Para mais informações sobre os dados do Google SecOps no BigQuery, consulte Dados do Google SecOps no BigQuery.

Use os métodos de API descritos nos tópicos a seguir para acessar as configurações de exportação e gerenciar como os dados são enviados ao BigQuery:

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.