Exportar para um projeto autogerenciado do BigQuery

Compatível com:

O Google Security Operations permite exportar dados do Modelo de Dados Unificado (UDM, na sigla em inglês) para um projeto autogerenciado que você possui e gerencia. É possível vincular seu próprio projeto do Google Cloud à sua instância do Google SecOps e gerenciar as permissões do IAM de forma independente, sem depender das configurações gerenciadas pelo Google. Você também pode ativar e configurar o recurso Traga seu próprio BigQuery (BYOBQ) selecionando Configurações > Gerenciamento de dados > Exportação de dados.

O Google SecOps exporta as seguintes categorias de dados para seu projeto do BigQuery:

  • udm_events: dados de registro normalizados no esquema do UDM.
  • udm_events_aggregates: dados agregados que são resumidos por cada hora de eventos normalizados.
  • entity_graph: há três dimensões (dados contextuais, dados derivados e contexto global) no gráfico de entidades. Todos os dados contextuais e derivados, assim como parte dos dados de contexto global, são dados gravados e armazenados como UDM.
  • rule_detections: detecções retornadas por regras executadas no Google SecOps.
  • ioc_matches: correspondências de IOC encontradas em eventos de UDM.
  • ingestion_metrics: métricas relacionadas ao pipeline de ingestão e normalização (exportadas por padrão).
  • udm_enum_value_to_name_mapping: mapeia valores de tipo enumerado para nomes de campo do UDM (exportados por padrão).
  • entity_enum_value_to_name_mapping: mapeia valores de tipo enumerado para nomes de campos de entidade (exportados por padrão).

Período de armazenamento

Se você já é cliente, o período de armazenamento definido determina por quanto tempo os dados exportados do BigQuery permanecem no projeto gerenciado pelo Google.

O período de armazenamento começa na data do registro exportado mais antigo. É possível configurar um período de armazenamento separado para cada fonte de dados, até um máximo que corresponda ao período de armazenamento de registros padrão no Google SecOps.

Se nenhum período de armazenamento for especificado, o comportamento padrão será continuar exportando dados sem nenhuma limpeza ou eliminação para limitar o período de armazenamento.

Nesse caso, é possível definir o período de armazenamento como Ilimitado:

  • Clique em Configurações > Gerenciamento de dados > Exportação de dados.
  • Na coluna Período de retenção da tabela Exportação de dados, selecione Ilimitado na lista para o tipo de dados relevante.

Em seguida, configure uma regra de ciclo de vida de objeto no bucket de armazenamento do Google Cloud para excluir objetos conforme necessário.

Migração de dados para clientes atuais

Se você já é cliente, seus dados do projeto gerenciado pelo Google não são migrados para o projeto autogerenciado. Como os dados não são migrados, eles ficam localizados em dois projetos separados. Para consultar os dados em um período que inclui a data de ativação do projeto autogerenciado, é necessário realizar uma das seguintes ações:

  • Use uma única consulta que mescle os dados dos dois projetos.
  • Execute duas consultas separadas nos respectivos projetos, uma para dados anteriores à data de ativação do projeto autogerenciado e outra para dados posteriores. Quando o período de armazenamento do projeto gerenciado pelo Google expira, os dados são excluídos. Depois disso, só será possível consultar dados que estejam no seu projeto do Google Cloud.

Permissões necessárias para exportar dados

Para acessar os dados do BigQuery, execute as consultas no próprio BigQuery. Atribua os seguintes papéis do IAM a qualquer usuário que precise de acesso:

Iniciar a exportação de dados do BigQuery para seu projeto autogerenciado

  1. Crie um projeto do Google Cloud para exportar os dados. Para mais informações, consulte Configurar um projeto do Google Cloud para o Google SecOps.

  2. Vincule seu projeto autogerenciado à instância do Google SecOps para estabelecer uma conexão entre o Google SecOps e seu projeto autogerenciado. Para mais informações, consulte Vincular o Google Security Operations aos serviços do Google Cloud . Também é possível ativar e configurar o recurso Traga seu próprio BigQuery (BYOBQ, na sigla em inglês) selecionando Configurações > Gerenciamento de dados > Exportação de dados.

  3. Para validar se os dados foram exportados para o projeto autogerenciado, verifique as tabelas no conjunto de dados datalake no BigQuery.

É possível escrever consultas ad hoc em dados do Google SecOps armazenados em tabelas do BigQuery. Também é possível criar análises mais avançadas usando outras ferramentas de terceiros que se integram ao BigQuery.

Todos os recursos criados no seu projeto autogerenciado do Google Cloud para permitir exportações, incluindo o bucket do Cloud Storage e as tabelas do BigQuery, estão na mesma região do Google SecOps.

Se você receber um erro como Unrecognized name: <field_name> at [<some_number>:<some_number>] ao consultar o BigQuery, isso significa que o campo que você está tentando acessar não está no conjunto de dados e que o esquema é gerado dinamicamente durante o processo de exportação.

Para mais informações sobre os dados do Google SecOps no BigQuery, consulte Dados do Google SecOps no BigQuery.

Use os métodos de API descritos nos tópicos a seguir para acessar as configurações de exportação e gerenciar como seus dados são enviados ao BigQuery:

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.