Transmitir dados com a exportação avançada do BigQuery

Compatível com:

Google SecOps

Observação: esse recurso é coberto pelos Termos de produtos pré-GA dos Termos específicos de serviço do Google Security Operations. Os recursos pré-GA podem ter suporte limitado, e as mudanças realizadas podem não ser compatíveis com outras versões pré-GA. Para mais informações, consulte as diretrizes do serviço de suporte técnico do Google SecOps e os Termos específicos de serviço do Google SecOps.
Se esse recurso não estiver visível no seu ambiente, consulte Gerenciar recursos em fase de pré-lançamento ou entre em contato com o administrador do sistema.

Neste documento, descrevemos como acessar e usar seus dados do Google SecOps no BigQuery com o recurso Exportação avançada do BigQuery. Como cliente do Enterprise Plus, você pode usar o recurso para acessar seus dados de segurança quase em tempo real por um pipeline de dados de streaming totalmente gerenciado. Esse recurso ajuda a resolver o desafio crítico da latência de dados nas operações de segurança e leva a uma detecção e resposta mais rápidas e eficazes a ameaças.

Antes de começar

Confira os pontos a seguir que definem os requisitos de qualificação e as ações necessárias:

• Somente para clientes do Enterprise Plus: esse recurso está disponível apenas para clientes do Google SecOps Enterprise Plus. Para todos os outros clientes, consulte Exportar para um projeto autogerenciado do BigQuery.
• Ativação de recurso necessária: esse recurso é ativado mediante solicitação e pode exigir configuração inicial na instância do Google SecOps da sua organização. Entre em contato com seu representante do Google SecOps para confirmar a ativação do recurso, se necessário.
• Migração de dados: quando você ativa esse recurso, seus dados começam a ser exportados para um novo projeto de locatário do BigQuery na sua instância do Google SecOps, além das exportações atuais para o projeto do BigQuery gerenciado pelo Google, conforme descrito em Exportar para um projeto do BigQuery gerenciado pelo Google. Essa operação dupla permite a transição para o novo recurso sem interrupções. Você vai receber uma notificação antes que o pipeline de exportação antigo seja desativado na sua conta.
• VPC Service Controls: a Exportação Avançada do BigQuery pode funcionar em um perímetro do VPC Service Controls. Para mais informações, consulte Configurar o VPC Service Controls.
• Chaves de criptografia gerenciadas pelo cliente (CMEK): a exportação avançada do BigQuery está disponível para clientes que ativaram a CMEK na instância do Google SecOps. Para mais informações, consulte CMEK para o Google SecOps. Se você usa a CMEK com o VPC Service Controls, consulte Configurar o VPC Service Controls para o Google SecOps para recomendações e instruções.

Visão geral do recurso

A exportação avançada do BigQuery provisiona e gerencia automaticamente conjuntos de dados essenciais do Google SecOps, incluindo eventos do modelo de dados unificado (UDM), detecções de regras, gráficos de entidades e correspondências de indicadores de comprometimento (IoC), em um projeto seguro do BigQuery gerenciado pelo Google. Você tem acesso seguro e somente leitura a esses dados por um conjunto de dados vinculado do BigQuery, que aparece diretamente no seu projeto do Google Cloud . Com essa funcionalidade, é possível consultar seus dados de segurança como se eles estivessem armazenados localmente, mas sem o overhead de gerenciar o pipeline de dados ou o armazenamento.

O Google SecOps exporta as seguintes categorias de dados de segurança para o BigQuery:

• Registros de eventos da UDM: registros da UDM criados com base em dados de registros ingeridos pelos clientes. Esses registros são enriquecidos com informações de alias.
• Correspondências de regra (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
• Correspondências de IoC: artefatos (por exemplo, domínios ou endereços IP) de eventos que correspondem a feeds de IoC. Isso inclui correspondências de e para feeds globais e específicos do cliente.
• Métricas de ingestão: estatísticas, como o número de linhas de registro ingeridas, o número de eventos produzidos com base em registros e o número de erros de registro que indicam que não foi possível analisar os registros.
• Gráfico e relacionamentos de entidades: a descrição das entidades e das relações delas com outras entidades.

Principais benefícios

Os principais benefícios da Exportação Avançada do BigQuery incluem:

• Atualização de dados quase em tempo real: uma arquitetura de streaming disponibiliza seus dados de segurança para consulta em minutos após a ingestão. Os eventos de UDM, as detecções de regras e as correspondências de IoC estão disponíveis com uma latência esperada de 5 a 10 minutos.
• Modelo de custo simplificado e previsível: o Google SecOps cobre todos os custos de ingestão e armazenamento de dados no projeto gerenciado do BigQuery. Sua organização é responsável apenas pelos custos de análise do BigQuery incorridos ao executar consultas.
• Acesso aos dados sem manutenção: a infraestrutura subjacente é totalmente gerenciada pelo Google, o que permite que sua equipe se concentre na análise de dados, e não na engenharia de dados.
• Integridade de dados e eliminação de duplicação: os dados de segurança são atualizados ou re-enriquecidos com frequência após a ingestão inicial. O recurso usa mesclagens refinadas da linguagem de manipulação de dados (DML) para atualizar registros no local. Você recebe dados limpos e sem duplicações sem escrever rotinas complexas de eliminação de duplicação em SQL.
• Suporte integrado a MSSP (hub-and-spoke): os provedores de serviços de segurança gerenciados (MSSPs, na sigla em inglês) podem gerenciar análises de maneira eficiente em vários locatários de clientes ao se inscrever de forma programática nos conjuntos de dados vinculados dos clientes em um único projeto de hub centralizado.
• Conformidade integrada: o recurso oferece suporte nativo aos VPC Service Controls, às chaves de criptografia gerenciadas pelo cliente (CMEK) e à residência de dados (DRZ). Os registros de auditoria voltados ao cliente (transparência no acesso) são entregues diretamente ao seu espaço de trabalho do Cloud Logging usando o Federated Resource Identification Service (FRIS).

Casos de uso comuns

O BigQuery Export Avançado foi criado para analistas de segurança, caçadores de ameaças, cientistas de dados e engenheiros de segurança que precisam de acesso direto e de alto desempenho a dados de segurança recentes para investigações ad hoc, análises personalizadas e integração com ferramentas de Business Intelligence.

Os casos de uso comuns do BigQuery Export avançado incluem:

• Executar consultas ad hoc diretamente no BigQuery.
• Use suas próprias ferramentas de Business Intelligence, como o Microsoft Power BI, para criar painéis, relatórios e análises.
• Combine dados do Google SecOps com conjuntos de dados de terceiros.

Arquitetura

A arquitetura do BigQuery Export avançado usa um pipeline de streaming contínuo. Os dados da sua instância do Google SecOps são enviados para um projeto de locatário seguro gerenciado pelo Google usando a API BigQuery Storage Write de alta capacidade de processamento (gRPC).

O Google SecOps usa o compartilhamento do BigQuery para criar uma ficha de dados segura e conceder acesso a você. No painel Explorer do BigQuery, seu projeto Google Cloud é inscrito automaticamente nessa listagem, que aparece como o conjunto de dados vinculadosecops_linked_datalake.

Esse modelo oferece um forte isolamento de dados e, ao mesmo tempo, acesso contínuo a consultas somente leitura.

Terminologia importante

Confira alguns termos e conceitos importantes para a Exportação Avançada do BigQuery:

• Projeto de locatário: um projeto Google Cloud de propriedade e gerenciado pelo Google SecOps. É nesse projeto que os dados de segurança exportados são armazenados e gerenciados fisicamente. Você não tem acesso direto a este projeto.
• BYOP (Bring Your Own Project): o projeto Google Cloud que sua organização possui e vincula à sua instância do Google SecOps. É o projeto em que o conjunto de dados vinculado aparece e onde você executa as consultas e incorre em custos de análise.
• ID do projeto: o identificador globalmente exclusivo do seu projeto Google Cloud vinculado à instância do Google SecOps.
• Conjunto de dados vinculado: um conjunto de dados somente leitura do BigQuery que serve como um link simbólico ou ponteiro para um conjunto de dados compartilhado em outro projeto. Ele permite consultar dados sem copiá-los, oferecendo acesso seguro enquanto o provedor de dados gerencia o armazenamento físico.
• DML refinada (FGDML): o processo de back-end automatizado que o BigQuery Export Avançado usa para realizar upserts (atualizações e inserções). Se um evento chegar atrasado ou for enriquecido novamente, o sistema vai atualizar a linha existente no lugar, com base no identificador exclusivo (por exemplo, metadata.id), em vez de criar uma duplicada.
• Modelo de dados unificado (UDM): o esquema padrão e extensível do Google para analisar e normalizar dados de telemetria de segurança de centenas de produtos de fornecedores em um formato consistente.
• Provedores de serviços de segurança gerenciados (MSSP): Google Cloud os MSSPs certificados oferecem um conjunto abrangente de ferramentas e conhecimentos especializados para reforçar suas defesas contra ameaças de segurança cibernética em constante evolução.

Configurar o sistema

Para usar o BigQuery Export avançado, primeiro configure seu sistema. Dependendo do seu ambiente e dos requisitos, siga as instruções em uma das seções a seguir.

Configuração padrão

Siga estas etapas para configurar seu sistema para usar o BigQuery Export Avançado e começar a consultar seus dados:

1. Confirme sua licença: verifique se sua organização tem uma licença do Google SecOps Enterprise Plus.
2. Identifique seu projeto: faça login no console Google Cloud e selecione o projeto Google Cloud vinculado à sua instância do Google SecOps.
3. Localize o conjunto de dados vinculado: no console do BigQuery, use o painel Explorer para navegar até os recursos do seu projeto. Você verá um conjunto de dados vinculado chamado secops_linked_datalake. Esse conjunto de dados é um ponteiro somente leitura para os dados de segurança em tempo real gerenciados pelo Google SecOps.

4. Verifique as permissões do Identity and Access Management (IAM): para consultar os dados, seu usuário ou conta de serviço precisa ter os seguintes papéis do IAM concedidos no projeto:

   • roles/bigquery.dataViewer: obrigatório para que usuários finais ou ferramentas de BI na sua organização executem consultas SQL nas visualizações de conjuntos de dados vinculados.
   • roles/bigquery.jobUser: obrigatório para que usuários finais ou ferramentas de BI na sua organização executem consultas SQL nas visualizações de conjuntos de dados vinculados.
   • Chronicle API Admin: obrigatório no Google SecOps para executar as APIs do plano de dados (por exemplo, ProvisionPartnerSubscription) e gerenciar as assinaturas de MSSP.

   Esses papéis permitem que os usuários (como analistas de segurança e consumidores de dados) consultem dados no conjunto de dados vinculado e executem jobs do BigQuery no projeto.

5. Execute uma consulta de teste: abra o espaço de trabalho do BigQuery SQL e execute uma consulta básica para verificar se o acesso está configurado corretamente. Use o seguinte snippet de código:

   SELECT *
   FROM `PROJECT_ID.secops_linked_datalake.events`
   LIMIT 10;
   

   Substitua PROJECT_ID pelo ID do projeto Google Cloud .

Configurar a exportação avançada do BigQuery em um perímetro do VPC Service Controls

Para configurar o BigQuery Export avançado no perímetro do VPC Service Controls, é necessário configurar uma regra de entrada específica. Essa regra permite que as contas de serviço necessárias do Google SecOps interajam com o BigQuery e serviços relacionados nos projetos protegidos pelo perímetro. Para instruções detalhadas e mais informações, consulte Configurar o VPC Service Controls para o Google Security Operations.

• Para configurar a exportação avançada do BigQuery no perímetro do VPC Service Controls, configure a seguinte regra de entrada:

  - ingressFrom:
      identities:
      - serviceAccount:[e-mail]
      - serviceAccount:[e-mail]
      sources:
      - accessLevel: "*"
    ingressTo:
      operations:
      - serviceName: analyticshub.googleapis.com
        methodSelectors:
        - method: "*"
      - serviceName: bigquery.googleapis.com
        methodSelectors:
        - method: "*"
      resources:
      - projects/PROJECT_NUMBER
  

  Substitua PROJECT_NUMBER pelo número do projeto do Google Cloud vinculado ao Google SecOps.

Para MSSPs: configure o acesso centralizado aos dados do BigQuery dos seus sublocatários

Se você tiver provisionamento como MSSP, poderá usar as APIs do plano de dados do Google SecOps para criar de forma programática conjuntos de dados vinculados do BigQuery no seu projeto central de "hub". Esses conjuntos de dados vinculados apontam para os dados do BigQuery dos seus clientes (spokes), permitindo que você consulte vários locatários em um painel único. Esse processo exige que o cliente conceda acesso à sua instância do MSSP.

Os principais benefícios incluem:

• Visibilidade centralizada:analise os dados de segurança de todos os seus clientes em um só lugar.
• Fluxos de trabalho eficientes:simplifique a busca e a geração de relatórios de ameaças em toda a sua base de clientes.
• Gerenciamento programático:automatize a configuração e a remoção do acesso aos dados.

Pré-requisitos

• MSSP

  • Um projeto do Google Cloud para servir como seu "hub" central.
  • Uma instância do Google SecOps.
  • Permissões do IAM adequadas para gerenciar conjuntos de dados do BigQuery no projeto de hub.

• Cliente (subinquilino)

  • Uma licença do Google SecOps Enterprise Plus.
  • Um projeto Google Cloud (BYOP) vinculado à sua instância do Google SecOps.
  • Permissões do IAM adequadas para gerenciar o acesso à API do Google SecOps.
  • A CLI gcloud instalada e autenticada.

Etapa 1: o cliente concede acesso ao MSSP

O cliente pode chamar a API ProvisionPartnerSubscription para conceder permissões à instância do Google SecOps do MSSP. O Google SecOps provisiona automaticamente um conjunto de dados vinculado do BigQuery, nomeado no formato de secops_linked_datalake_<customer_id> no projeto do MSSP Google Cloud vinculado à instância do Google SecOps do MSSP. Esse conjunto de dados está vinculado aos dados do Google SecOps do cliente.

Endpoint de API:

POST
https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription

Método

POST

Corpo da solicitação

Objeto JSON vazio.

{}

Exemplo de comando CURL (a ser executado pelo cliente):

curl -X POST \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{}' \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription"

Substitua os seguintes marcadores de posição:

• CUSTOMER_PROJECT: o ID ou o número do projeto Google Cloud do cliente. Consulte Como criar e gerenciar projetos.
• REGION: a região Google Cloud em que a instância do Google SecOps do cliente está localizada (por exemplo, us, europe-west2). Confira a lista de regiões.
• CUSTOMER_INSTANCE_ID: o ID da instância do Google SecOps do cliente.

Corpo da resposta

Retorna ProvisionPartnerSubscriptionResponse com os detalhes da assinatura.

{
  "subscriptionDetails": {
    "subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
    "linkedDataset": "string"
  }
}

• SUBSCRIBER_PROJECT_ID: o ID do projeto Google Cloud do MSSP assinante.
• SUBSCRIBER_REGION: a região em que o Google Cloud Project do assinante está localizado.
• SUBSCRIPTION_ID: um identificador exclusivo da assinatura atual.

Etapa 2: o MSSP consulta dados em todos os locatários

Depois que os conjuntos de dados vinculados de vários clientes são provisionados no seu projeto (MSSP) Google Cloud , é possível usar consultas SQL padrão do BigQuery para analisar os dados. Para consultar vários clientes, use o operador UNION ALL.

Exemplo de consulta (a ser executada pelo MSSP no projeto de hub):

SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_1.events`
WHERE <your_conditions>

UNION ALL

SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_2.events`
WHERE <your_conditions>

-- Add more UNION ALL clauses for other customers

Etapa 3: o cliente audita o acesso

O cliente pode chamar a API fetchSubscriptions para ver todas as assinaturas ativas e instâncias do MSSP que acessam os dados dele.

endpoint de API

GET https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions

Método

GET

Exemplo de comando CURL (a ser executado pelo cliente):

curl -X GET \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions"

Substitua os seguintes marcadores de posição:

• CUSTOMER_PROJECT: o ID do projeto ou o número do projeto Google Cloud do cliente. Consulte Como criar e gerenciar projetos.
• REGION: a região do Google Cloud em que a instância do Google SecOps do cliente reside (por exemplo, us, europe-west2). Confira a lista de regiões.
• CUSTOMER_INSTANCE_ID: o ID da instância do Google SecOps do cliente.

Corpo da resposta

Retorna FetchSubscriptionsResponse com uma lista de assinaturas ativas.

{
  "subscriptions": [
    {
      "subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
      "linkedDataset": "string"
    }
  ]
}

• SUBSCRIBER_PROJECT_ID: o ID do projeto do Google Cloud assinante. O assinante pode ser o cliente ou um MSSP.
• SUBSCRIBER_REGION: a região em que o Google Cloud Project do assinante está localizado.
• SUBSCRIPTION_ID: um identificador exclusivo da assinatura atual.

Etapa 4: o cliente revoga o acesso (se necessário)

Se um cliente precisar revogar o acesso de um MSSP, ele poderá usar a API "revokePartnerSubscription". Essa ação revoga imediatamente a permissão para consultar o conjunto de dados vinculado usando o projeto do hub do MSSP. O ID da assinatura revogada fica inativo.

Observação: as assinaturas atuais não são revogadas automaticamente se a instância de um cliente for desvinculada de uma instância de MSSP. A revogação precisa ser executada manualmente.

endpoint de API

POST https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription

Método

POST

Corpo da solicitação

Requer o URI da assinatura a ser revogada, que foi obtido na chamada de API fetchSubscriptions.

{
  "subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}

Exemplo de comando CURL (a ser executado pelo cliente):

# Set subscription details obtained from Fetch Subscriptions
export SUBSCRIBER_PROJECT_ID="partner-byop-project-id"
export SUBSCRIBER_REGION="subscription-location"
export SUBSCRIPTION_ID="subscription-id"

curl -X POST \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{
    "subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
  }' \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription"

Substitua os seguintes marcadores de posição:

• SUBSCRIBER_PROJECT_ID: o ID do projeto do Google Cloud assinante.
• SUBSCRIBER_REGION: a região em que o projeto do assinante do Google Cloud está localizado.
• SUBSCRIPTION_ID: um identificador exclusivo da assinatura.
• CUSTOMER_PROJECT: o ID ou o número do projeto Google Cloud do cliente.
• REGION: a região do Google Cloud em que a instância do Google SecOps do cliente está localizada.
• CUSTOMER_INSTANCE_ID: o ID da instância do Google SecOps do cliente.

Corpo da resposta

Objeto JSON vazio.

{}

Observação: as assinaturas de MSSP hub-and-spoke só são aceitas na mesma região. A federação entre regiões (por exemplo, dos EUA para a Europa) não é compatível.

Consultar dados do BigQuery

É possível executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de Business Intelligence, como o Microsoft Power BI, ao BigQuery.

Para mais informações sobre consultas, consulte:

• Para saber como acessar e executar consultas no BigQuery, abra Executar uma consulta e aprenda a executar uma consulta interativa e executar uma consulta em lote.
• Para saber como consultar tabelas particionadas, consulte Consultar tabelas particionadas.

Período de armazenamento de dados no projeto de locatário do BigQuery

O período de armazenamento dos seus dados no BigQuery é idêntico ao período de retenção de dados configurado para seu locatário do Google SecOps. Não há uma configuração separada e configurável para personalizar sua política de retenção de dados no BigQuery. Os dados são automaticamente removidos das tabelas do BigQuery à medida que envelhecem além do período de retenção do seu locatário.

Conjuntos de dados vinculados

Os conjuntos de dados vinculados contêm tabelas correspondentes a diferentes tipos de dados de segurança.

Observação: um conjunto de dados vinculado é estritamente somente leitura. Essa é uma medida de segurança essencial para garantir a integridade e a precisão dos dados, que são gerenciados exclusivamente pelo pipeline da plataforma Google SecOps.

A tabela a seguir resume os conjuntos de dados disponíveis, a atualização de dados desejada e os identificadores exclusivos usados para garantir a integridade dos dados:

Observação: alguns registros, como eventos que chegam atrasados ou que foram enriquecidos novamente, são atualizados usando mesclagens detalhadas da linguagem de manipulação de dados (DML). Consequentemente, pode haver um atraso de até 12 horas para que esses registros apareçam no conjunto de dados do BigQuery.

Nome do conjunto de dados	Descrição	Melhor atualização esperada	Identificadores exclusivos para eliminação de duplicação
events	Ocorrências de segurança normalizadas no esquema do UDM. Para informações sobre o esquema, consulte Esquema de eventos do Google SecOps.	Menos de 5 minutos	id (representação de string)
rule_detections	Detecções geradas pelas regras do mecanismo de detecção do Google SecOps.	< 5 minutos	detection.id
ioc_matches	Correspondências de indicador de comprometimento (IOC) encontradas em eventos de UDM.	< 5 minutos	Chave composta de day_bucket_seconds, feed_log_type, ioc_type, ioc_value
entity_graph	Dados contextuais sobre entidades (usuários, recursos) e as relações entre elas.	Cerca de 4 horas (em lote)	Chave composta de partition_day, metadata.product_entity_id, metadata.event_metadata.id
ingestion_metrics	Estatísticas sobre o volume de ingestão de registros e as fontes de dados.	~5 minutos	Nenhum (série temporal somente para anexar)
entity_enum_value_to_name_mapping	Mapeia valores numéricos para valores de string em tipos enumerados de gráficos de entidades.	N/A	Nenhum
udm_enum_value_to_name_mapping	Mapeia valores numéricos para valores de string para tipos enumerados de eventos de UDM.	N/A	Nenhum

Importante: até que a Exportação Avançada do BigQuery esteja em disponibilidade geral, os dados de ingestion_metrics vão continuar sendo exportados apenas para seu projeto do BigQuery gerenciado pelo Google.

Amostras de consultas

Os exemplos a seguir demonstram como consultar os conjuntos de dados para casos de uso de segurança comuns.

Exemplo: encontrar todas as conexões de rede de um endereço IP específico nas últimas 24 horas

Essa consulta pesquisa na tabela de eventos atividade da rede recentes de um endereço IP suspeito.

SELECT
  metadata.product_event_type,
  principal.ip,
  target.ip,
  network.application_protocol
FROM
  `PROJECT_ID.secops_linked_datalake.events`
WHERE
  principal.ip = '192.0.2.1'
  AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);

• Substitua PROJECT_ID pelo ID do projeto do Google Cloud .

Exemplo: contar as 10 detecções de regras mais frequentes

Essa consulta na tabela rule_detections ajuda a identificar as ameaças ou violações da política mais comuns detectadas no seu ambiente.

SELECT
  rule_name,
  COUNT(*) AS detection_count
FROM
  `PROJECT_ID.secops_linked_datalake.rule_detections`
WHERE
  detection.id IS NOT NULL
GROUP BY
  1
ORDER BY
  2 DESC
LIMIT
  10;

• Substitua PROJECT_ID pelo ID do projeto Google Cloud .

Práticas recomendadas

Confira algumas práticas recomendadas para consultar com o BigQuery Export avançado:

• Otimize os custos de consulta:embora o armazenamento seja sem custo financeiro, os custos de computação são cobrados do seu projeto. Portanto, faça o seguinte:

  • Evite SELECT *. Na consulta, especifique apenas as colunas necessárias para reduzir a quantidade de dados verificados e os custos da consulta.
  • Verifique se as consultas aproveitam o particionamento do BigQuery (usando a coluna de tempo de partição hour_time_bucket) e o clustering (hour_time_bucket, log_type, event_type, id) para verificar menos dados e reduzir significativamente os custos de consulta.

• Use filtros de partição:a tabela de eventos é particionada pela coluna "hour_time_bucket". Sempre inclua um filtro de cláusula WHERE nessa coluna para limitar as consultas ao menor período possível, o que melhora significativamente o desempenho e reduz os custos.

• Escreva consultas eficientes:o esquema UDM é amplo e esparso. Para filtrar tipos de eventos específicos de maneira eficiente, use WHERE... IS NOT NULL nos campos relevantes. Por exemplo, para encontrar apenas consultas DNS, filtre WHERE network.dns.questions.name IS NOT NULL.

• Validar consultas:use o validador de consultas na interface do BigQuery antes de executar uma consulta. O validador de consultas fornece uma estimativa do tratamento de dados, ajudando a evitar consultas inesperadamente grandes e caras.

• Usar tabelas de mapeamento de enumeração:a exportação avançada do BigQuery inclui as tabelas entity_enum_value_to_name_mapping e udm_enum_value_to_name_mapping. Use-as para fazer junções com seus eventos e traduzir valores numéricos de enumeração em strings legíveis sem escrever lógica de tradução manual nas consultas.

• Integração de geração de registros de auditoria:a exportação avançada do BigQuery se integra ao Serviço de identificação de recursos federados (FRIS, na sigla em inglês). Os registros de auditoria voltados para o cliente, que usam o recurso de Transparência no acesso do Google, são entregues de forma nativa no seu espaço de trabalho do BYOP Cloud Logging se a equipe do Google acessar o projeto de locatário gerenciado.

Limitações conhecidas

Confira a seguir as limitações conhecidas do recurso de exportação avançada do BigQuery:

• Latência do entity_graph:o conjunto de dados entity_graph é exportado usando um processo em lote e tem uma atualização de dados de aproximadamente quatro horas.
• Limites de colunas do esquema da UDM:o BigQuery tem um limite flexível de 10.000 colunas por tabela. O esquema do UDM contém mais de 27.000 campos e é pouco preenchido. O pipeline de exportação inclui de forma inteligente apenas as colunas preenchidas para um determinado evento, mantendo a maioria dos clientes bem abaixo do limite. O Google SecOps monitora o uso de colunas e solicita proativamente um aumento de limite para o projeto de locatário se ele se aproximar desse limite.
• O período de retenção não é configurável:o período de retenção de dados para todos os dados de segurança exportados para o BigQuery é sincronizado automaticamente com o período de armazenamento de dados do seu projeto do Google SecOps e não pode ser configurado separadamente.
• Dados de SOAR não são compatíveis:os dados do SOAR (search_everything_db) do Google Security Operations não são compatíveis com a exportação avançada do BigQuery.
• A federação entre regiões não é compatível:as assinaturas de MSSP hub-and-spoke são compatíveis na mesma região. A federação entre regiões (por exemplo, dos EUA para a Europa) não é compatível.
• É possível ter eventos duplicados (menos de 1% de probabilidade): embora o sistema use mesclagens de DML para processar a remoção de duplicação automaticamente, devido à natureza do streaming distribuído, há uma possibilidade remota (< 1%) de eventos duplicados aparecerem durante janelas de ingestão de casos extremos antes da conclusão da mesclagem em segundo plano.
• Os dados históricos podem ser acessados, mas exigem métodos específicos:a exportação de dados começa no momento em que a Exportação Avançada do BigQuery é ativada, e os dados mais antigos permanecem acessíveis no projeto atual. Para consultar dados exportados antes da ativação do BigQuery Export Avançado, use uma única consulta que una os dados dos dois projetos ou execute duas consultas separadas nos respectivos projetos (uma para o conjunto de dados mais antigo e outra para o novo).

Solução de problemas e suporte

A tabela a seguir apresenta soluções para problemas comuns que você pode encontrar:

Sintoma observado	Possível causa	Ação recomendada
As consultas falham com Access Denied: User does not have permission.	O usuário ou a conta de serviço não tem os papéis necessários do IAM do BigQuery no projeto Google Cloud vinculado à sua instância do Google SecOps.	Conceda ao principal os papéis de Leitor de dados do BigQuery e Usuário de jobs do BigQuery. Verificar usando gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:[e-mail]"
O conjunto de dados secops_linked_datalake não está visível no meu projeto do BigQuery.	1. Você não está no Google Cloud projeto correto. 2. Sua organização não está no nível Enterprise Plus. 3. Sua organização está no nível Enterprise Plus, mas o BigQuery Export avançado não está ativado na instância do Google SecOps.	1. No console do Google Cloud , verifique se você selecionou o projeto vinculado à sua instância do Google SecOps. 2. Entre em contato com seu representante do Google para confirmar o nível da sua licença do Google SecOps. 3. Entre em contato com seu representante do Google SecOps e peça para ativar a exportação avançada do BigQuery na sua instância do Google SecOps.
A chamada de API falha com um erro de permissão para ProvisionPartnerSubscription ou FetchSubscriptions	A identidade de chamada não tem as permissões necessárias.	Verifique se a conta de serviço ou o usuário que faz a chamada tem o papel de IAM de administrador da API Chronicle, que inclui permissões no recurso da instância do hub.
Colunas personalizadas ausentes ou incompatibilidade de esquema	Um tipo de registro totalmente novo ou um campo de UDM profundamente aninhado foi ingerido.	O BigQuery Export avançado usa atualizações de esquema dinâmicas. Quando novos campos de UDM são preenchidos, o sistema detecta automaticamente a incompatibilidade de esquema, pausa brevemente, atualiza o esquema do BigQuery e tenta novamente a inserção. Nenhuma ação é necessária.

Perguntas frequentes

As seções a seguir são algumas perguntas frequentes.

Preciso modificar minhas consultas SQL legadas do BigQuery para usar o Advanced Google SecOps Export?

Não. Para manter 100% de compatibilidade com versões anteriores, o Google SecOps expõe visualizações (por exemplo, events, ioc_matches) no conjunto de dados vinculado que correspondem perfeitamente ao esquema das tabelas do recurso de exportação legado do Google SecOps.

Posso ajustar o período de armazenamento de dados da minha exportação avançada do BigQuery?

Não. O período de armazenamento de dados na Exportação Avançada do BigQuery reflete diretamente sua política de retenção de dados do Google SecOps. Quando os dados expiram no Google SecOps, eles expiram automaticamente e são excluídos do projeto de locatário do BigQuery.

As atualizações de DML de back-end e a eliminação de duplicação serão cobradas?

Não. Todos os custos de armazenamento de back-end, operações de inserção por streaming e computação de DML detalhada são absorvidos pelo Google SecOps. Você só paga pelas consultas que executar explicitamente no BYOP.

Esse recurso está disponível para os níveis Standard ou Enterprise do Google SecOps?

Não. O BigQuery Export avançado (armazenamento gerenciado e streaming) é um recurso premium exclusivo do nível Enterprise Plus do Google SecOps. Os clientes Standard e Enterprise podem usar o modelo Bring Your Own BigQuery (BYOBQ), em que fornecem o projeto do BigQuery e cobrem os custos de armazenamento e computação.

Por que posso encontrar diferenças temporárias nas contagens entre os dados da exportação avançada do BigQuery e as estatísticas mostradas na interface do Google Security Operations?

Discrepâncias temporárias podem ocorrer devido à natureza de streaming quase em tempo real do pipeline da Exportação Avançada do BigQuery. Confira os principais motivos:

• Dados que chegam com atraso:o pipeline de exportação foi projetado para alta capacidade de processamento. A maioria dos dados aparece no BigQuery em 5 a 10 minutos. No entanto, às vezes os eventos podem chegar atrasados ao pipeline de processamento devido a atrasos na rede ou problemas no sistema de origem. Embora o sistema tente mesclar esses eventos atrasados, pode haver um breve período em que as estatísticas da UI ao vivo, que refletem o estado mais recente, sejam diferentes dos dados do BigQuery, que estão passando por atualizações contínuas.

• Enriquecimento de dados:o Google SecOps enriquece continuamente os dados de eventos com as informações contextuais e de inteligência contra ameaças mais recentes. A exportação avançada do BigQuery exporta eventos com base no estado deles no momento do enriquecimento inicial. Se um evento for enriquecido novamente com novas informações depois de ser transmitido para o BigQuery, essa versão atualizada poderá não ser refletida imediatamente no BigQuery. Isso pode levar a diferenças ao comparar com elementos da UI que sempre mostram os dados totalmente enriquecidos.

• Latência de mesclagem de DML:para manter os dados no BigQuery atualizados e lidar com problemas como dados que chegam atrasados ou possíveis duplicatas, o pipeline usa operações MERGE da linguagem de manipulação de dados (DML) em segundo plano. Essas operações, embora eficientes, não são instantâneas. Há uma latência inerente ao processamento dessas mesclagens, especialmente para atualizações detalhadas. Durante esse intervalo de mesclagem, as consultas no BigQuery podem não capturar as microatualizações mais recentes que já estão visíveis na interface do Google Security Operations.

Devido aos fatores mencionados (dados atrasados, processamento de reenriquecimento e latências de mesclagem), nem sempre é possível ter uma correspondência perfeita de 1:1 entre o BigQuery e as estatísticas da UI em tempo real em um segundo preciso. O BigQuery Export avançado fornece dados quase em tempo real, otimizados para casos de uso como busca de ameaças, análises personalizadas e painéis em que a atualização de dados em minutos é crucial. Para fins de auditoria que exigem consistência absoluta em um momento específico, considere a possibilidade de pequenas diferenças temporárias.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.