Exporte conclusões em massa para o BigQuery

O documento descreve como iniciar exportações em massa a pedido de conclusões do Security Command Center para o BigQuery.

O BigQuery é o armazém de dados de estatísticas rentável, com capacidade para petabytes de dados e totalmente gerido do Google Cloud que lhe permite executar estatísticas em enormes quantidades de dados quase em tempo real. Google CloudPara saber mais acerca do BigQuery, consulte a documentação do BigQuery.

Vista geral

Esta funcionalidade apresenta um resumo das conclusões até um determinado momento. Esta funcionalidade complementa a exportação contínua do BigQuery para fornecer estatísticas e relatórios abrangentes.

Com as exportações em massa, pode fazer o seguinte:

Estrutura do conjunto de dados

As descobertas são exportadas para o BigQuery como linhas na tabela findings , que é agrupada por source_id, finding_id e event_time.

Cada conjunto de dados contém uma tabela findings, que tem os seguintes campos:

Campo Descrição
source_id

Um identificador exclusivo que o Security Command Center atribui à origem de uma descoberta. Por exemplo, todas as conclusões da origem de Deteção de anomalias na nuvem têm o mesmo valor source_id.

Exemplo: 1234567890
finding_id Identificador exclusivo que representa a descoberta. É exclusivo numa fonte para uma organização. É alfanumérico e tem um máximo de 32 carateres.
event_time

A hora em que o evento ocorreu ou a hora em que ocorreu uma atualização da descoberta. Por exemplo, se a descoberta representar uma firewall aberta, event_time capta a hora em que o detetor considera que a firewall foi aberta. Se a descoberta for resolvida posteriormente, esta hora reflete o momento em que a descoberta foi resolvida.

Exemplo: 2019-09-26 12:48:00.985000 UTC
bulk_export_id

Para exportações em massa, este é um UUID.

Para exportações contínuas, este campo está vazio.
finding

Um registo de dados de avaliação, como segurança, risco, saúde ou privacidade, que é carregado no Security Command Center para apresentação, notificação, análise, testes de políticas e aplicação. Por exemplo, uma vulnerabilidade de cross-site scripting (XSS) numa aplicação do App Engine é uma descoberta.

Para mais informações sobre os campos aninhados, consulte a referência da API para o objeto Finding.

resource

Informações relacionadas com o Google Cloud recurso que está associado a esta descoberta.

Para mais informações sobre os campos aninhados, consulte a referência da API para o objeto Resource.

Custo

Incorre em custos do BigQuery relacionados com esta funcionalidade para armazenar dados no BigQuery. Para mais informações, consulte os preços de armazenamento do BigQuery.

Antes de começar

Tem de concluir estes passos antes de ativar esta funcionalidade.

Configure as autorizações

Para concluir este guia, tem de ter as seguintes funções de gestão de identidade e de acesso (IAM):

Crie um conjunto de dados do BigQuery

Crie um conjunto de dados do BigQuery seguindo os passos descritos em Criar conjuntos de dados.

Ative a API Security Command Center

Para exportar resultados, tem de ativar a API Security Command Center seguindo estes passos:

  1. Aceda à página da biblioteca de APIs na Google Cloud consola.

    Aceder à biblioteca de APIs

  2. Selecione o projeto para o qual quer ativar a API Security Command Center.

  3. No campo Pesquisar, introduza Security Command Center e, de seguida, clique em Security Command Center nos resultados da pesquisa.

  4. Na página da API apresentada, clique em Ativar.

A API Security Command Center está ativada para o seu projeto.

Conceda acesso ao perímetro nos VPC Service Controls

Se usar os VPC Service Controls, reveja o artigo Conceder acesso ao perímetro nos VPC Service Controls e siga esses passos, se necessário.

Este passo tem de ser repetido para cada utilizador que cria uma exportação em massa para um determinado perímetro de serviço.

Crie uma regra de entrada para a nova exportação em massa do BigQuery

Se usar os VPC Service Controls, reveja o artigo Crie uma regra de entrada para a nova exportação para o BigQuery e siga esses passos, se necessário.

Limitações das exportações em massa do BigQuery

Considere as seguintes restrições ao criar exportações em massa do BigQuery:

  • Só são permitidas três exportações em massa simultâneas em qualquer altura para uma única organização.
  • Se pedir várias exportações em massa não simultâneas para o mesmo conjunto de dados do BigQuery, as novas descobertas na exportação são anexadas à tabela do BigQuery findings. As conclusões não são substituídas.

Crie uma exportação em massa do BigQuery

Pode fazer uma exportação em massa das descobertas para uma organização, um projeto ou uma pasta.

Para iniciar uma exportação em massa de resultados para uma instância do BigQuery, use a CLI gcloud e siga estes passos:

  1. Aceda à Google Cloud consola.

    Aceda à Google Cloud consola

  2. Selecione o projeto para o qual ativou a API Security Command Center.

  3. Clique em Ativar Cloud Shell.

  4. Para criar uma nova configuração de exportação, execute o seguinte comando:

    gcloud scc findings export-to-bigquery PARENT \
    --dataset=DATASET_NAME \
    [--location=LOCATION; default="global"] \

    Substitua o seguinte:

    • PARENT: o nome relativo do âmbito de exportação: organização, projeto ou pasta. Formatos de exemplo: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
    • DATASET_NAME: o nome do conjunto de dados do BigQuery. Exemplo de formato: projects/PROJECT_ID/datasets/DATASET_ID

    • LOCATION: a localização do Security Command Center na qual criar uma configuração de exportação; se a residência de dados estiver ativada, use eu, sa ou us; caso contrário, use o valor global. Esta variável é opcional.

      Por exemplo, para criar uma exportação em massa de todas as conclusões, execute o seguinte comando:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET

      Em termos de residência de dados, o exemplo anterior chama o ponto final global.

      Para criar a mesma exportação em massa para o ponto final eu, execute o seguinte comando:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
  --location=locations/eu

Este comando devolve um objeto de operação de longa duração que contém uma namestring que é necessária quando acompanha o estado da exportação. Para acompanhar o estado desta exportação em massa do BigQuery, consulte o artigo Veja o estado de uma exportação em massa.

Para rever as suas conclusões, consulte o artigo Reveja as conclusões.

Consultas

Para ver uma variedade de consultas que pode usar para analisar os dados de resultados, consulte o artigo Consultas úteis.

Veja o estado de uma exportação em massa

Para ver o estado de uma exportação em massa, precisa da long running operation namestring que lhe foi devolvida quando criou a exportação em massa.

  1. Aceda à Google Cloud consola.

    Aceda à Google Cloud consola

  2. Selecione o projeto para o qual ativou a API Security Command Center.

  3. Clique em Ativar Cloud Shell.

  4. Para validar os detalhes da configuração de exportação em massa, execute o seguinte comando:

    gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
    --organization=ORGANIZATION_ID

    Substitua o seguinte:

    • LONG_RUNNING_OPERATION_NAME: a string name devolvida quando criou a exportação em massa.

    • ORGANIZATION_ID

      Por exemplo, para ver o estado de um pedido de exportação em massa, o comando name: "long-running-operation-name" devolve o ID da organização de uma organização com um ID da organização definido como 123. Execute o seguinte comando:

      gcloud scc operations describe long-running-operation-name \
  --organization=123
  • Se uma exportação tiver sido bem-sucedida, a resposta contém done: true.
  • Se uma exportação falhou, a resposta contém um código de erro.
  • Se uma exportação ainda estiver em curso, a resposta não contém done: true nem um código de erro.

Exportações em massa e exportações contínuas do BigQuery

Se quiser usar exportações em massa e contínuas do BigQuery em conjunto no mesmo conjunto de dados do BigQuery, existem duas abordagens possíveis:

  • Crie primeiro uma exportação contínua e, em seguida, preencha com uma exportação em massa.

    1. Configure uma exportação contínua para um conjunto de dados do BigQuery. Depois de criar a exportação com êxito, começa a receber as conclusões do Security Command Center em tempo real.

    2. Crie uma exportação em massa com o mesmo conjunto de dados do BigQuery de destino. É exportada para o conjunto de dados selecionado uma imagem instantânea de todas as descobertas do Security Command Center no momento da exportação.

    Uma exportação em massa demora tempo a ser executada. Assim, se a exportação contínua for criada em T1, a exportação em massa é acionada em T2 e a captura instantânea das descobertas para a exportação em massa é concluída em T3, podem ser vistos registos duplicados entre T1 e T3. No entanto, não existem lacunas de resultados.

  • Crie primeiro uma exportação em massa e, em seguida, crie uma exportação contínua.

    1. Crie uma exportação em massa. Uma imagem instantânea de todas as conclusões do Security Command Center no momento da execução da exportação é exportada para o conjunto de dados do BigQuery selecionado.

    2. Configure uma exportação contínua para o mesmo conjunto de dados do BigQuery. Assim que a exportação for criada com êxito, começa a receber descobertas do Security Command Center em tempo real.

    Se a exportação em massa for criada em T1, a captura instantânea das descobertas para a exportação em massa é concluída em T2 e a exportação contínua é acionada em T3, as descobertas entre T2 e T3 podem estar em falta no conjunto de dados do BigQuery.

O que se segue?