Fazer streaming das descobertas no BigQuery para análise

A exportação do Security Command Center para o BigQuery permite fazer streaming de descobertas novas e atualizadas para um conjunto de dados do BigQuery quase em tempo real. No BigQuery, é possível consultar estados de descoberta ao longo do tempo, analisar tendências de postura de segurança e criar relatórios personalizados. A exportação transmite novas descobertas à medida que elas ocorrem e as descobertas atuais somente quando são atualizadas.

Visão geral

Quando você ativa esse recurso, novas descobertas gravadas no Security Command Center são exportadas para uma tabela do BigQuery quase em tempo real. Em seguida, é possível integrar os dados em fluxos de trabalho existentes e criar análises personalizadas. Você pode ativar esse recurso no nível da organização, da pasta e do projeto para exportar as descobertas com base nos seus requisitos.

Esse recurso é a forma recomendada de exportar as descobertas do Security Command Center para o BigQuery, porque ele é totalmente gerenciado e não requer a execução de operações manuais ou a escrita de um código personalizado.

Estrutura do conjunto de dados

Esse recurso adiciona cada nova descoberta e as atualizações seguintes como novas linhas na tabela findings, que é agrupada por source_id, finding_id e event_time. Isso cria vários registros de descoberta com os mesmos valores source_id e finding_id, mas com valores event_time diferentes. Essa estrutura de conjunto de dados permite ver como o estado de cada descoberta muda ao longo do tempo.

Pode haver entradas duplicadas no conjunto de dados. Para analisá-las, use a cláusula DISTINCT, conforme mostrado no primeiro exemplo de consulta.

Cada conjunto de dados contém uma tabela findings com os seguintes campos:

Campo Descrição
source_id

Um identificador exclusivo que o Security Command Center atribui à origem de uma descoberta. Por exemplo, todas as descobertas da fonte de detecção de anomalias do Cloud têm o mesmo valor de source_id.

Exemplo: 1234567890

finding_id Identificador exclusivo que representa a descoberta. É único dentro de uma fonte para uma organização. É alfanumérico e tem no máximo 32 caracteres.
event_time

A hora em que o evento ocorreu ou a hora em que uma atualização da descoberta ocorreu. Por exemplo, se a descoberta representar um firewall aberto, o event_time vai capturar o horário em que o detector acredita que o firewall foi aberto. Se a descoberta for resolvida depois, esse horário vai refletir quando isso aconteceu.

Exemplo: 2019-09-26 12:48:00.985000 UTC

Para mais informações sobre as mudanças que atualizam o horário do evento, consulte Visão geral do ciclo de vida da descoberta.

bulk_export_id

Para exportações em massa, é um UUID.

Para exportações contínuas, esse campo fica vazio.

finding

Um registro de dados de avaliação, como segurança, risco, integridade ou privacidade, que é ingerido no Security Command Center para apresentação, notificação, análise, teste de políticas e aplicação. Por exemplo, uma vulnerabilidade de scripting em vários locais (XSS) em um aplicativo do App Engine é uma descoberta.

Saiba mais sobre campos aninhados na referência da API do objeto Finding.

resource

Informações relacionadas ao recurso do Google Cloud associado a essa descoberta.

Saiba mais sobre campos aninhados na referência da API do objeto Resource.

Custo

Você receberá cobranças do BigQuery relacionadas a esse recurso. Para mais informações, consulte Preços do BigQuery.

Antes de começar

Conclua as etapas abaixo antes de ativar esse recurso.

Configurar permissões

Para concluir este guia, você precisa ter os seguintes papéis de gerenciamento de identidade e acesso (IAM):

Criar um conjunto de dados do BigQuery

Crie um conjunto de dados do BigQuery. Para mais informações, consulte Como criar conjuntos de dados.

Planejar a residência de dados

Se a residência de dados estiver ativada para o Security Command Center, as configurações que definem as exportações contínuas para o BigQuery (recursos BigQueryExport) estarão sujeitas ao controle de residência de dados e serão armazenadas em um local do Security Command Center selecionado por você.

Para exportar descobertas em um local do Security Command Center para o BigQuery, é necessário configurar o BigQuery Export no mesmo local do Security Command Center que as descobertas.

Como os filtros usados nas exportações do BigQuery podem conter dados sujeitos a controles de residência, especifique o local correto antes de criá-los. O Security Command Center não restringe o local em que você cria as exportações.

As exportações do BigQuery são armazenadas apenas no local em que são criadas e não podem ser visualizadas ou editadas em outros locais.

Depois de criar um BigQuery Export, não é possível mudar o local dele. Para mudar a localização, exclua o BigQuery Export e recrie-o na nova localização.

Para saber como usar o Security Command Center quando a residência de dados está ativada, consulte Endpoints regionais do Security Command Center.

Como o Security Command Center exporta descobertas para o BigQuery

As seções a seguir descrevem como o Security Command Center exporta descobertas novas, atualizadas e excluídas para o BigQuery.

Como exportar descobertas novas e atualizadas

Quando um atributo de descoberta é atualizado, o Security Command Center faz um snapshot e tenta enviá-lo ao BigQuery.

Essa tentativa resulta em um dos seguintes resultados:

  • Se os atributos da descoberta no snapshot corresponderem ao filtro de exportação definido no BigQuery Export, o snapshot será enviado ao BigQuery, onde se tornará o registro atual da descoberta no BigQuery.

  • Se os atributos da descoberta não corresponderem ao filtro, o snapshot não será enviado ao BigQuery. Se houver um snapshot anterior da descoberta no BigQuery, ele vai continuar sendo o registro mais recente disponível no conjunto de dados, mesmo que não reflita as atualizações recentes no Security Command Center.

Por exemplo, se o filtro de uma exportação do BigQuery contiver o estado ativo, uma nova descoberta será gerada com o estado ativo, e um snapshot da descoberta será exportado para o BigQuery.

Depois, o estado dessa descoberta no Security Command Center é atualizado para inativo. A atualização aciona uma exportação de um novo snapshot da descoberta para o BigQuery, mas, como o valor do estado não corresponde mais ao filtro, o filtro bloqueia a exportação do snapshot da descoberta.

Consequentemente, o snapshot da descoberta no BigQuery ainda tem o estado ativo, mas a mesma descoberta no Security Command Center tem o estado inativo.

Isso também resulta em uma incompatibilidade entre o número de descobertas ativas no Security Command Center e no BigQuery. O número de descobertas ativas é quase sempre maior no BigQuery do que no Security Command Center.

Por exemplo, se um filtro de exportação especificar o estado ativo e 100 descobertas forem geradas com o estado ativo, todas as 100 serão exportadas para o BigQuery. Depois, no Security Command Center, 50 dessas descobertas são atualizadas para inativas, e o filtro bloqueia a exportação acionada pelas atualizações porque o valor do estado não corresponde mais ao filtro. Consequentemente, no BigQuery, todas as 100 descobertas ainda estão ativas, enquanto no Security Command Center apenas 50 descobertas permanecem ativas.

Como exportar descobertas excluídas

O Security Command Center exclui as descobertas periodicamente com base nas políticas de retenção de dados. É possível configurar se o Security Command Center exporta um snapshot das descobertas excluídas para o BigQuery.

É possível ativar as notificações de exclusão ao criar ou atualizar uma configuração de exportação. Quando as notificações de exclusão estão ativadas, o Security Command Center envia um snapshot de descoberta para o BigQuery com o campo deleted_finding definido como true e o event_time definido como o momento em que a descoberta foi excluída. Isso permite executar consultas que rastreiam as descobertas excluídas. Quando você modifica a opção de notificação de exclusão em uma configuração de exportação, a mudança se aplica apenas a exclusões futuras de descobertas. As descobertas excluídas antes da ativação da opção não são exportadas retroativamente.

Exportar descobertas do Security Command Center para o BigQuery

Para exportar descobertas, primeiro ative a API Security Command Center.

Como ativar a API Security Command Center

Para ativar a API Security Command Center, faça o seguinte:

  1. Acesse a página "Biblioteca de APIs" no console do Google Cloud .

    Acessar a biblioteca de APIs

  2. Selecione o projeto em que você quer ativar a API Security Command Center.

  3. Na caixa Pesquisa, digite Security Command Center e clique no Security Command Center nos resultados da pesquisa.

  4. Na página da API exibida, clique em Ativar.

A API Security Command Center está ativada no seu projeto. Em seguida, use a CLI gcloud para criar uma nova configuração de exportação para o BigQuery.

Como conceder acesso de perímetro no VPC Service Controls

Se você usar o VPC Service Controls e o conjunto de dados do BigQuery fizer parte de um projeto dentro de um perímetro de serviço, será necessário conceder acesso a projetos para exportar descobertas.

Para conceder acesso a projetos, crie regras de entrada e saída para os principais e projetos de onde você está exportando as descobertas. As regras permitem o acesso a recursos protegidos e permitem que o BigQuery verifique se os usuários têm a permissão setIamPolicy no conjunto de dados do BigQuery.

Antes de configurar uma nova exportação para o BigQuery

Console

  1. No console do Google Cloud , acesse a página VPC Service Controls.

    Acessar o VPC Service Controls

  2. Selecione a organização.
  3. Na lista suspensa, selecione a política de acesso que contém o perímetro de serviço a que você quer conceder acesso.

    Os perímetros de serviço associados à política de acesso aparecem na lista.

  4. Clique no nome do perímetro de serviço que você quer atualizar.

    Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o campo servicePerimeterName:

    accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
  5. Clique em Editar.

Adicionar regra de saída

  1. Clique em Política de saída.
  2. Clique em Adicionar uma regra de saída.
  3. Na seção De, defina os seguintes detalhes:

    1. Em Identidades > Identidade, escolha Selecionar identidades e grupos.
    2. Clique em Adicionar identidades.
    3. Insira o endereço de e-mail que identifica o principal usado para chamar a API Security Command Center.
    4. Selecione o principal ou pressione ENTER e clique em Adicionar identidades.
  4. Na seção Para, defina os seguintes detalhes:

    1. Em Recursos > Projetos, selecione Todos os projetos.
    2. Em Operações ou papéis do IAM, selecione Selecionar operações.
    3. Clique em Adicionar operações e adicione as seguintes operações:

      • Adicione o serviço bigquery.googleapis.com.
        1. Clique em Todos os métodos.
        2. Clique em Adicionar todos os métodos.

Adicionar regra de entrada

  1. Clique em Política de entrada.
  2. Clique em Adicionar uma regra de entrada.
  3. Na seção De, defina os seguintes detalhes:

    1. Em Identidades > Identidade, escolha Selecionar identidades e grupos.
    2. Clique em Adicionar identidades.
    3. Insira o endereço de e-mail que identifica o principal usado para chamar a API Security Command Center.
    4. Selecione o principal ou pressione ENTER e clique em Adicionar identidades.
  4. Na seção Para, defina os seguintes detalhes:

    1. Em Recursos > Projetos, escolha Selecionar projetos.
    2. Clique em Adicionar projetos e adicione o projeto que contém o conjunto de dados do BigQuery.
    3. Em Operações ou papéis do IAM, selecione Selecionar operações.
    4. Clique em Adicionar operações e adicione as seguintes operações:

      • Adicione o serviço bigquery.googleapis.com.
        1. Clique em Todos os métodos.
        2. Clique em Adicionar todos os métodos.
  5. Clique em Salvar.

gcloud

  1. Se um projeto de cota ainda não estiver definido, defina-o. Escolha um projeto que tenha a API Access Context Manager ativada.

    gcloud config set billing/quota_project QUOTA_PROJECT_ID

    Substitua QUOTA_PROJECT_ID pelo ID do projeto que você quer usar para faturamento e cota.

  2. Crie um arquivo chamado egress-rule.yaml com o seguinte conteúdo:

    - egressFrom:
        identities:
        - PRINCIPAL_ID
      egressTo:
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - '*'

    Substitua PRINCIPAL_ID pelo identificador do principal usado para chamar a API Security Command Center.

  3. Crie um arquivo chamado ingress-rule.yaml com o seguinte conteúdo:

    - ingressFrom:
        identities:
        - PRINCIPAL_ID
        sources:
        - accessLevel: '*'
      ingressTo:
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - projects/PROJECT_ID

    Substitua PRINCIPAL_ID pelo identificador do principal usado para chamar a API Security Command Center.

    Substitua PROJECT_ID pelo ID do projeto que contém o conjunto de dados do BigQuery.

  4. Adicione a regra de saída ao perímetro:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --set-egress-policies=egress-rule.yaml

    Substitua:

    • PERIMETER_NAME: o nome do perímetro. Por exemplo, accessPolicies/1234567890/servicePerimeters/example_perimeter.

      Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o campo servicePerimeterName:

      accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
  5. Adicione a regra de entrada ao perímetro:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --set-ingress-policies=ingress-rule.yaml

    Substitua:

    • PERIMETER_NAME: o nome do perímetro. Por exemplo, accessPolicies/1234567890/servicePerimeters/example_perimeter.

      Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o campo servicePerimeterName:

      accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME

Para mais informações, consulte Regras de entrada e saída.

Configurar uma nova exportação para o BigQuery

Nesta etapa, você vai criar uma configuração de exportação para exportar as descobertas para uma instância do BigQuery. Você pode criar configurações de exportação no nível do projeto, da pasta ou da organização. Por exemplo, se você quiser exportar as descobertas de um projeto para um conjunto de dados do BigQuery, crie uma configuração de exportação para exportar somente as descobertas relacionadas a esse projeto. Também é possível especificar filtros para exportar somente determinadas descobertas.

Certifique-se de criar as configurações de exportação no nível apropriado. Por exemplo, se você criar uma configuração de exportação no Projeto B para exportar descobertas do Projeto A e definir filtros como resource.project_display_name: project-a-id, a configuração não exportará nenhuma descoberta.

É possível criar no máximo 500 configurações de exportação para o BigQuery na organização. Você pode usar o mesmo conjunto de dados para várias configurações de exportação. Se você usar o mesmo conjunto de dados, todas as atualizações serão feitas na mesma tabela de descobertas.

Quando você cria a primeira configuração de exportação, uma conta de serviço é criada automaticamente. Essa conta de serviço é necessária para criar ou atualizar a tabela de descobertas em um conjunto de dados e exportar as descobertas para a tabela. Ela tem o formato service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com e recebe o papel de editor de dados do BigQuery (roles/bigquery.dataEditor) no nível do conjunto de dados do BigQuery.

gcloud

  1. Acesse o console do Google Cloud .

    Acesse o console do Google Cloud .

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para criar uma nova configuração de exportação, execute este comando:

    gcloud scc bqexports create BIGQUERY_EXPORT \
        --dataset=DATASET_NAME \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION \
        [--description=DESCRIPTION] \
        [--filter=FILTER] \
        [--deletion-notifications-enabled]
    

    Substitua:

    • BIGQUERY_EXPORT por um nome para esta configuração de exportação.
    • DATASET_NAME pelo nome do conjunto de dados do BigQuery, por exemplo, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.
    • LOCATION: o local do Security Command Center em que uma configuração de exportação será criada. Se a residência de dados estiver ativada, use eu, sa ou us. Caso contrário, use o valor global.
    • DESCRIPTION com uma descrição legível por humanos da configuração de exportação. Essa variável é opcional.
    • FILTER por uma expressão que define quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite "category=\"XSS_SCRIPTING\". Essa variável é opcional.

    Use as flags a seguir para configurar se você quer receber notificações sobre descobertas excluídas. Se você não especificar nenhuma flag, o comportamento padrão será não exportar as descobertas excluídas.

    • --deletion-notifications-enabled: ativar notificações para descobertas excluídas devido a políticas de retenção. Quando ativadas, as descobertas excluídas são exportadas para o BigQuery com deleted_finding = true. Essa flag se aplica apenas a eventos de exclusão futuros. As descobertas excluídas antes da ativação dessa flag não são exportadas retroativamente.

    • --no-deletion-notifications-enabled: desativa as notificações de descobertas excluídas.

Terraform

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform. Para mais informações, consulte a documentação de referência do provedor Terraform.

Crie uma configuração de exportação para uma organização:

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my-dataset"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_organization_scc_big_query_export" "custom_big_query_export_config" {
  name         = "my-export"
  big_query_export_id    = "my-export"
  organization = "123456789"
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Crie uma configuração de exportação para uma pasta:

resource "google_folder" "folder" {
  parent       = "organizations/123456789"
  display_name = "folder-name"

  deletion_protection = false
}

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my_dataset_id"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_folder_scc_big_query_export" "custom_big_query_export_config" {
  big_query_export_id    = "my-export"
  folder       = google_folder.folder.folder_id
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Crie uma configuração de exportação para um projeto:

resource "google_bigquery_dataset" "default" {
  dataset_id                  = "my_dataset_id"
  friendly_name               = "test"
  description                 = "This is a test description"
  location                    = "US"
  default_table_expiration_ms = 3600000
  default_partition_expiration_ms = null

  labels = {
    env = "default"
  }

  lifecycle {
    ignore_changes = [default_partition_expiration_ms]
  }
}

resource "google_scc_v2_project_scc_big_query_export" "custom_big_query_export_config" {
  name         = "my-export"
  big_query_export_id    = "my-export"
  project      = "my-project-name"
  dataset      = google_bigquery_dataset.default.id
  location     = "global"
  description  = "Cloud Security Command Center Findings Big Query Export Config"
  filter       = "state=\"ACTIVE\" AND NOT mute=\"MUTED\""
}

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.CreateBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;
import java.util.UUID;

public class CreateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // projectId: Google Cloud Project id.
    String projectId = "{your-project}";

    // Specify the location.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter = "severity=\"LOW\" OR severity=\"MEDIUM\"";

    // bigQueryDatasetId: The BigQuery dataset to write findings' updates to.
    String bigQueryDatasetId = "{bigquery-dataset-id}";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "default-" + UUID.randomUUID().toString().split("-")[0];

    createBigQueryExport(organizationId, location, projectId, filter, bigQueryDatasetId,
        bigQueryExportId);
  }

  // Create export configuration to export findings from a project to a BigQuery dataset.
  // Optionally specify filter to export certain findings only.
  public static BigQueryExport createBigQueryExport(String organizationId, String location,
      String projectId, String filter, String bigQueryDatasetId, String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);
      // Create the BigQuery export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setDescription(
                  "Export low and medium findings if the compute resource "
                      + "has an IAM anomalous grant")
              .setFilter(filter)
              .setDataset(String.format("projects/%s/datasets/%s", projectId, bigQueryDatasetId))
              .build();

      CreateBigQueryExportRequest bigQueryExportRequest =
          CreateBigQueryExportRequest.newBuilder()
              .setParent(organizationName.toString())
              .setBigQueryExport(bigQueryExport)
              .setBigQueryExportId(bigQueryExportId)
              .build();

      // Create the export request.
      BigQueryExport response = client.createBigQueryExport(bigQueryExportRequest);

      System.out.printf("BigQuery export request created successfully: %s\n", response.getName());
      return response;
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.



def create_bigquery_export(
    parent: str, export_filter: str, bigquery_dataset_id: str, bigquery_export_id: str
):
    from google.cloud import securitycenter_v2

    """
    Create export configuration to export findings from a project to a BigQuery dataset.
    Optionally specify filter to export certain findings only.

    Args:
        parent: Use any one of the following resource paths:
             - organizations/{organization_id}/locations/{location_id}
             - folders/{folder_id}/locations/{location_id}
             - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.
        bigquery_dataset_id: The BigQuery dataset to write findings' updates to.
             - projects/{PROJECT_ID}/datasets/{BIGQUERY_DATASET_ID}
        bigquery_export_id: Unique identifier provided by the client.
             - example id: f"default-{str(uuid.uuid4()).split('-')[0]}"
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    client = securitycenter_v2.SecurityCenterClient()

    # Create the BigQuery export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.description = "Export low and medium findings if the compute resource has an IAM anomalous grant"
    bigquery_export.filter = export_filter
    bigquery_export.dataset = bigquery_dataset_id

    request = securitycenter_v2.CreateBigQueryExportRequest()
    request.parent = parent
    request.big_query_export = bigquery_export
    request.big_query_export_id = bigquery_export_id

    # Create the export request.
    response = client.create_big_query_export(request)

    print(f"BigQuery export request created successfully: {response.name}\n")
    return response

Você verá as descobertas no seu conjunto de dados do BigQuery cerca de 15 minutos depois de criar a configuração de exportação. Após a criação da tabela do BigQuery, todas as descobertas novas e atualizadas que corresponderem ao filtro e escopo aparecerão quase em tempo real na tabela.

Para conferi-las, consulte Conferir descobertas.

Criar uma regra de entrada para a nova exportação para o BigQuery

Se você usar o VPC Service Controls e o conjunto de dados do BigQuery fizer parte de um projeto dentro de um perímetro de serviço, será necessário criar uma regra de entrada para uma nova exportação para o BigQuery.

Console

  1. Abra novamente o perímetro de serviço da seção anterior.

    Acessar o VPC Service Controls

Adicionar regra de entrada

  1. Clique em Política de entrada.
  2. Clique em Adicionar uma regra de entrada.
  3. Na seção De, defina os seguintes detalhes:

    1. Em Identidades > Identidade, escolha Selecionar identidades e grupos.
    2. Clique em Adicionar identidades.
    3. Insira o endereço de e-mail que identifica o agente de serviço de configuração do BigQuery Export. Esse endereço tem o seguinte formato:

      service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com

      Substitua ORGANIZATION_ID pelo ID da organização.

    4. Selecione o agente de serviço ou pressione ENTER e clique em Adicionar identidades.
  4. Na seção Para, defina os seguintes detalhes:

    1. Em Recursos > Projetos, escolha Selecionar projetos.
    2. Clique em Adicionar projetos e adicione o projeto que contém o conjunto de dados do BigQuery.
    3. Em Operações ou papéis do IAM, selecione Selecionar operações.
    4. Clique em Adicionar operações e adicione as seguintes operações:

      • Adicione o serviço bigquery.googleapis.com.
        1. Clique em Todos os métodos.
        2. Clique em Adicionar todos os métodos.
  5. Clique em Salvar.

gcloud

  1. Se um projeto de cota ainda não estiver definido, defina-o. Escolha um projeto que tenha a API Access Context Manager ativada.

    gcloud config set billing/quota_project QUOTA_PROJECT_ID

    Substitua QUOTA_PROJECT_ID pelo ID do projeto que você quer usar para faturamento e cota.

  2. Crie um arquivo chamado ingress-rule.yaml com o seguinte conteúdo:

    - ingressFrom:
        identities:
        - serviceAccount:service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
        sources:
        - accessLevel: '*'
      ingressTo:
        operations:
        - serviceName: bigquery.googleapis.com
          methodSelectors:
          - method: '*'
        resources:
        - projects/PROJECT_ID

    Substitua ORGANIZATION_ID pelo ID da organização.

    Substitua PROJECT_ID pelo ID do projeto que contém o conjunto de dados do BigQuery.

  3. Adicione a regra de entrada ao perímetro:

    gcloud access-context-manager perimeters update PERIMETER_NAME \
        --set-ingress-policies=ingress-rule.yaml

    Substitua:

    • PERIMETER_NAME: o nome do perímetro. Por exemplo, accessPolicies/1234567890/servicePerimeters/example_perimeter.

      Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o campo servicePerimeterName:

      accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME

Para mais informações, consulte Regras de entrada e saída.

Os projetos, usuários e contas de serviço selecionados agora podem acessar os recursos protegidos e exportar as descobertas.

Se você seguiu todas as etapas deste guia e as exportações estão funcionando corretamente, agora é possível excluir o seguinte:

  • A regra de entrada do principal
  • A regra de saída para a principal

Essas regras só eram necessárias para definir a configuração de exportação. No entanto, para que as configurações de exportação continuem funcionando, é necessário manter a regra de entrada criada anteriormente, que permite ao Security Command Center exportar descobertas para o conjunto de dados do BigQuery por trás do perímetro de serviço.

Ver os detalhes de uma configuração de exportação

gcloud

  1. Acesse o console do Google Cloud .

    Acesse o console do Google Cloud .

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para verificar os detalhes da configuração de exportação, execute este comando:

    gcloud scc bqexports get BIGQUERY_EXPORT \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION
    

    Substitua:

    • BIGQUERY_EXPORT pelo nome desta configuração de exportação.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.
    • LOCATION: o local do Security Command Center em que uma configuração de exportação será criada. Se a residência de dados estiver ativada, use eu, sa ou us. Caso contrário, use o valor global.

      Por exemplo, para receber uma configuração de exportação chamada my-bq-export de uma organização com um ID da organização definido como 123, execute:

      gcloud scc bqexports get my-bq-export \
          --organization=123 \
          --location=global
      

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.GetBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class GetBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    getBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Retrieve an existing BigQuery export.
  public static BigQueryExport getBigQueryExport(String organizationId, String location,
      String bigQueryExportId) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {

      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      GetBigQueryExportRequest bigQueryExportRequest =
          GetBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      BigQueryExport response = client.getBigQueryExport(bigQueryExportRequest);
      System.out.printf("Retrieved the BigQuery export: %s", response.getName());
      return response;
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

def get_bigquery_export(parent: str, bigquery_export_id: str):
    from google.cloud import securitycenter_v2

    """
    Retrieve an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.GetBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    response = client.get_big_query_export(request)
    print(f"Retrieved the BigQuery export: {response.name}")
    return response

Atualizar uma configuração de exportação

Quando necessário, é possível modificar o filtro, o conjunto de dados e a descrição de uma configuração de exportação existente. Não é possível alterar o nome da configuração de exportação.

gcloud

  1. Acesse o console do Google Cloud .

    Acesse o console do Google Cloud .

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para atualizar uma configuração de exportação, execute este comando:

    gcloud scc bqexports update BIGQUERY_EXPORT \
        --dataset=DATASET_NAME \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION \
        [--description=DESCRIPTION] \
        [--filter=FILTER] \
        [--deletion-notifications-enabled]
    

    Substitua:

    • BIGQUERY_EXPORT pelo nome da configuração de exportação que você quer atualizar.
    • DATASET_NAME pelo nome do conjunto de dados do BigQuery, por exemplo, projects/PROJECT_ID/datasets/DATASET_ID.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.
    • LOCATION: o local do Security Command Center em que a configuração de exportação será atualizada. Se a residência de dados estiver ativada, use eu, sa ou us. Caso contrário, use o valor global.
    • DESCRIPTION com uma descrição legível por humanos da configuração de exportação. Essa variável é opcional.
    • FILTER por uma expressão que define quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite "category=\"XSS_SCRIPTING\". Essa variável é opcional.

    Use as flags a seguir para configurar se você quer receber notificações sobre descobertas excluídas. Se você não especificar nenhuma flag, o comportamento padrão será não exportar as descobertas excluídas.

    • --deletion-notifications-enabled: ativar notificações para descobertas excluídas devido a políticas de retenção. Quando ativadas, as descobertas excluídas são exportadas para o BigQuery com deleted_finding = true. Essa flag se aplica apenas a eventos de exclusão futuros. As descobertas excluídas antes da ativação dessa flag não são exportadas retroativamente.

    • --no-deletion-notifications-enabled: desativa as notificações de descobertas excluídas.

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.UpdateBigQueryExportRequest;
import com.google.protobuf.FieldMask;
import java.io.IOException;

public class UpdateBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // filter: Expression that defines the filter to apply across create/update events of findings.
    String filter =
        "severity=\"LOW\" OR severity=\"MEDIUM\" AND "
            + "category=\"Persistence: IAM Anomalous Grant\" AND "
            + "-resource.type:\"compute\"";

    // bigQueryExportId: Unique identifier provided by the client.
    // For more info, see:
    // https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    String bigQueryExportId = "{bigquery-export-id}";

    updateBigQueryExport(organizationId, location, filter, bigQueryExportId);
  }

  // Updates an existing BigQuery export.
  public static BigQueryExport updateBigQueryExport(String organizationId, String location,
      String filter, String bigQueryExportId) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      //  Set the new values for export configuration.
      BigQueryExport bigQueryExport =
          BigQueryExport.newBuilder()
              .setName(bigQueryExportName.toString())
              .setDescription("Updated description.")
              .setFilter(filter)
              .build();

      UpdateBigQueryExportRequest request =
          UpdateBigQueryExportRequest.newBuilder()
              .setBigQueryExport(bigQueryExport)
              // Set the update mask to specify which properties should be updated.
              // If empty, all mutable fields will be updated.
              // For more info on constructing field mask path, see the proto or:
              // https://cloud.google.com/java/docs/reference/protobuf/latest/com.google.protobuf.FieldMask
              .setUpdateMask(FieldMask.newBuilder()
                  .addPaths("filter")
                  .addPaths("description").build())
              .build();

      BigQueryExport response = client.updateBigQueryExport(request);
      System.out.println("BigQueryExport updated successfully!");
      return response;
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

def update_bigquery_export(parent: str, export_filter: str, bigquery_export_id: str):
    """
    Updates an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        export_filter: Expression that defines the filter to apply across create/update events of findings.export_filter = 'severity="MEDIUM"'
        bigquery_export_id: Unique identifier provided by the client.
        For more info, see:
        https://cloud.google.com/security-command-center/docs/how-to-analyze-findings-in-big-query#export_findings_from_to
    """
    from google.cloud import securitycenter_v2
    from google.protobuf import field_mask_pb2

    client = securitycenter_v2.SecurityCenterClient()

    # Set the new values for export configuration.
    bigquery_export = securitycenter_v2.BigQueryExport()
    bigquery_export.name = f"{parent}/bigQueryExports/{bigquery_export_id}"
    bigquery_export.filter = export_filter
    bigquery_export.description = "Updated description."

    # Field mask to only update the export filter.
    # Set the update mask to specify which properties should be updated.
    # If empty, all mutable fields will be updated.
    # For more info on constructing field mask path, see the proto or:
    # https://googleapis.dev/python/protobuf/latest/google/protobuf/field_mask_pb2.html
    field_mask = field_mask_pb2.FieldMask(paths=["filter", "description"])

    request = securitycenter_v2.UpdateBigQueryExportRequest()
    request.big_query_export = bigquery_export
    request.update_mask = field_mask

    response = client.update_big_query_export(request)

    if response.filter != export_filter:
        print("Failed to update BigQueryExport!")
        return
    print("BigQueryExport updated successfully!")
    return response

Ver todas as configurações de exportação

Você pode ver todas as configurações de exportação na organização, na pasta ou no projeto.

gcloud

  1. Acesse o console do Google Cloud .

    Acesse o console do Google Cloud .

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para listar as configurações de exportação, execute este comando:

    gcloud scc bqexports list \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION \
        [--limit=LIMIT] \
        [--page-size=PAGE_SIZE]
    

    Substitua:

    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.

      Se você especificar um ID da organização, a lista incluirá todas as configurações de exportação definidas nessa organização, inclusive as de níveis da pasta e do projeto. Se você especificar um ID de pasta, a lista incluirá todas as configurações de exportação definidas no nível da pasta e nos projetos dentro dessa pasta. Se você especificar um número ou ID do projeto, a lista incluirá todas as configurações de exportação apenas para esse projeto.

    • LOCATION: o local do Security Command Center em que as configurações de exportação serão listadas. Se a residência de dados estiver ativada, use eu, sa ou us. Caso contrário, use o valor global.

    • LIMIT pelo número de configurações de exportação que você quer ver. Essa variável é opcional.

    • PAGE_SIZE por um valor de tamanho de página. Essa variável é opcional.

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.


import com.google.cloud.securitycenter.v2.BigQueryExport;
import com.google.cloud.securitycenter.v2.ListBigQueryExportsRequest;
import com.google.cloud.securitycenter.v2.OrganizationLocationName;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import com.google.cloud.securitycenter.v2.SecurityCenterClient.ListBigQueryExportsPagedResponse;
import java.io.IOException;

public class ListBigQueryExports {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    listBigQueryExports(organizationId, location);
  }

  // List BigQuery exports in the given parent.
  public static ListBigQueryExportsPagedResponse listBigQueryExports(String organizationId,
      String location) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      OrganizationLocationName organizationName = OrganizationLocationName.of(organizationId,
          location);

      ListBigQueryExportsRequest request = ListBigQueryExportsRequest.newBuilder()
          .setParent(organizationName.toString())
          .build();

      ListBigQueryExportsPagedResponse response = client.listBigQueryExports(request);

      System.out.println("Listing BigQuery exports:");
      for (BigQueryExport bigQueryExport : response.iterateAll()) {
        System.out.println(bigQueryExport.getName());
      }
      return response;
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

def list_bigquery_exports(parent: str):
    from google.cloud import securitycenter_v2

    """
    List BigQuery exports in the given parent.
    Args:
         parent: The parent which owns the collection of BigQuery exports.
             Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
    """

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.ListBigQueryExportsRequest()
    request.parent = parent

    response = client.list_big_query_exports(request)

    print("Listing BigQuery exports:")
    for bigquery_export in response:
        print(bigquery_export.name)
    return response

Excluir uma configuração de exportação

Se você não precisar mais de uma configuração de exportação, será possível excluí-la.

gcloud

  1. Acesse o console do Google Cloud .

    Acesse o console do Google Cloud .

  2. Selecione o projeto para o qual você ativou a API Security Command Center.

  3. Clique em Ativar o Cloud Shell.

  4. Para excluir uma configuração de exportação, execute este comando:

    gcloud scc bqexports delete BIGQUERY_EXPORT \
        --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \
        --location=LOCATION
    

    Substitua:

    • BIGQUERY_EXPORT pelo nome da configuração de exportação que você quer excluir.
    • FOLDER_ID, ORGANIZATION_ID ou PROJECT_ID pelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.
    • LOCATION: o local do Security Command Center em que a configuração de exportação será excluída. Se a residência de dados estiver ativada, use eu, sa ou us. Caso contrário, use o valor global.

      Por exemplo, para excluir uma configuração de exportação chamada my-bq-export de uma organização com um ID da organização definido como 123, execute:

      gcloud scc bqexports delete my-bq-export \
          --organization=123 \
          --location=global
      

Java

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.


import com.google.cloud.securitycenter.v2.BigQueryExportName;
import com.google.cloud.securitycenter.v2.DeleteBigQueryExportRequest;
import com.google.cloud.securitycenter.v2.SecurityCenterClient;
import java.io.IOException;

public class DeleteBigQueryExport {

  public static void main(String[] args) throws IOException {
    // TODO(Developer): Modify the following variable values.
    // organizationId: Google Cloud Organization id.
    String organizationId = "{google-cloud-organization-id}";

    // Specify the location to list the findings.
    String location = "global";

    // bigQueryExportId: Unique identifier that is used to identify the export.
    String bigQueryExportId = "{bigquery-export-id}";

    deleteBigQueryExport(organizationId, location, bigQueryExportId);
  }

  // Delete an existing BigQuery export.
  public static void deleteBigQueryExport(String organizationId, String location,
      String bigQueryExportId)
      throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (SecurityCenterClient client = SecurityCenterClient.create()) {
      // Optionally BigQueryExportName or String can be used
      // String bigQueryExportName = String.format("organizations/%s/locations/%s
      // /bigQueryExports/%s",organizationId,location, bigQueryExportId);
      BigQueryExportName bigQueryExportName = BigQueryExportName.of(organizationId, location,
          bigQueryExportId);

      DeleteBigQueryExportRequest bigQueryExportRequest =
          DeleteBigQueryExportRequest.newBuilder()
              .setName(bigQueryExportName.toString())
              .build();

      client.deleteBigQueryExport(bigQueryExportRequest);
      System.out.printf("BigQuery export request deleted successfully: %s", bigQueryExportId);
    }
  }
}

Python

Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

def delete_bigquery_export(parent: str, bigquery_export_id: str):
    """
    Delete an existing BigQuery export.
    Args:
        parent: Use any one of the following resource paths:
                 - organizations/{organization_id}/locations/{location_id}
                 - folders/{folder_id}/locations/{location_id}
                 - projects/{project_id}/locations/{location_id}
        bigquery_export_id: Unique identifier that is used to identify the export.
    """
    from google.cloud import securitycenter_v2

    client = securitycenter_v2.SecurityCenterClient()

    request = securitycenter_v2.DeleteBigQueryExportRequest()
    request.name = f"{parent}/bigQueryExports/{bigquery_export_id}"

    client.delete_big_query_export(request)
    print(f"BigQuery export request deleted successfully: {bigquery_export_id}")

Depois de excluir a configuração de exportação, você pode remover os dados pelo Data Studio. Para ver mais informações, consulte Remover, excluir e restaurar uma fonte de dados.

Analisar descobertas no BigQuery

Depois que você cria uma configuração de exportação, as novas descobertas são exportadas para o conjunto de dados do BigQuery no projeto especificado.

Para analisar as descobertas no BigQuery, faça o seguinte:

  1. Acesse o projeto no BigQuery.

    Acessar o BigQuery

  2. Selecione um projeto.

  3. No painel Explorer, expanda o nó do projeto.

  4. Expanda seu conjunto de dados.

  5. Clique na tabela findings.

  6. Na guia aberta, clique em Visualizar. Um conjunto de dados de amostra é exibido.

Consultas úteis

Nesta seção, você vai ver exemplos de consultas para analisar os dados das descobertas. Nos exemplos a seguir, substitua DATASET pelo nome atribuído ao conjunto de dados e PROJECT_ID pelo nome do projeto do conjunto de dados.

Para resolver problemas que encontrar, consulte Mensagens de erro.

O número de novas descobertas criadas e atualizadas diariamente

SELECT
    FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
    count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC

O registro mais recente de cada descoberta

SELECT
    * EXCEPT(row)
FROM (
    SELECT *, ROW_NUMBER() OVER(
        PARTITION BY finding_id
        ORDER BY event_time DESC, finding.mute_update_time DESC
    ) AS row
    FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1

Descobertas atuais que estão ativas, ordenadas por tempo

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC

Descobertas atuais em um projeto

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'

Substitua PROJECT pelo nome do projeto.

Descobertas atuais em uma pasta

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'

Substitua FOLDER pelo nome da pasta.

Descobertas atuais do scanner Logging Scanner

WITH latestFindings AS (
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
  AND source_property.value = "LOGGING_SCANNER"

Descobertas ativas atuais do tipo Persistence: IAM Anomalous Grant

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
  AND finding.category = "Persistence: IAM Anomalous Grant"

Correlacionar descobertas ativas de um determinado tipo com os Registros de auditoria do Cloud

Este exemplo de consulta ajuda a investigar descobertas de concessão de IAM anômalas do Event Threat Detection usando os Registros de auditoria do Cloud exibindo a sequência de ações de atividade do administrador no período durante a janela de tempo que precede e sucede a ação de concessão de IAM anômala. A consulta a seguir correlaciona os registros de atividade do administrador entre 1 hora antes e 1 hora depois do carimbo de data/hora da descoberta.

WITH latestFindings AS(
    SELECT * EXCEPT(row)
    FROM (
        SELECT *, ROW_NUMBER() OVER(
            PARTITION BY finding_id
            ORDER BY event_time DESC, finding.mute_update_time DESC
        ) AS row
        FROM `PROJECT_ID.DATASET.findings`
    ) WHERE row = 1
)
SELECT
  finding_id,
  ANY_VALUE(event_time) as event_time,
  ANY_VALUE(finding.access.principal_email) as grantor,
  JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
  ARRAY_AGG(
    STRUCT(
      timestamp,
      IF(timestamp < event_time, 'before', 'after') as timeline,
      protopayload_auditlog.methodName,
      protopayload_auditlog.resourceName,
      protopayload_auditlog.serviceName
    )
    ORDER BY timestamp ASC
  ) AS recent_activity
FROM (
  SELECT
    f.*,
    a.*,
  FROM latestFindings AS f
  LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
  ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
  WHERE f.finding.state = "ACTIVE"
    AND f.finding.category = "Persistence: IAM Anomalous Grant"
    AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
    AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
  )
GROUP BY
  finding_id
ORDER BY
  event_time DESC

O resultado será o seguinte:

Captura de tela dos resultados da consulta mostrando descobertas com registros de auditoria correlacionados

Criar gráficos no Data Studio

O Data Studio permite criar relatórios e painéis interativos.

Em geral, são cobrados os custos de uso do BigQuery ao acessar o BigQuery pelo Data Studio. Saiba mais em Como visualizar dados do BigQuery com o Data Studio.

Para criar um gráfico que visualize os dados de descobertas por gravidade e categoria, faça o seguinte:

  1. Abra o Data Studio e faça login.
  2. Se solicitado, forneça informações adicionais e configure outras preferências. Leia os Termos de Serviço e, se você concordar, prossiga.
  3. Clique em Relatório em branco.
  4. Na guia Conectar aos dados, clique no card do BigQuery.
  5. Se necessário, autorize o Data Studio a acessar os projetos do BigQuery.
  6. Conecte-se aos dados de descoberta:

    1. Em Projeto, selecione o projeto para o conjunto de dados. Ou, na guia Meus projetos, insira o ID do projeto para pesquisá-lo.
    2. Em Conjunto de dados, clique no nome do conjunto de dados.
    3. Em Tabela, clique em findings.
    4. Clique em Add.
    5. Na caixa de diálogo, clique em Adicionar ao relatório.
  7. Após adicionar o relatório, clique em Adicionar um gráfico.

  8. Clique em Gráfico de colunas empilhadas e, em seguida, clique na área em que você quer colocá-lo.

    Captura de tela da seleção do gráfico
  9. No painel Gráfico > Barra, na guia Dados, defina os seguintes campos:

    1. No campo Dimensão, selecione finding.severity.
    2. No campo Dimensão de detalhamento, selecione finding.category.
    Captura de tela de um gráfico de descobertas categorizadas por gravidade e
            subcategorizadas por categoria

O relatório é atualizado para mostrar várias colunas com descobertas divididas por gravidade e categoria.

A seguir