A exportação do Security Command Center para o BigQuery permite fazer streaming de descobertas novas e atualizadas para um conjunto de dados do BigQuery quase em tempo real. No BigQuery, é possível consultar estados de descoberta ao longo do tempo, analisar tendências de postura de segurança e criar relatórios personalizados. A exportação transmite novas descobertas à medida que elas ocorrem e as descobertas atuais somente quando são atualizadas.
Visão geral
Quando você ativa esse recurso, novas descobertas gravadas no Security Command Center são exportadas para uma tabela do BigQuery quase em tempo real. Em seguida, é possível integrar os dados em fluxos de trabalho existentes e criar análises personalizadas. Você pode ativar esse recurso no nível da organização, da pasta e do projeto para exportar as descobertas com base nos seus requisitos.
Esse recurso é a forma recomendada de exportar as descobertas do Security Command Center para o BigQuery, porque ele é totalmente gerenciado e não requer a execução de operações manuais ou a escrita de um código personalizado.
Estrutura do conjunto de dados
Esse recurso adiciona cada nova descoberta e as atualizações seguintes como
novas linhas na tabela findings, que é agrupada por source_id,
finding_id
e event_time.
Isso cria vários registros de descoberta com
os mesmos valores source_id e finding_id, mas com valores event_time
diferentes. Essa estrutura de conjunto de dados permite ver como o estado de cada descoberta muda ao longo do tempo.
Pode haver entradas duplicadas no conjunto de dados. Para analisá-las, use a cláusula DISTINCT, conforme mostrado no primeiro exemplo de consulta.
Cada conjunto de dados contém uma tabela findings com os seguintes campos:
| Campo | Descrição |
|---|---|
source_id |
Um identificador exclusivo que o Security Command Center atribui à
origem de uma descoberta.
Por exemplo, todas as descobertas da fonte de detecção de anomalias do Cloud têm o mesmo valor de Exemplo: |
finding_id |
Identificador exclusivo que representa a descoberta. É único dentro de uma fonte para uma organização. É alfanumérico e tem no máximo 32 caracteres. |
event_time |
A hora em que o evento ocorreu ou a hora em que uma atualização da descoberta
ocorreu. Por exemplo, se a descoberta representar um firewall aberto, o Exemplo: Para mais informações sobre as mudanças que atualizam o horário do evento, consulte Visão geral do ciclo de vida da descoberta. |
bulk_export_id |
Para exportações em massa, é um UUID. Para exportações contínuas, esse campo fica vazio. |
finding |
Um registro de dados de avaliação, como segurança, risco, integridade ou privacidade, que é ingerido no Security Command Center para apresentação, notificação, análise, teste de políticas e aplicação. Por exemplo, uma vulnerabilidade de scripting em vários locais (XSS) em um aplicativo do App Engine é uma descoberta.
Saiba mais sobre campos aninhados na referência da API
do objeto
|
resource |
Informações relacionadas ao recurso do Google Cloud associado a essa descoberta.
Saiba mais sobre campos aninhados na referência da API
do objeto
|
Custo
Você receberá cobranças do BigQuery relacionadas a esse recurso. Para mais informações, consulte Preços do BigQuery.
Antes de começar
Conclua as etapas abaixo antes de ativar esse recurso.
Configurar permissões
Para concluir este guia, você precisa ter os seguintes papéis de gerenciamento de identidade e acesso (IAM):
Na organização, na pasta ou no projeto de onde você quer exportar descobertas, uma das seguintes opções:
- Editor do BigQuery Exports na Central de segurança
(
roles/securitycenter.bigQueryExportsEditor) - Administrador da Central de segurança
(
roles/securitycenter.admin)
Para saber mais sobre os papéis do Security Command Center, consulte Controle de acesso.
- Editor do BigQuery Exports na Central de segurança
(
No conjunto de dados do BigQuery, o proprietário dos dados do BigQuery (
roles/bigquery.dataOwner)
Criar um conjunto de dados do BigQuery
Crie um conjunto de dados do BigQuery. Para mais informações, consulte Como criar conjuntos de dados.
Planejar a residência de dados
Se a residência de dados estiver ativada para o Security Command Center, as configurações que definem as exportações contínuas para o BigQuery (recursos BigQueryExport) estarão sujeitas ao controle de residência de dados e serão armazenadas em um local do Security Command Center selecionado por você.
Para exportar descobertas em um local do Security Command Center para o BigQuery, é necessário configurar o BigQuery Export no mesmo local do Security Command Center que as descobertas.
Como os filtros usados nas exportações do BigQuery podem conter dados sujeitos a controles de residência, especifique o local correto antes de criá-los. O Security Command Center não restringe o local em que você cria as exportações.
As exportações do BigQuery são armazenadas apenas no local em que são criadas e não podem ser visualizadas ou editadas em outros locais.
Depois de criar um BigQuery Export, não é possível mudar o local dele. Para mudar a localização, exclua o BigQuery Export e recrie-o na nova localização.
Para saber como usar o Security Command Center quando a residência de dados está ativada, consulte Endpoints regionais do Security Command Center.
Como o Security Command Center exporta descobertas para o BigQuery
As seções a seguir descrevem como o Security Command Center exporta descobertas novas, atualizadas e excluídas para o BigQuery.
Como exportar descobertas novas e atualizadas
Quando um atributo de descoberta é atualizado, o Security Command Center faz um snapshot e tenta enviá-lo ao BigQuery.
Essa tentativa resulta em um dos seguintes resultados:
Se os atributos da descoberta no snapshot corresponderem ao filtro de exportação definido no BigQuery Export, o snapshot será enviado ao BigQuery, onde se tornará o registro atual da descoberta no BigQuery.
Se os atributos da descoberta não corresponderem ao filtro, o snapshot não será enviado ao BigQuery. Se houver um snapshot anterior da descoberta no BigQuery, ele vai continuar sendo o registro mais recente disponível no conjunto de dados, mesmo que não reflita as atualizações recentes no Security Command Center.
Por exemplo, se o filtro de uma exportação do BigQuery contiver o estado ativo, uma nova descoberta será gerada com o estado ativo, e um snapshot da descoberta será exportado para o BigQuery.
Depois, o estado dessa descoberta no Security Command Center é atualizado para inativo. A atualização aciona uma exportação de um novo snapshot da descoberta para o BigQuery, mas, como o valor do estado não corresponde mais ao filtro, o filtro bloqueia a exportação do snapshot da descoberta.
Consequentemente, o snapshot da descoberta no BigQuery ainda tem o estado ativo, mas a mesma descoberta no Security Command Center tem o estado inativo.
Isso também resulta em uma incompatibilidade entre o número de descobertas ativas no Security Command Center e no BigQuery. O número de descobertas ativas é quase sempre maior no BigQuery do que no Security Command Center.
Por exemplo, se um filtro de exportação especificar o estado ativo e 100 descobertas forem geradas com o estado ativo, todas as 100 serão exportadas para o BigQuery. Depois, no Security Command Center, 50 dessas descobertas são atualizadas para inativas, e o filtro bloqueia a exportação acionada pelas atualizações porque o valor do estado não corresponde mais ao filtro. Consequentemente, no BigQuery, todas as 100 descobertas ainda estão ativas, enquanto no Security Command Center apenas 50 descobertas permanecem ativas.
Como exportar descobertas excluídas
O Security Command Center exclui as descobertas periodicamente com base nas políticas de retenção de dados. É possível configurar se o Security Command Center exporta um snapshot das descobertas excluídas para o BigQuery.
É possível ativar as notificações de exclusão ao criar ou atualizar uma
configuração de exportação. Quando as notificações de exclusão estão ativadas,
o Security Command Center envia um snapshot de descoberta para o BigQuery
com o campo deleted_finding definido como true e o event_time definido como o
momento em que a descoberta foi excluída. Isso permite executar consultas que rastreiam as descobertas excluídas.
Quando você modifica a opção de notificação de exclusão em uma configuração de exportação,
a mudança se aplica apenas a exclusões futuras de descobertas. As descobertas excluídas antes
da ativação da opção não são exportadas retroativamente.
Exportar descobertas do Security Command Center para o BigQuery
Para exportar descobertas, primeiro ative a API Security Command Center.
Como ativar a API Security Command Center
Para ativar a API Security Command Center, faça o seguinte:
Acesse a página "Biblioteca de APIs" no console do Google Cloud .
Selecione o projeto em que você quer ativar a API Security Command Center.
Na caixa Pesquisa, digite
Security Command Centere clique no Security Command Center nos resultados da pesquisa.Na página da API exibida, clique em Ativar.
A API Security Command Center está ativada no seu projeto. Em seguida, use a CLI gcloud para criar uma nova configuração de exportação para o BigQuery.
Como conceder acesso de perímetro no VPC Service Controls
Se você usar o VPC Service Controls e o conjunto de dados do BigQuery fizer parte de um projeto dentro de um perímetro de serviço, será necessário conceder acesso a projetos para exportar descobertas.
Para conceder acesso a projetos, crie
regras de entrada e saída para
os principais e projetos de onde você está exportando as descobertas. As regras
permitem o acesso a recursos protegidos e permitem que o BigQuery verifique se
os usuários têm a permissão setIamPolicy no conjunto de dados
do BigQuery.
Antes de configurar uma nova exportação para o BigQuery
Console
Navegar até o perímetro de serviço
-
No console do Google Cloud , acesse a página VPC Service Controls.
- Selecione a organização.
-
Na lista suspensa, selecione a política de acesso que contém o perímetro de serviço a que você quer conceder acesso.
Os perímetros de serviço associados à política de acesso aparecem na lista.
-
Clique no nome do perímetro de serviço que você quer atualizar.
Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de
RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o camposervicePerimeterName:accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
- Clique em Editar.
Adicionar regra de saída
- Clique em Política de saída.
- Clique em Adicionar uma regra de saída.
-
Na seção De, defina os seguintes detalhes:
- Em Identidades > Identidade, escolha Selecionar identidades e grupos.
- Clique em Adicionar identidades.
- Insira o endereço de e-mail que identifica o principal usado para chamar a API Security Command Center.
- Selecione o principal ou pressione ENTER e clique em Adicionar identidades.
-
Na seção Para, defina os seguintes detalhes:
- Em Recursos > Projetos, selecione Todos os projetos.
- Em Operações ou papéis do IAM, selecione Selecionar operações.
-
Clique em Adicionar operações e adicione as seguintes operações:
- Adicione o serviço bigquery.googleapis.com.
- Clique em Todos os métodos.
- Clique em Adicionar todos os métodos.
- Adicione o serviço bigquery.googleapis.com.
Adicionar regra de entrada
- Clique em Política de entrada.
- Clique em Adicionar uma regra de entrada.
-
Na seção De, defina os seguintes detalhes:
- Em Identidades > Identidade, escolha Selecionar identidades e grupos.
- Clique em Adicionar identidades.
- Insira o endereço de e-mail que identifica o principal usado para chamar a API Security Command Center.
- Selecione o principal ou pressione ENTER e clique em Adicionar identidades.
-
Na seção Para, defina os seguintes detalhes:
- Em Recursos > Projetos, escolha Selecionar projetos.
- Clique em Adicionar projetos e adicione o projeto que contém o conjunto de dados do BigQuery.
- Em Operações ou papéis do IAM, selecione Selecionar operações.
-
Clique em Adicionar operações e adicione as seguintes operações:
- Adicione o serviço bigquery.googleapis.com.
- Clique em Todos os métodos.
- Clique em Adicionar todos os métodos.
- Adicione o serviço bigquery.googleapis.com.
- Clique em Salvar.
gcloud
-
Se um projeto de cota ainda não estiver definido, defina-o. Escolha um projeto que tenha a API Access Context Manager ativada.
gcloud config set billing/quota_project QUOTA_PROJECT_ID
Substitua
QUOTA_PROJECT_IDpelo ID do projeto que você quer usar para faturamento e cota. -
Crie um arquivo chamado
egress-rule.yamlcom o seguinte conteúdo:- egressFrom: identities: - PRINCIPAL_ID egressTo: operations: - serviceName: bigquery.googleapis.com methodSelectors: - method: '*' resources: - '*'
Substitua
PRINCIPAL_IDpelo identificador do principal usado para chamar a API Security Command Center. -
Crie um arquivo chamado
ingress-rule.yamlcom o seguinte conteúdo:- ingressFrom: identities: - PRINCIPAL_ID sources: - accessLevel: '*' ingressTo: operations: - serviceName: bigquery.googleapis.com methodSelectors: - method: '*' resources: - projects/PROJECT_ID
Substitua
PRINCIPAL_IDpelo identificador do principal usado para chamar a API Security Command Center.Substitua
PROJECT_IDpelo ID do projeto que contém o conjunto de dados do BigQuery. -
Adicione a regra de saída ao perímetro:
gcloud access-context-manager perimeters update PERIMETER_NAME \ --set-egress-policies=egress-rule.yaml
Substitua:
-
PERIMETER_NAME: o nome do perímetro. Por exemplo,accessPolicies/1234567890/servicePerimeters/example_perimeter.Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de
RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o camposervicePerimeterName:accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
-
-
Adicione a regra de entrada ao perímetro:
gcloud access-context-manager perimeters update PERIMETER_NAME \ --set-ingress-policies=ingress-rule.yaml
Substitua:
-
PERIMETER_NAME: o nome do perímetro. Por exemplo,accessPolicies/1234567890/servicePerimeters/example_perimeter.Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de
RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o camposervicePerimeterName:accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
-
Para mais informações, consulte Regras de entrada e saída.
Configurar uma nova exportação para o BigQuery
Nesta etapa, você vai criar uma configuração de exportação para exportar as descobertas para uma instância do BigQuery. Você pode criar configurações de exportação no nível do projeto, da pasta ou da organização. Por exemplo, se você quiser exportar as descobertas de um projeto para um conjunto de dados do BigQuery, crie uma configuração de exportação para exportar somente as descobertas relacionadas a esse projeto. Também é possível especificar filtros para exportar somente determinadas descobertas.
Certifique-se de criar as configurações de exportação no nível apropriado. Por exemplo, se você criar uma configuração de exportação no Projeto B para exportar descobertas do Projeto A e definir filtros como resource.project_display_name: project-a-id, a configuração não exportará nenhuma descoberta.
É possível criar no máximo 500 configurações de exportação para o BigQuery na organização. Você pode usar o mesmo conjunto de dados para várias configurações de exportação. Se você usar o mesmo conjunto de dados, todas as atualizações serão feitas na mesma tabela de descobertas.
Quando você cria a primeira configuração de exportação, uma conta de serviço é criada automaticamente. Essa conta de serviço é necessária para criar ou atualizar a tabela de descobertas em um conjunto de dados e exportar as descobertas para a tabela.
Ela tem o formato service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gservicaccount.com e recebe o papel de editor de dados do BigQuery (roles/bigquery.dataEditor) no nível do conjunto de dados do BigQuery.
gcloud
Acesse o console do Google Cloud .
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para criar uma nova configuração de exportação, execute este comando:
gcloud scc bqexports create BIGQUERY_EXPORT \ --dataset=DATASET_NAME \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION \ [--description=DESCRIPTION] \ [--filter=FILTER] \ [--deletion-notifications-enabled]Substitua:
BIGQUERY_EXPORTpor um nome para esta configuração de exportação.DATASET_NAMEpelo nome do conjunto de dados do BigQuery, por exemplo,projects/PROJECT_ID/datasets/DATASET_ID.FOLDER_ID,ORGANIZATION_IDouPROJECT_IDpelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION: o local do Security Command Center em que uma configuração de exportação será criada. Se a residência de dados estiver ativada, useeu,saouus. Caso contrário, use o valorglobal.DESCRIPTIONcom uma descrição legível por humanos da configuração de exportação. Essa variável é opcional.FILTERpor uma expressão que define quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite"category=\"XSS_SCRIPTING\". Essa variável é opcional.
Use as flags a seguir para configurar se você quer receber notificações sobre descobertas excluídas. Se você não especificar nenhuma flag, o comportamento padrão será não exportar as descobertas excluídas.
--deletion-notifications-enabled: ativar notificações para descobertas excluídas devido a políticas de retenção. Quando ativadas, as descobertas excluídas são exportadas para o BigQuery comdeleted_finding = true. Essa flag se aplica apenas a eventos de exclusão futuros. As descobertas excluídas antes da ativação dessa flag não são exportadas retroativamente.--no-deletion-notifications-enabled: desativa as notificações de descobertas excluídas.
Terraform
Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform. Para mais informações, consulte a documentação de referência do provedor Terraform.
Crie uma configuração de exportação para uma organização:
Crie uma configuração de exportação para uma pasta:
Crie uma configuração de exportação para um projeto:
Java
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Você verá as descobertas no seu conjunto de dados do BigQuery cerca de 15 minutos depois de criar a configuração de exportação. Após a criação da tabela do BigQuery, todas as descobertas novas e atualizadas que corresponderem ao filtro e escopo aparecerão quase em tempo real na tabela.
Para conferi-las, consulte Conferir descobertas.
Criar uma regra de entrada para a nova exportação para o BigQuery
Se você usar o VPC Service Controls e o conjunto de dados do BigQuery fizer parte de um projeto dentro de um perímetro de serviço, será necessário criar uma regra de entrada para uma nova exportação para o BigQuery.
Console
Navegar até o perímetro de serviço
-
Abra novamente o perímetro de serviço da seção anterior.
Adicionar regra de entrada
- Clique em Política de entrada.
- Clique em Adicionar uma regra de entrada.
-
Na seção De, defina os seguintes detalhes:
- Em Identidades > Identidade, escolha Selecionar identidades e grupos.
- Clique em Adicionar identidades.
Insira o endereço de e-mail que identifica o agente de serviço de configuração do BigQuery Export. Esse endereço tem o seguinte formato:
service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com
Substitua
ORGANIZATION_IDpelo ID da organização.- Selecione o agente de serviço ou pressione ENTER e clique em Adicionar identidades.
-
Na seção Para, defina os seguintes detalhes:
- Em Recursos > Projetos, escolha Selecionar projetos.
- Clique em Adicionar projetos e adicione o projeto que contém o conjunto de dados do BigQuery.
- Em Operações ou papéis do IAM, selecione Selecionar operações.
-
Clique em Adicionar operações e adicione as seguintes operações:
- Adicione o serviço bigquery.googleapis.com.
- Clique em Todos os métodos.
- Clique em Adicionar todos os métodos.
- Adicione o serviço bigquery.googleapis.com.
- Clique em Salvar.
gcloud
-
Se um projeto de cota ainda não estiver definido, defina-o. Escolha um projeto que tenha a API Access Context Manager ativada.
gcloud config set billing/quota_project QUOTA_PROJECT_ID
Substitua
QUOTA_PROJECT_IDpelo ID do projeto que você quer usar para faturamento e cota. -
Crie um arquivo chamado
ingress-rule.yamlcom o seguinte conteúdo:- ingressFrom: identities: - serviceAccount:service-org-ORGANIZATION_ID@gcp-sa-scc-notification.iam.gserviceaccount.com sources: - accessLevel: '*' ingressTo: operations: - serviceName: bigquery.googleapis.com methodSelectors: - method: '*' resources: - projects/PROJECT_ID
Substitua
ORGANIZATION_IDpelo ID da organização.Substitua
PROJECT_IDpelo ID do projeto que contém o conjunto de dados do BigQuery. -
Adicione a regra de entrada ao perímetro:
gcloud access-context-manager perimeters update PERIMETER_NAME \ --set-ingress-policies=ingress-rule.yaml
Substitua:
-
PERIMETER_NAME: o nome do perímetro. Por exemplo,accessPolicies/1234567890/servicePerimeters/example_perimeter.Para encontrar o perímetro de serviço que você precisa modificar, verifique se há entradas nos registros que mostram violações de
RESOURCES_NOT_IN_SAME_SERVICE_PERIMETER. Nessas entradas, verifique o camposervicePerimeterName:accessPolicies/ACCESS_POLICY_ID/servicePerimeters/SERVICE_PERIMETER_NAME
-
Para mais informações, consulte Regras de entrada e saída.
Os projetos, usuários e contas de serviço selecionados agora podem acessar os recursos protegidos e exportar as descobertas.
Se você seguiu todas as etapas deste guia e as exportações estão funcionando corretamente, agora é possível excluir o seguinte:
- A regra de entrada do principal
- A regra de saída para a principal
Essas regras só eram necessárias para definir a configuração de exportação. No entanto, para que as configurações de exportação continuem funcionando, é necessário manter a regra de entrada criada anteriormente, que permite ao Security Command Center exportar descobertas para o conjunto de dados do BigQuery por trás do perímetro de serviço.
Ver os detalhes de uma configuração de exportação
gcloud
Acesse o console do Google Cloud .
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para verificar os detalhes da configuração de exportação, execute este comando:
gcloud scc bqexports get BIGQUERY_EXPORT \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATIONSubstitua:
BIGQUERY_EXPORTpelo nome desta configuração de exportação.FOLDER_ID,ORGANIZATION_IDouPROJECT_IDpelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION: o local do Security Command Center em que uma configuração de exportação será criada. Se a residência de dados estiver ativada, useeu,saouus. Caso contrário, use o valorglobal.Por exemplo, para receber uma configuração de exportação chamada
my-bq-exportde uma organização com um ID da organização definido como123, execute:gcloud scc bqexports get my-bq-export \ --organization=123 \ --location=global
Java
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Atualizar uma configuração de exportação
Quando necessário, é possível modificar o filtro, o conjunto de dados e a descrição de uma configuração de exportação existente. Não é possível alterar o nome da configuração de exportação.
gcloud
Acesse o console do Google Cloud .
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para atualizar uma configuração de exportação, execute este comando:
gcloud scc bqexports update BIGQUERY_EXPORT \ --dataset=DATASET_NAME \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION \ [--description=DESCRIPTION] \ [--filter=FILTER] \ [--deletion-notifications-enabled]Substitua:
BIGQUERY_EXPORTpelo nome da configuração de exportação que você quer atualizar.DATASET_NAMEpelo nome do conjunto de dados do BigQuery, por exemplo,projects/PROJECT_ID/datasets/DATASET_ID.FOLDER_ID,ORGANIZATION_IDouPROJECT_IDpelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION: o local do Security Command Center em que a configuração de exportação será atualizada. Se a residência de dados estiver ativada, useeu,saouus. Caso contrário, use o valorglobal.DESCRIPTIONcom uma descrição legível por humanos da configuração de exportação. Essa variável é opcional.FILTERpor uma expressão que define quais descobertas serão incluídas na exportação. Por exemplo, se você quiser filtrar a categoria XSS_SCRIPTING, digite"category=\"XSS_SCRIPTING\". Essa variável é opcional.
Use as flags a seguir para configurar se você quer receber notificações sobre descobertas excluídas. Se você não especificar nenhuma flag, o comportamento padrão será não exportar as descobertas excluídas.
--deletion-notifications-enabled: ativar notificações para descobertas excluídas devido a políticas de retenção. Quando ativadas, as descobertas excluídas são exportadas para o BigQuery comdeleted_finding = true. Essa flag se aplica apenas a eventos de exclusão futuros. As descobertas excluídas antes da ativação dessa flag não são exportadas retroativamente.--no-deletion-notifications-enabled: desativa as notificações de descobertas excluídas.
Java
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Ver todas as configurações de exportação
Você pode ver todas as configurações de exportação na organização, na pasta ou no projeto.
gcloud
Acesse o console do Google Cloud .
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para listar as configurações de exportação, execute este comando:
gcloud scc bqexports list \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATION \ [--limit=LIMIT] \ [--page-size=PAGE_SIZE]Substitua:
FOLDER_ID,ORGANIZATION_IDouPROJECT_IDpelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.Se você especificar um ID da organização, a lista incluirá todas as configurações de exportação definidas nessa organização, inclusive as de níveis da pasta e do projeto. Se você especificar um ID de pasta, a lista incluirá todas as configurações de exportação definidas no nível da pasta e nos projetos dentro dessa pasta. Se você especificar um número ou ID do projeto, a lista incluirá todas as configurações de exportação apenas para esse projeto.
LOCATION: o local do Security Command Center em que as configurações de exportação serão listadas. Se a residência de dados estiver ativada, useeu,saouus. Caso contrário, use o valorglobal.LIMITpelo número de configurações de exportação que você quer ver. Essa variável é opcional.PAGE_SIZEpor um valor de tamanho de página. Essa variável é opcional.
Java
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Excluir uma configuração de exportação
Se você não precisar mais de uma configuração de exportação, será possível excluí-la.
gcloud
Acesse o console do Google Cloud .
Selecione o projeto para o qual você ativou a API Security Command Center.
Clique em Ativar o Cloud Shell.
Para excluir uma configuração de exportação, execute este comando:
gcloud scc bqexports delete BIGQUERY_EXPORT \ --folder=FOLDER_ID | --organization=ORGANIZATION_ID | --project=PROJECT_ID \ --location=LOCATIONSubstitua:
BIGQUERY_EXPORTpelo nome da configuração de exportação que você quer excluir.FOLDER_ID,ORGANIZATION_IDouPROJECT_IDpelo nome da pasta, organização ou projeto. Defina uma dessas opções. Para pastas e organizações, o nome é o ID da pasta ou o ID da organização. Para projetos, o nome é o número do projeto ou o ID do projeto.LOCATION: o local do Security Command Center em que a configuração de exportação será excluída. Se a residência de dados estiver ativada, useeu,saouus. Caso contrário, use o valorglobal.Por exemplo, para excluir uma configuração de exportação chamada
my-bq-exportde uma organização com um ID da organização definido como123, execute:gcloud scc bqexports delete my-bq-export \ --organization=123 \ --location=global
Java
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Para autenticar no Security Command Center, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Depois de excluir a configuração de exportação, você pode remover os dados pelo Data Studio. Para ver mais informações, consulte Remover, excluir e restaurar uma fonte de dados.
Analisar descobertas no BigQuery
Depois que você cria uma configuração de exportação, as novas descobertas são exportadas para o conjunto de dados do BigQuery no projeto especificado.
Para analisar as descobertas no BigQuery, faça o seguinte:
Acesse o projeto no BigQuery.
Selecione um projeto.
No painel Explorer, expanda o nó do projeto.
Expanda seu conjunto de dados.
Clique na tabela findings.
Na guia aberta, clique em Visualizar. Um conjunto de dados de amostra é exibido.
Consultas úteis
Nesta seção, você vai ver exemplos de consultas
para analisar os dados das descobertas. Nos exemplos a seguir, substitua DATASET pelo nome atribuído ao conjunto de dados e PROJECT_ID pelo nome do projeto do conjunto de dados.
Para resolver problemas que encontrar, consulte Mensagens de erro.
O número de novas descobertas criadas e atualizadas diariamente
SELECT
FORMAT_DATETIME("%Y-%m-%d", event_time) AS date,
count(DISTINCT finding_id)
FROM `PROJECT_ID.DATASET.findings`
GROUP BY date
ORDER BY date DESC
O registro mais recente de cada descoberta
SELECT
* EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
)
WHERE row = 1
Descobertas atuais que estão ativas, ordenadas por tempo
WITH latestFindings AS (
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
ORDER BY event_time DESC
Descobertas atuais em um projeto
WITH latestFindings AS (
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
WHERE resource.project_display_name = 'PROJECT'
Substitua PROJECT pelo nome do projeto.
Descobertas atuais em uma pasta
WITH latestFindings AS(
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding, resource
FROM latestFindings
CROSS JOIN UNNEST(resource.folders) AS folder
WHERE folder.resource_folder_display_name = 'FOLDER'
Substitua FOLDER pelo nome da pasta.
Descobertas atuais do scanner Logging Scanner
WITH latestFindings AS (
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
CROSS JOIN UNNEST(finding.source_properties) AS source_property
WHERE source_property.key = "ScannerName"
AND source_property.value = "LOGGING_SCANNER"
Descobertas ativas atuais do tipo Persistence: IAM Anomalous Grant
WITH latestFindings AS(
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT finding_id, event_time, finding
FROM latestFindings
WHERE finding.state = "ACTIVE"
AND finding.category = "Persistence: IAM Anomalous Grant"
Correlacionar descobertas ativas de um determinado tipo com os Registros de auditoria do Cloud
Este exemplo de consulta ajuda a investigar descobertas de concessão de IAM anômalas do Event Threat Detection usando os Registros de auditoria do Cloud exibindo a sequência de ações de atividade do administrador no período durante a janela de tempo que precede e sucede a ação de concessão de IAM anômala. A consulta a seguir correlaciona os registros de atividade do administrador entre 1 hora antes e 1 hora depois do carimbo de data/hora da descoberta.
WITH latestFindings AS(
SELECT * EXCEPT(row)
FROM (
SELECT *, ROW_NUMBER() OVER(
PARTITION BY finding_id
ORDER BY event_time DESC, finding.mute_update_time DESC
) AS row
FROM `PROJECT_ID.DATASET.findings`
) WHERE row = 1
)
SELECT
finding_id,
ANY_VALUE(event_time) as event_time,
ANY_VALUE(finding.access.principal_email) as grantor,
JSON_VALUE_ARRAY(ANY_VALUE(finding.source_properties_json), '$.properties.sensitiveRoleGrant.members') as grantees,
ARRAY_AGG(
STRUCT(
timestamp,
IF(timestamp < event_time, 'before', 'after') as timeline,
protopayload_auditlog.methodName,
protopayload_auditlog.resourceName,
protopayload_auditlog.serviceName
)
ORDER BY timestamp ASC
) AS recent_activity
FROM (
SELECT
f.*,
a.*,
FROM latestFindings AS f
LEFT JOIN `PROJECT_ID.DATASET.cloudaudit_googleapis_com_activity` AS a
ON a.protopayload_auditlog.authenticationInfo.principalEmail = f.finding.access.principal_email
WHERE f.finding.state = "ACTIVE"
AND f.finding.category = "Persistence: IAM Anomalous Grant"
AND a.timestamp >= TIMESTAMP_SUB(f.event_time, INTERVAL 1 HOUR)
AND a.timestamp <= TIMESTAMP_ADD(f.event_time, INTERVAL 1 HOUR)
)
GROUP BY
finding_id
ORDER BY
event_time DESC
O resultado será o seguinte:
Criar gráficos no Data Studio
O Data Studio permite criar relatórios e painéis interativos.
Em geral, são cobrados os custos de uso do BigQuery ao acessar o BigQuery pelo Data Studio. Saiba mais em Como visualizar dados do BigQuery com o Data Studio.
Para criar um gráfico que visualize os dados de descobertas por gravidade e categoria, faça o seguinte:
- Abra o Data Studio e faça login.
- Se solicitado, forneça informações adicionais e configure outras preferências. Leia os Termos de Serviço e, se você concordar, prossiga.
- Clique em Relatório em branco.
- Na guia Conectar aos dados, clique no card do BigQuery.
- Se necessário, autorize o Data Studio a acessar os projetos do BigQuery.
Conecte-se aos dados de descoberta:
- Em Projeto, selecione o projeto para o conjunto de dados. Ou, na guia Meus projetos, insira o ID do projeto para pesquisá-lo.
- Em Conjunto de dados, clique no nome do conjunto de dados.
- Em Tabela, clique em findings.
- Clique em Add.
- Na caixa de diálogo, clique em Adicionar ao relatório.
Após adicionar o relatório, clique em Adicionar um gráfico.
Clique em Gráfico de colunas empilhadas e, em seguida, clique na área em que você quer colocá-lo.
No painel Gráfico > Barra, na guia Dados, defina os seguintes campos:
- No campo Dimensão, selecione finding.severity.
- No campo Dimensão de detalhamento, selecione finding.category.
O relatório é atualizado para mostrar várias colunas com descobertas divididas por gravidade e categoria.
A seguir
- Saiba como criar uma exportação em massa para o BigQuery.
- Saiba como executar uma consulta no BigQuery.