Esta página foi traduzida pela API Cloud Translation.

Exportar registros brutos para um bucket de armazenamento Google Cloud autogerenciado

Compatível com:

Google SecOps SIEM

A API Data Export facilita a exportação em massa dos seus dados de segurança das Operações de segurança do Google para um bucket do Google Cloud Storage que você controla. Esse recurso oferece suporte à retenção de dados críticos e de longo prazo, além de análises forenses históricas e requisitos de conformidade rigorosos (como SOX, HIPAA e GDPR).

Importante: depois de ativar a nova API avançada, não será possível usá-la para acessar seus jobs antigos.

Para mais detalhes sobre a API Data Export, consulte API Data Export (avançada).

A API Data Export oferece uma solução escalonável e confiável para exportações de dados pontuais e processa solicitações de até 100 TB.

Como um pipeline gerenciado, ele oferece recursos essenciais de nível empresarial, incluindo:

Novas tentativas automáticas em erros transitórios
Monitoramento abrangente do status do job
Uma trilha de auditoria completa para cada job de exportação

A API particiona logicamente os dados exportados por data e hora no seu bucket do Google Cloud Storage.

Com esse recurso, é possível criar fluxos de trabalho de descarregamento de dados em grande escala. O Google SecOps gerencia a complexidade do processo de exportação para oferecer estabilidade e desempenho.

Principais vantagens

A API Data Export oferece uma solução resiliente e auditável para gerenciar o ciclo de vida dos seus dados de segurança.

Confiabilidade: o serviço processa transferências de dados em grande escala. O sistema usa uma estratégia de espera exponencial para tentar novamente de forma automática jobs de exportação que encontram problemas temporários (por exemplo, problemas de rede temporários), tornando-o resiliente. Se o job de exportação falhar devido a um erro temporário, ele será repetido automaticamente várias vezes. Se um job falhar permanentemente após todas as tentativas, o sistema vai atualizar o status para FINISHED_FAILURE, e a resposta da API para esse job vai conter uma mensagem de erro detalhada que explica a causa.
Auditabilidade abrangente: para atender a padrões rigorosos de conformidade e segurança, o sistema captura todas as ações relacionadas a um job de exportação em uma trilha de auditoria imutável. Esse rastreamento inclui a criação, o início, o sucesso ou a falha de todos os jobs, além do usuário que iniciou a ação, um carimbo de data/hora e os parâmetros do job.

Observação: a versão atual da API não tem um programador integrado para configurar uma exportação diária para conformidade. Para configurar uma exportação diária recorrente, crie sua própria automação.
Otimizada para desempenho e escala: a API usa um sistema robusto de gerenciamento de jobs. Esse sistema inclui filas e priorização para oferecer estabilidade à plataforma e evitar que um único locatário monopolize os recursos.
Integridade e acessibilidade de dados aprimoradas: o sistema organiza automaticamente os dados em uma estrutura de diretório lógica no bucket do Google Cloud Storage, o que ajuda você a localizar e consultar períodos específicos para análise histórica.

Principais termos e conceitos

Job de exportação: uma única operação assíncrona para exportar um período específico de dados de registros para um bucket do Google Cloud Storage. O sistema rastreia cada trabalho com um dataExportId exclusivo.
Status do job: o estado atual de um job de exportação no ciclo de vida dele (por exemplo, IN_QUEUE, PROCESSING, FINISHED_SUCCESS).
Bucket do Google Cloud Storage: um bucket do Google Cloud Storage de propriedade do usuário que serve como destino dos dados exportados.
Tipos de registros: são as categorias específicas de registros que você pode exportar (por exemplo, NIX_SYSTEM, WINDOWS_DNS, CB_EDR). Para mais detalhes, consulte a lista de todos os tipos de registros compatíveis.

Entender a estrutura dos dados exportados

Quando um job é concluído com sucesso, o sistema grava os dados no bucket do Google Cloud Storage. Ele usa uma estrutura de diretório específica e particionada para simplificar o acesso e a consulta de dados.

Estrutura do caminho do diretório:gs://<gcs-bucket-name>/<export-job-name>/<logtype>/<event-time-bucket>/<epoch_execution_time>/<file-shard-name>.csv

gcs-bucket-name: o nome do bucket do Google Cloud Storage.
export-job-name: o nome exclusivo do job de exportação.
logtype: o nome do tipo de registro dos dados exportados.
event-time-bucket: o intervalo de horas dos carimbos de data/hora dos eventos dos registros exportados.

O formato é um carimbo de data/hora UTC: year/month/day/UTC-timestamp (em que UTC-timestamp é hour/minute/second).
Por exemplo, 2025/08/25/01/00/00 se refere a UTC 01:00:00 AM, August 25, 2025.
epoch-execution-time: o valor de tempo da época Unix, indicando quando o job de exportação começou.
file-shard-name: o nome dos arquivos fragmentados que contêm registros brutos. Cada fragmento de arquivo tem um limite máximo de tamanho de 100 MB.

Desempenho e limitações

O serviço tem limites específicos para garantir a estabilidade da plataforma e a alocação justa de recursos.

Volume máximo de dados por job: cada job de exportação individual pode solicitar até 100 TB de dados. Para conjuntos de dados maiores, recomendamos dividir a exportação em vários jobs com intervalos de tempo menores.
Jobs simultâneos: cada locatário do cliente pode executar ou enfileirar no máximo três jobs de exportação simultaneamente. O sistema rejeita qualquer solicitação de criação de job que exceda esse limite.
Tempos de conclusão do job: o volume de dados exportados determina os tempos de conclusão do job. Um único job pode levar até 18 horas.
Formato de exportação e escopo de dados: essa API oferece suporte a exportações em massa e pontuais, com as seguintes limitações e recursos:
- Somente registros brutos: só é possível exportar registros brutos, não registros ou eventos do UDM nem detecções. Para exportar dados da UDM, consulte Configurar a exportação de dados para o BigQuery em um projeto Google Cloudautogerenciado.
- Compactação de dados: a API exporta dados como texto não compactado.

Pré-requisitos e arquitetura

Esta seção descreve a arquitetura do sistema e os requisitos necessários para usar a API Data Export, além de detalhar a arquitetura do sistema. Use essas informações para verificar se o ambiente está configurado corretamente.

Antes de começar

Antes de usar a API Data Export, conclua estas etapas de pré-requisito para configurar seu destino do Google Cloud Storage e conceder as permissões necessárias.

Conceda permissões ao usuário da API: para usar a API Data Export, você precisa dos seguintes papéis do IAM.
- Chronicle administrator (creating/managing jobs): concede permissões completas para criar, atualizar, cancelar e visualizar jobs de exportação usando a API.
- Chronicle Viewer: concede acesso somente leitura para visualizar configurações e histórico de jobs usando a API.
Crie um bucket do Google Cloud Storage: no seu projeto Google Cloud, crie um bucket do Google Cloud Storage (o destino dos dados exportados) na mesma região do locatário do Google SecOps. Deixe-o particular para evitar acessos não autorizados. Para mais detalhes, consulte Criar um bucket.
Conceder permissões à conta de serviço: conceda à conta de serviço do Google SecOps, que está vinculada ao seu locatário do Google SecOps, os papéis do IAM necessários para gravar dados no bucket.
1. Chame o endpoint de API FetchServiceAccountForDataExport para identificar a conta de serviço exclusiva da sua instância do Google SecOps. A API retorna o e-mail da conta de serviço.
  
  Exemplo de solicitação:
```
{
  "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
}
```
  Exemplo de resposta:
```
{
  "service_account_email": "service-1234@gcp-sa-chronicle.iam.gserviceaccount.com"
}
```
2. Conceda ao principal da conta de serviço do Google SecOps o seguinte papel do IAM para o bucket de destino do Google Cloud Storage: esse papel permite que o serviço do Google SecOps grave arquivos de dados exportados no seu bucket do Google Cloud Storage.
  - Storage object administrator (roles/storage.objectAdmin)
  - Legacy bucket reader (roles/storage.legacyBucketReader)
  Para mais detalhes, consulte Conceder acesso à conta de serviço do Google SecOps.
Concluir a autenticação: a API Data Export autentica suas chamadas. Para configurar essa autenticação, siga as instruções nas seções abaixo:
1. Métodos de autenticação para serviços do Google Cloud
2. Application Default Credentials

Principais casos de uso

A API Data Export oferece um conjunto de endpoints para criar jobs de exportação de dados e gerenciar todo o ciclo de vida da exportação de dados em massa. Você realiza todas as interações usando chamadas de API.

Os casos de uso a seguir descrevem como criar, monitorar e gerenciar jobs de exportação de dados.

Fluxo de trabalho principal

Esta seção explica como gerenciar o ciclo de vida dos seus jobs de exportação.

Criar um job de exportação de dados

O sistema armazena especificações de jobs de exportação de dados na instância do recurso principal do Google SecOps. Essa instância é a origem dos dados de registro do job de exportação.

Identifique a conta de serviço exclusiva da sua instância do Google SecOps. Para mais detalhes, consulte FetchServiceAccountForDataExports.
Para iniciar uma nova exportação, envie uma solicitação POST para o endpoint dataExports.create.
Para mais detalhes, consulte o endpoint CreateDataExport.

Monitorar o status do job de exportação de dados

Confira os detalhes e o status de um job de exportação específico ou defina um filtro para ver determinados tipos de jobs.

Para conferir um job de exportação específico, consulte GetDataExport.
Para listar determinados tipos de jobs de exportação de dados usando um filtro, consulte ListDataExport.

Gerenciar jobs em fila

É possível modificar ou cancelar um job quando ele está no status IN_QUEUE.

Para mudar parâmetros (como o período, a lista de tipos de registros ou o bucket de destino), consulte UpdateDataExport.
Para cancelar um job na fila, consulte CancelDataExport.

Resolver problemas comuns

A API fornece mensagens de erro detalhadas para ajudar a diagnosticar problemas.

Código canônico	Mensagem de erro
INVALID_ARGUMENT	INVALID_REQUEST: parâmetro de solicitação inválido <Parameter1, Parameter2,..>. Corrija os parâmetros da solicitação e tente de novo.
NOT_FOUND	BUCKET_NOT_FOUND: o bucket de destino do Google Cloud Storage <bucketName> não existe. Crie o bucket de destino do Google Cloud Storage e tente de novo.
NOT_FOUND	REQUEST_NOT_FOUND: o dataExportId:<dataExportId> não existe. Adicione um dataExportId válido e tente de novo.
FAILED_PRECONDITION	BUCKET_INVALID_REGION: a região do bucket do Google Cloud Storage <bucketId> <region1> não é a mesma região do locatário do SecOps <region2>. Crie o bucket do Google Cloud Storage na mesma região do locatário do SecOps e tente de novo.
FAILED_PRECONDITION	INSUFFICIENT_PERMISSIONS: a conta de serviço <P4SA> não tem permissões `storage.objects.create`, `storage.objects.get` e `storage.buckets.get` no bucket de destino do Google Cloud Storage <bucketName>. Forneça o acesso necessário à conta de serviço e tente de novo.
FAILED_PRECONDITION	INVALID_UPDATE: o status da solicitação está na etapa <status> e não pode ser atualizado. Só é possível atualizar a solicitação se o status estiver na fase IN_QUEUE.
FAILED_PRECONDITION	INVALID_CANCELLATION: o status da solicitação está na etapa <status> e não pode ser cancelado. Só é possível cancelar a solicitação se o status estiver na fase IN_QUEUE.
RESOURCE_EXHAUSTED	CONCURRENT_REQUEST_LIMIT_EXCEEDED: o limite máximo de solicitações simultâneas <limit> foi atingido para o tamanho da solicitação <sizelimit>. Aguarde a conclusão das solicitações atuais e tente de novo.
RESOURCE_EXHAUSTED	REQUEST_SIZE_LIMIT_EXCEEDED: o volume de exportação estimado <estimatedVolume> para a solicitação é maior que o volume máximo permitido <allowedVolume> por solicitação. Tente de novo com uma solicitação dentro do limite permitido de volume de exportação.
INTERNAL	INTERNAL_ERROR: ocorreu um erro interno. Tente novamente.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.