Exporte registos não processados para um Google Cloud contentor de armazenamento autogerido

Suportado em:

Google secops SIEM

Nota: esta funcionalidade está abrangida pelos Termos das Ofertas de Pré-DG dos Termos Específicos do serviço Google Security Operations. As funcionalidades de pré-DG podem ter suporte limitado e as alterações às funcionalidades de pré-DG podem não ser compatíveis com outras versões de pré-DG. Para mais informações, consulte as diretrizes do serviço de apoio técnico do Google SecOps e os termos específicos do serviço do Google SecOps.

Nota: acesso antecipado: para ativar as funcionalidades melhoradas da API Google Data Export, contacte o apoio técnico para o seu inquilino do Google SecOps. A ativação desta funcionalidade concede-lhe acesso a novos métodos da API e atributos melhorados.

A API Data Export facilita a exportação em massa dos seus dados de segurança do Google Security Operations para um contentor do Google Cloud Storage que controla. Esta capacidade suporta a retenção de dados críticos a longo prazo, bem como a análise forense do histórico e os requisitos de conformidade rigorosos (como SOX, HIPAA e RGPD).

Importante: depois de ativar a nova API melhorada, não pode usar a API para aceder às suas tarefas antigas existentes.

Para mais detalhes sobre a API Data Export, consulte o artigo API Data Export (melhorada)

A API Data Export oferece uma solução escalável e fiável para exportações de dados num determinado momento e processa pedidos de até 100 TB.

Como pipeline gerido, oferece funcionalidades essenciais de nível empresarial, incluindo:

• Voltas a tentar automáticas em erros temporários
• Monitorização abrangente do estado das tarefas
• Uma trilha de auditoria completa para cada tarefa de exportação

A API divide logicamente os dados exportados por data e hora no seu contentor do Google Cloud Storage.

Esta funcionalidade permite-lhe criar fluxos de trabalho de descarregamento de dados em grande escala. O Google SecOps gere a complexidade do processo de exportação para oferecer estabilidade e desempenho.

Principais vantagens

A API Data Export oferece uma solução resiliente e auditável para gerir o ciclo de vida dos seus dados de segurança.

• Fiabilidade: o serviço processa transferências de dados em grande escala. O sistema usa uma estratégia de recuo exponencial para tentar novamente automaticamente tarefas de exportação que encontram problemas transitórios (por exemplo, problemas de rede temporários), o que o torna resiliente. Se a tarefa de exportação falhar devido a um erro temporário, o sistema tenta automaticamente várias vezes. Se uma tarefa falhar permanentemente após todas as tentativas, o sistema atualiza o respetivo estado para FINISHED_FAILURE e a resposta da API para essa tarefa contém uma mensagem de erro detalhada que explica a causa.

• Capacidade de auditoria abrangente: para cumprir normas de conformidade e segurança rigorosas, o sistema captura todas as ações relacionadas com uma tarefa de exportação num registo de auditoria imutável. Esta trilha inclui a criação, o início, o êxito ou a falha de cada tarefa, juntamente com o utilizador que iniciou a ação, uma indicação de tempo e os parâmetros da tarefa.

  Nota: a versão atual da API não tem um agendador incorporado para configurar uma exportação diária para conformidade. Para configurar uma exportação diária recorrente, tem de criar a sua própria automatização.

• Otimizada para desempenho e escala: a API usa um sistema de gestão de tarefas robusto. Este sistema inclui filas e priorização para oferecer estabilidade à plataforma e impedir que um único inquilino monopolize os recursos.

• Integridade e acessibilidade dos dados melhoradas: o sistema organiza automaticamente os dados numa estrutura de diretórios lógica no seu contentor do Google Cloud Storage, o que ajuda a localizar e consultar intervalos de tempo específicos para análise histórica.

Palavras-chave e conceitos

• Tarefa de exportação: uma única operação assíncrona para exportar um intervalo de tempo específico de dados de registo para um contentor do Google Cloud Storage. O sistema acompanha cada tarefa com um dataExportId exclusivo.
• Estado da tarefa: o estado atual de uma tarefa de exportação no respetivo ciclo de vida (por exemplo, IN_QUEUE, PROCESSING, FINISHED_SUCCESS).
• Contentor do Google Cloud Storage: um contentor do Google Cloud Storage pertencente ao utilizador que serve como destino para os dados exportados.
• Tipos de registos: estas são as categorias específicas de registos que pode exportar (por exemplo, NIX_SYSTEM, WINDOWS_DNS e CB_EDR). Para mais detalhes, consulte a lista de todos os tipos de registos suportados.

Compreenda a estrutura dos dados exportados

Quando uma tarefa é concluída com êxito, o sistema escreve os dados no seu contentor do Google Cloud Storage. Usa uma estrutura de diretórios específica e particionada para simplificar o acesso e a consulta de dados.

Estrutura do caminho do diretório: gs://<gcs-bucket-name>/<export-job-name>/<logtype>/<event-time-bucket>/<epoch_execution_time>/<file-shard-name>.csv

• gcs-bucket-name: o nome do seu contentor do Google Cloud Storage.
• export-job-name: o nome exclusivo da sua tarefa de exportação.
• logtype: o nome do tipo de registo para os dados exportados.

• event-time-bucket: o intervalo de horas das datas/horas dos eventos dos registos exportados.

  O formato é uma data/hora UTC: year/month/day/UTC-timestamp (em que UTC-timestamp é hour/minute/second).
  Por exemplo, 2025/08/25/01/00/00 refere-se a UTC 01:00:00 AM, August 25, 2025.

• epoch-execution-time: o valor de tempo da época Unix, que indica quando a tarefa de exportação começou.

• file-shard-name: o nome dos ficheiros divididos que contêm registos não processados. Cada fragmento de ficheiro tem um limite de tamanho de ficheiro superior de 100 MB.

Desempenho e limitações

O serviço tem limites específicos para garantir a estabilidade da plataforma e a atribuição justa de recursos.

• Volume máximo de dados por tarefa: cada tarefa de exportação individual pode pedir até 100 TB de dados. Para conjuntos de dados maiores, recomendamos que divida a exportação em vários trabalhos com intervalos de tempo mais pequenos.
• Tarefas simultâneas: cada inquilino do cliente pode executar ou colocar em fila um máximo de 3 tarefas de exportação em simultâneo. O sistema rejeita qualquer novo pedido de criação de tarefas que exceda este limite.
• Tempos de conclusão das tarefas: o volume de dados exportados determina os tempos de conclusão das tarefas. Uma única tarefa pode demorar até 18 horas.
• Formato de exportação e âmbito dos dados: esta API suporta exportações em massa e num determinado momento, com as seguintes limitações e funcionalidades:
  • Apenas registos não processados: só pode exportar registos não processados (não registos UDM, eventos UDM nem deteções). Para exportar dados da UDM, consulte o artigo Configure a exportação de dados para o BigQuery num projeto Google Cloud autogerido.
  • Compressão de dados: a API exporta dados como texto não comprimido.

Pré-requisitos e arquitetura

Esta secção descreve a arquitetura do sistema e os requisitos necessários para usar a API Data Export, e detalha a arquitetura do sistema. Use estas informações para verificar se o seu ambiente está configurado corretamente.

Antes de começar

Antes de usar a API Data Export, conclua estes passos pré-requisitos para configurar o destino do Google Cloud Storage e conceder as autorizações necessárias.

1. Conceda autorizações ao utilizador da API: para usar a API Data Export, precisa das seguintes funções do IAM.

   • Chronicle administrator (creating/managing jobs): concede autorizações completas para criar, atualizar, cancelar e ver tarefas de exportação através da API.
   • Chronicle Viewer: concede acesso só de leitura para ver as configurações das tarefas e o histórico através da API.

2. Crie um contentor do Google Cloud Storage: no seu Google Cloudprojeto, crie um novo contentor do Google Cloud Storage (o destino dos seus dados exportados) na mesma região que o seu inquilino do Google SecOps. Torne-o privado para evitar o acesso não autorizado. Para ver detalhes, consulte o artigo Crie um contentor.

3. Conceda autorizações à conta de serviço: conceda à conta de serviço do Google SecOps, que está associada ao seu inquilino do Google SecOps, as funções do IAM necessárias para escrever dados no seu contentor.

   1. Chame o ponto final da API FetchServiceAccountForDataExport para identificar a conta de serviço exclusiva da sua instância do Google SecOps. A API devolve o email da conta de serviço.

      Exemplo de pedido:

      {
        "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
      }
      

      Exemplo de resposta:

      {
        "service_account_email": "[e-mail]"
      }
      

   2. Conceda ao principal da conta de serviço do Google SecOps a seguinte função do IAM para o contentor do Google Cloud Storage de destino: esta função permite que o serviço do Google SecOps escreva ficheiros de dados exportados no seu contentor do Google Cloud Storage.

      • Storage object administrator (roles/storage.objectAdmin)
      • Legacy bucket reader (roles/storage.legacyBucketReader)

      Para mais detalhes, consulte o artigo Conceda acesso à conta de serviço do Google SecOps.

4. Conclua a autenticação: a API Data Export autentica as suas chamadas. Para configurar esta autenticação, siga as instruções nas secções seguintes:

   1. Métodos de autenticação para Google Cloud serviços
   2. Credenciais padrão da aplicação

Principais exemplos de utilização

A API Data Export oferece um conjunto de pontos finais para criar tarefas de exportação de dados e gerir todo o ciclo de vida da exportação de dados em massa. Realiza todas as interações através de chamadas API.

Os seguintes exemplos de utilização descrevem como criar, monitorizar e gerir tarefas de exportação de dados.

Fluxo de trabalho principal

Esta secção explica como gerir o ciclo de vida das tarefas de exportação.

Crie uma nova tarefa de exportação de dados

O sistema armazena as especificações da tarefa de exportação de dados na instância do Google SecOps do recurso principal. Esta instância é a origem dos dados de registo para a tarefa de exportação.

• Identifique a conta de serviço exclusiva da sua instância do Google SecOps. Para ver detalhes, consulte FetchServiceAccountForDataExports.

• Para iniciar uma nova exportação, envie um pedido POST para o ponto final dataExports.create.
  Para obter detalhes, consulte o ponto final CreateDataExport.

Monitorize o estado da tarefa de exportação de dados

Veja os detalhes e o estado da tarefa de exportação de dados de uma tarefa de exportação específica ou defina um filtro para ver determinados tipos de tarefas.

• Para ver uma tarefa de exportação específica, consulte GetDataExport.

• Para listar determinados tipos de tarefas de exportação de dados através de um filtro, consulte o artigo ListDataExport.

Faça a gestão dos trabalhos em fila

Pode modificar ou cancelar uma tarefa quando esta se encontra no estado IN_QUEUE.

• Para alterar os parâmetros (como o intervalo de tempo, a lista de tipos de registos ou o contentor de destino), consulte UpdateDataExport.

• Para cancelar uma tarefa em fila, consulte CancelDataExport.

Resolva problemas comuns

A API fornece mensagens de erro detalhadas para ajudar a diagnosticar problemas.

Código canónico	Mensagem de erro
INVALID_ARGUMENT	INVALID_REQUEST: parâmetro de pedido inválido <Parameter1, Parameter2,..>. Corrija os parâmetros do pedido e tente novamente.
NOT_FOUND	BUCKET_NOT_FOUND: o contentor do Google Cloud Storage de destino <bucketName> não existe. Crie o contentor do Google Cloud Storage de destino e tente novamente.
NOT_FOUND	REQUEST_NOT_FOUND: o dataExportId:<dataExportId> não existe. Adicione um dataExportId válido e tente novamente.
FAILED_PRECONDITION	BUCKET_INVALID_REGION: a região do contentor do Google Cloud Storage <bucketId>:<region1> não é a mesma que a região do inquilino do SecOps:<region2>. Crie o contentor do Google Cloud Storage na mesma região que o inquilino do SecOps e tente novamente.
FAILED_PRECONDITION	INSUFFICIENT_PERMISSIONS: a conta de serviço <P4SA> não tem autorizações storage.objects.create, storage.objects.get e storage.buckets.get no contentor do Google Cloud Storage de destino <bucketName>. Conceda o acesso necessário à conta de serviço e tente novamente.
FAILED_PRECONDITION	INVALID_UPDATE: O estado do pedido está na fase <status> e não pode ser atualizado. Só pode atualizar o pedido se o estado estiver na fase IN_QUEUE.
FAILED_PRECONDITION	INVALID_CANCELLATION: o estado do pedido está na fase <status> e não pode ser cancelado. Só pode cancelar o pedido se o estado estiver na fase IN_QUEUE.
RESOURCE_EXHAUSTED	CONCURRENT_REQUEST_LIMIT_EXCEEDED: foi atingido o limite máximo de pedidos simultâneos <limit> para o tamanho do pedido <sizelimit>. Aguarde a conclusão dos pedidos existentes e tente novamente.
RESOURCE_EXHAUSTED	REQUEST_SIZE_LIMIT_EXCEEDED: o volume de exportações estimado: <estimatedVolume> para o pedido é superior ao volume de exportações máximo permitido: <allowedVolume> por pedido. Tente novamente com um pedido dentro do limite de volume de exportação permitido.
INTERNO	INTERNAL_ERROR: ocorreu um erro interno. Tente novamente.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.