Analisar a ingestão com o Cloud Monitoring

Compatível com:

Google SecOps SIEM

Atenção: as APIs Ingestion e Backstory descritas neste documento estão descontinuadas e serão desativadas em 20 de julho de 2027. Para ingerir dados no Google SecOps, use a API Chronicle. Para detalhes sobre como migrar, consulte Migrar da API SIEM legada para a API Chronicle.

Neste documento, descrevemos como usar o Cloud Monitoring para receber notificações de ingestão. O Google SecOps usa o Cloud Monitoring para enviar as notificações de ingestão. Use esse recurso para notificações e visualização do volume de ingestão. Você pode integrar as notificações por e-mail aos fluxos de trabalho atuais. As notificações são acionadas quando os valores de ingestão atingem determinados níveis predefinidos. Na documentação do Cloud Monitoring, as notificações são chamadas de alertas.

Observação: para monitorar o status operacional e a integridade de todas as suas origens de dados e analisadores, acesse o Hub de integridade. Ele inclui informações sobre fontes e tipos de registros com falhas e irregulares, além de fornecer contexto para diagnosticar e corrigir problemas.

Antes de começar

• Conheça o Cloud Monitoring.

• Configure um projeto Google Cloud para o Google SecOps.

• Verifique se seu papel do Identity and Access Management inclui as permissões do papel roles/monitoring.alertPolicyEditor. Para mais informações sobre papéis, consulte Controlar o acesso com o IAM.

• Familiarize-se com a criação de políticas de alertas no Cloud Monitoring. Para mais informações sobre essas etapas, consulte Criar políticas de alertas de limite de métrica.

• Configure o canal de notificação para receber notificações de ingestão por e-mail. Para mais informações sobre essas etapas, consulte Criar e gerenciar canais de notificação.

Configurar uma notificação de ingestão para métricas de integridade

Para configurar notificações que monitoram métricas de integridade de ingestão específicas do Google SecOps, faça o seguinte:

1. No console do Google Cloud , selecione Monitoring.

2. No painel de navegação, selecione Alertas e clique em Criar política.

3. Na página Selecionar uma métrica, clique em Selecionar uma métrica.

4. No menu Selecionar uma métrica, clique em uma das seguintes opções:

   • Botão Ativo para filtrar e mostrar apenas recursos e métricas com dados das últimas 25 horas. Se você não selecionar essa opção, todos os tipos de métricas e recursos serão listados.
   • Ative a opção Nível da organização/pasta para monitorar recursos e métricas, como o uso da cota do consumidor ou a alocação Slot do BigQuery, para sua organização e pastas.

5. Selecione uma das seguintes métricas:

   • Selecione Coletor do Chronicle > Ingestão e escolha Contagem total de registros ingeridos ou Tamanho total de registros ingeridos.

   • Selecione Coletor do Chronicle > Normalizador e escolha Contagem total de registros ou Contagem total de eventos.

   • Selecione Tipo de registro do Chronicle > Outofband e escolha Contagem total de registros ingeridos (feeds) ou Tamanho total de registros ingeridos (feeds).

6. Clique em Aplicar.

Adicionar um filtro

1. Na página Selecionar uma métrica, clique em Adicionar filtro.

   1. Na caixa de diálogo de filtro, selecione o rótulo collector_id, um comparador e o valor do filtro.

   2. Selecione um ou mais dos seguintes filtros:

      • project_id: ID do projeto Google Cloud associado a esse recurso.

      • location: local físico do cluster que contém o objeto do coletor. Recomendamos que você não use esse campo. Se você deixar esse campo em branco, o Google SecOps poderá usar as informações atuais para determinar automaticamente onde armazenar os dados.

      • collector_id: ID do coletor.

      • log_type: nome do tipo de registro.

      • Rótulo da métrica > namespace: namespace do registro.

      • feed_name: nome do feed.

      • LogType: tipo de registro.

      • Rótulo da métrica > event_type: o tipo de evento determina quais campos são incluídos com o evento. O tipo de evento inclui valores como PROCESS_OPEN, FILE_CREATION, USER_CREATION e NETWORK_DNS.

      • Rótulo da métrica > state: status final do evento ou registro. O status é um dos seguintes:

        • parsed: o registro é analisado com sucesso.
        • validated. O registro foi validado.
        • failed_parsing. O registro tem erros de análise.
        • failed_validation. O registro tem erros de validação.
        • failed_indexing. O registro tem erros de indexação em lote.

      • Rótulo da métrica > drop_reason_code: esse campo é preenchido se a origem da ingestão for o encaminhador do Google SecOps e indica o motivo pelo qual um registro foi descartado durante a normalização.

      • Rótulo da métrica > ingestion_source: a origem da ingestão presente no rótulo de ingestão quando os registros são ingeridos usando a API Ingestion.

   3. Selecione um ID de coletor especial. O collector_id também pode ser um ID de encaminhador ou um ID especial com base no método de ingestão:

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:
        Representa registros do Amazon S3, Amazon SQS, Cloud Storage, Cloud Storage (acionado por eventos), Armazenamento de Blobs do Microsoft Azure, API de terceiros e arquivos HTTP(S) (não API).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111:
        Representa agentes de coleta, incluindo o Bindplane (Edição Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112:
        Bindplane Enterprise (Edição Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113:
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114:
        Coletor sem interface. É um coletor do Bindplane ou do OpenTelemetry sem uma camada de gerenciamento do Bindplane.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1115:
        API Chronicle. Para mais informações, consulte Métodos de ingestão.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222:
        Registros ingeridos pelo método HTTPS Push. Isso inclui webhooks, Amazon Kinesis Firehose e feeds do tipo de origem Google Cloud Pub/Sub.

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333:
        Registros do Cloud Storage e registros ingeridos pela Event Threat Detection.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444:
        Registros ingeridos pela integração do feed de Hubs de Eventos do Azure. Isso inclui feeds do tipo de fonte de Hub de Eventos do Microsoft Azure.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb:
        representa todas as fontes de ingestão que usam o método legado da API Backstory Ingestion ou da API Chronicle unstructuredlogentries. Para mais informações, consulte API de ingestão do Google SecOps e Métodos de ingestão.

      • cccccccc-cccc-cccc-cccc-cccccccccccc:
        representa todas as fontes de ingestão que usam o método legado da API Backstory Ingestion ou da API Chronicle udmevents. Para mais informações, consulte API de ingestão do Google SecOps e Métodos de ingestão.

      • dddddddd-dddd-dddd-dddd-dddddddddddd:
        Representa qualquer registro ingerido por processos e integrações internas. Por exemplo, uma ingestão integrada do Google Workspace.

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee:
        Representa o collector_id usado para CreateEntities.

      • Encaminhadores: têm IDs de coletores específicos gerados aleatoriamente.

2. Na seção Transformar dados, faça o seguinte:

   1. Defina o campo Agregação de série temporal como soma.

   2. Defina o campo Agrupar por série temporal como project_id.

      Aviso :não concluir esta etapa pode causar alertas falsos. Isso é ainda mais importante em implantações multirregionais do Google SecOps, em que os encaminhadores podem gerar dados de segurança enganosos.

3. Opcional: configure uma política de alertas com várias condições. Para criar notificações de ingestão com várias condições em uma política de alertas, consulte Políticas com várias condições.

Métricas do encaminhador do Google SecOps e filtros associados

A tabela a seguir descreve as métricas do encaminhador do Google SecOps disponíveis e os filtros associados.

Métrica de encaminhador do Google SecOps	Filtro
Memória do contêiner usada	log_type, collector_id
Disco usado do contêiner	log_type, collector_id
cpu_used do contêiner	log_type, collector_id
Registrar drop_count	log_type, collector_id, input_type, reason
buffer_used	log_type, collector_id, buffer_type, input_type
last_heartbeat	log_type, collector_id, input_type

Configurar uma política de exemplo para detectar encaminhadores silenciosos do Google SecOps

A política de exemplo a seguir detecta todos os encaminhadores do Google SecOps e envia alertas se eles não enviarem registros por 60 minutos. Isso pode não ser útil para todos os encaminhadores do Google SecOps que você quer monitorar. Por exemplo, é possível monitorar uma única origem do registro em um ou vários encaminhadores do Google SecOps com um limite diferente ou excluir encaminhadores do Google SecOps com base na frequência de geração de relatórios.

1. No console do Google Cloud , selecione Monitoring.
   Acessar o Cloud Monitoring
   

2. Clique em Criar política.

3. Na página Selecionar uma métrica, escolha Coletor do Chronicle > Ingestão > Contagem total de registros ingeridos.

4. Clique em Aplicar.

5. Na seção Transformar dados, faça o seguinte:

   1. Defina a Janela contínua para um período de até 1 hora*.
   2. Defina a Função de janela contínua como média.
   3. Defina a Agregação de série temporal como média.
   4. Defina o Agrupamento por série temporal como collector_id. Se não estiver definido para agrupar por collector_id, um alerta será acionado para cada origem do registro.

6. Clique em Próxima.

7. Selecione Ausência de métrica e faça o seguinte:

   1. Defina Gatilho de alerta como Qualquer série temporal viola.
   2. Defina o Horário de ausência do gatilho como um período de até 1 hora.
   3. Insira um nome para a condição e clique em Próxima.

8. Na seção Notificações e nome, faça o seguinte:

   1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
   2. Configure notificações sobre o fechamento de incidentes.
   3. Defina os rótulos de usuário da política em um nível adequado. Use essa configuração para definir o nível de gravidade de um alerta para uma política.
   4. Insira a documentação que você quer enviar como parte do alerta.
   5. Insira um nome para a política de alertas.

Observação: para acionar um alerta em 60 minutos, defina o tempo combinado da janela contínua e do tempo de ausência do acionador como 1 hora.

Adicionar exclusões a uma política abrangente

Talvez seja necessário excluir determinados encaminhadores do Google SecOps de uma política catch-all porque eles podem ter volumes de tráfego baixos ou exigir uma política de alerta mais personalizada.

1. No console do Google Cloud , selecione Monitoring.

2. Na página de navegação, selecione Alertas e, na seção Políticas, escolha a política que você quer editar.

3. Na página Detalhes da política, clique em Editar.

4. Na página Editar política de alertas, na seção Adicionar filtros, selecione Adicionar um filtro e faça o seguinte:

   1. Selecione o marcador collector_id e o coletor que você quer excluir da política.
   2. Defina o comparador como != e o valor como o collector_id que você quer excluir. Depois, clique em Concluído.

   3. Repita para cada coletor que precisa ser excluído. Também é possível usar uma expressão regular para excluir vários coletores com apenas um filtro se quiser usar o seguinte formato:

      (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

5. Clique em Salvar política.

Configurar uma política de exemplo para detectar agentes de coleta silenciosos do Google SecOps

A política de exemplo a seguir detecta todos os agentes de coleta do Google SecOps e envia alertas se eles não enviarem registros por 60 minutos. Essa amostra pode não ser útil para todos os agentes de coleta do Google SecOps que você quer monitorar. Por exemplo, é possível monitorar uma única origem do registro em um ou vários agentes de coleta do Google SecOps com um limite diferente ou excluir agentes de coleta do Google SecOps com base na frequência de relatórios.

1. No console do Google Cloud , selecione Monitoring.
   Acessar o Cloud Monitoring
   

2. Clique em Criar política.

3. Na página Selecionar uma métrica, escolha Coletor do Chronicle > Agente > Contagem de intervalos aceitos do exportador.

4. Clique em Aplicar.

5. Na seção Transformar dados, faça o seguinte:

   1. Defina a Janela contínua como até 1 hora*.
   2. Defina a Função de janela contínua como média.
   3. Defina a Agregação de série temporal como média.
   4. Defina o Agrupamento por série temporal como collector_id. Se não estiver definido para agrupar por collector_id, um alerta será acionado para cada origem do registro.

6. Clique em Próxima.

7. Selecione Ausência de métrica e faça o seguinte:

   1. Defina Gatilho de alerta como Qualquer série temporal viola.
   2. Defina o Horário de ausência do gatilho como até 1 hora*.
   3. Insira um nome para a condição e clique em Próxima.

8. Na seção Notificações e nome, faça o seguinte:

   1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
   2. Configure notificações sobre o fechamento de incidentes.
   3. Defina os rótulos de usuário da política em um nível adequado. Usado para definir o nível de gravidade do alerta de uma política.
   4. Insira a documentação que você quer enviar como parte do alerta.
   5. Insira um nome para a política de alertas.

Observação: para acionar um alerta em 60 minutos, o tempo combinado da janela contínua e do tempo de ausência de acionamento precisa ser definido como 1 hora.

Configurar uma política de exemplo para detectar falhas em um cluster de alta disponibilidade de servidores de firewall

A política de exemplo a seguir detecta quando os dois membros de um cluster ativo-passivo de alta disponibilidade (HA) de servidores de firewall Linux param de gerar relatórios, indicando uma falha.

Na política de exemplo a seguir, os membros do cluster de alta disponibilidade são chamados de prod-linux-server-1 e prod-linux-server-2. Para configurar uma política de amostra que detecte a falha de um cluster de alta disponibilidade de servidores de firewall, faça o seguinte:

1. No console do Google Cloud , selecione Monitoring.
   Acessar o Cloud Monitoring
   

2. Clique em Criar política.

3. Defina o Modo de configuração da política como Builder.

4. Em Selecionar uma métrica, escolha Coletor do Chronicle > Ingestão > Contagem total de registros ingeridos.

5. Clique em Aplicar.

6. Na seção Adicionar filtros, insira o seguinte:

   ingestion_source one_of prod-linux-server-1, prod-linux-server-2

7. Na seção Transformar dados, faça o seguinte:

   1. Defina a Janela contínua como 5 min.
   2. Defina a Função de janela contínua como taxa.
   3. Defina a Agregação de série temporal como média.
   4. Defina o Agrupamento por série temporal como ingestion_source.

8. Clique em Próxima.

9. Nas opções de Tipos de condição, selecione Ausência de métrica e faça o seguinte:

   1. Defina Gatilho de alerta como Todas série temporal violam.

      Observação: quando a opção Todas série temporal violam é selecionada, se um membro do cluster parar de gerar relatórios, nada acontece. Um alerta é acionado somente se os dois membros do cluster pararem de gerar relatórios pelo período especificado, porque todas as série temporal foram violadas.

   2. Defina o Horário de ausência do gatilho como 5 min.

   3. Defina o Nome da condição como Linux-Active-Passive-Firewall-Cluster.

10. Clique em Próxima.

11. Na seção Notificações e nome, faça o seguinte:

    1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
    2. Configure notificações sobre o fechamento de incidentes.
    3. Defina os rótulos de usuário da política em um nível adequado. Usado para definir o nível de gravidade do alerta de uma política.
    4. Insira a documentação que você quer enviar como parte do alerta.
    5. Insira um nome para a política de alertas.

Observação: embora uma política de alertas possa incluir vários clusters de alta disponibilidade, recomendamos que você configure uma política de alertas por cluster de alta disponibilidade.

Ver a ingestão total por tipo de registro

Para conferir os volumes de ingestão por tipo de registro no Cloud Monitoring, faça o seguinte:

1. Na página Configurações, selecione Perfil.

2. Selecione seu perfil do Cloud Monitoring.

3. Na página Perfil, digite Integrações na barra de pesquisa.

4. Selecione Metrics Explorer.

5. Clique em promQL para mudar para o modo de consulta promQL.

6. No campo Consultas, copie o seguinte:

   sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

7. Opcional: filtre um tipo de registro específico e inclua-o na consulta.

   Por exemplo, para ver a ingestão do tipo de registro GCP_CLOUDAUDIT, a consulta seria assim:

   sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))

8. Na seção Resultados, selecione a guia Tabela para conferir os dados resumidos.

9. Opcional: ajuste o período conforme necessário.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.