Conectores sem estado: artigo

Este artigo detalha as atualizações novas e significativas nos nossos conectores e na infraestrutura deles.

Contexto

Os conectores do Google Security Operations são as principais fontes de dados da plataforma SOAR. Cada conector é a principal arca de ingestão na plataforma. Para monitorar o funcionamento adequado desse componente, o departamento do Google Security Operations Marketplace usa arquivos de metadados para armazenar o estado do conector. Até agora, esses arquivos eram salvos na pasta de execução do conector.

Por que os arquivos não são mais necessários

Não é necessário armazenar arquivos ao oferecer uma solução de SAAS, já que fornecemos suporte sem estado para as principais funcionalidades do sistema Google SecOps.

Os arquivos não são sustentáveis e podem ser perdidos. Ao pensar em aumentar ou reduzir a escala e aproveitar ao máximo a arquitetura de microsserviços, trabalhar com arquivos locais não é mais relevante.

Para melhorar nosso mecanismo de rastreamento de estado e um dos nossos procedimentos mais importantes no sistema, criamos a seguinte solução.

Visão geral da solução

A solução é armazenar tudo relacionado ao estado do conector na instância do Google SecOps. Cada conector tem um local de armazenamento próprio na instância do Google SecOps, onde todos os dados são mantidos.

Um novo conceito de "Contexto do conector" será apresentado.

Alguns problemas a serem observados

Arquivo Map.json

Os clientes que usam o arquivo map.json para mapeamento avançado de ambientes no Google SecOps agora precisam migrar para uma versão mais recente dos recursos de mapeamento de ambientes, os aliases de ambiente. Para mais instruções, acesse nosso site de documentação.

Processo de upgrade do conector

Ao atualizar o conector, o estado dele não é transferido do sistema de arquivos para o contexto do conector. Ou seja, a primeira execução do conector na nova solução é considerada a primeira execução. Portanto, podem ocorrer casos de duplicação por volta do horário da atualização.

Restrição de tamanho

Alguns dos nossos conectores mantêm uma capacidade de rastreamento compatível com versões anteriores para se adequar melhor à API do produto com que estamos integrando. Esse comportamento foi representado nos parâmetros de configuração do conector, geralmente chamados de "Período de padding" ou "Intervalo de tempo de busca para trás" ou semelhantes. Agora, vamos ter outra limitação, que é o tamanho real dos dados armazenados. Por padrão, o limite é de 3 milhões de caracteres. Essa limitação deve ser suficiente para a maioria dos casos.

Se, por acaso, essa limitação for atingida, vamos registrar o evento e tentar manter a funcionalidade máxima dentro da limitação.

Próximas etapas

  1. Verifique se você está usando os aliases de ambiente para mapeamento avançado de ambiente e não o arquivo map.json.
  2. Faça a atualização em um momento em que duplicatas não sejam um problema para você.
  3. Revise os parâmetros de "Intervalo de tempo de busca para trás" nos conectores e verifique se eles não estão tentando manter um período longo (recomenda-se entre um dia e uma semana).

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.