Conetores sem estado: documento técnico

Este relatório técnico detalha as atualizações novas e significativas aos nossos conetores e à infraestrutura dos conetores.

Contexto

Os conetores do Google Security Operations são as principais origens de dados da plataforma SOAR. Cada conetor é o arco principal do carregamento para a plataforma. Para monitorizar o funcionamento adequado deste componente, o departamento do Google Security Operations Marketplace está a usar ficheiros de metadados para armazenar o estado do conector. Até agora, estes ficheiros eram guardados na pasta de execução do conector.

Por que motivo os ficheiros já não são necessários

Não é necessário armazenar ficheiros quando oferece uma solução SAAS, uma vez que estamos a fornecer apoio técnico sem estado para as principais funcionalidades do sistema Google SecOps.

Os ficheiros não são sustentáveis e podem perder-se. Quando pensa em aumentar ou diminuir a escala e tirar total partido da arquitetura de microsserviços, trabalhar com ficheiros locais deixa de ser relevante.

Para melhorar o nosso mecanismo de controlo de estado e um dos nossos procedimentos mais importantes no sistema, criámos a seguinte solução.

Vista geral da solução

A solução consiste em armazenar tudo o que está relacionado com o estado do conector na instância do Google SecOps. Cada conector tem o seu próprio local de armazenamento na instância do Google SecOps, onde todos os dados são mantidos.

Vai ser introduzido um novo conceito de "Contexto do conector".

Alguns problemas a ter em atenção

Ficheiro map.json

Os clientes que usam o ficheiro map.json para o mapeamento avançado do ambiente no Google SecOps têm agora de migrar para uma versão mais recente das capacidades de mapeamento do ambiente, ou seja, os aliases do ambiente. Para mais instruções, visite o nosso site de documentação aqui mesmo.

Processo de atualização do conetor

Quando atualiza o conetor, o estado do conetor não é transferido do sistema de ficheiros para o contexto do conetor. Isto significa que a primeira execução do conector na nova solução é considerada a primeira execução. Por conseguinte, podem ocorrer duplicações na hora da atualização.

Limitação de tamanho

Alguns dos nossos conetores mantêm uma capacidade de acompanhamento retroativa para se ajustarem melhor à API do produto com o qual estamos a fazer a integração. Este comportamento foi representado nos parâmetros de configuração do conector, normalmente denominados "Período de preenchimento" ou "Intervalo de tempo de obtenção retroativa" ou semelhante. Agora, vamos ter outra limitação, que é o tamanho real dos dados armazenados. Por predefinição, a limitação é de 3 milhões de carateres. Esta limitação deve ser suficiente para a maioria dos casos.

Se, por acaso, este limite for atingido, registamo-lo e tentamos manter a funcionalidade máxima dentro do limite.

Passos seguintes

  1. Certifique-se de que está a usar os alias de ambiente para o mapeamento avançado de ambientes e não o ficheiro map.json.
  2. Certifique-se de que a atualização é feita numa altura em que os duplicados não devem ser um problema para si.
  3. Reveja os parâmetros "Intervalo de tempo de obtenção para trás" nos conetores e certifique-se de que não estão a tentar manter um longo período (recomenda-se entre 1 dia e 1 semana).

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.