Os coletores agregados permitem agrupar e encaminhar entradas de registro de todos os recursos em uma pasta ou organização para um destino compatível. É possível usar coletores agregados para armazenar dados de registro em um local central e controlar se os recursos filhos armazenam cópias duplicadas.
Sobre coletores agregados
Um coletor agregado é um coletor no nível da pasta ou da organização que encaminha entradas de registro do recurso em que o coletor está definido e de todos os recursos filhos. Assim como um coletor no nível do projeto, um coletor agregado tem um destino e um filtro que determina quais entradas de registro serão encaminhadas, mas um coletor no nível do projeto encaminha entradas de registro apenas de um único projeto.
Tipos de coletores agregados
É possível criar dois tipos de coletores agregados: de interceptação e sem interceptação, dependendo se você quer que os recursos filhos também encaminhem as entradas de registro. Quando coletores agregados existem na hierarquia de recursos de uma entrada de registro, o Roteador de registros envia a entrada de registro para esses coletores primeiro, e o tipo de coletor determina o que acontece em seguida:
- Coletor agregado de interceptação
Um coletor agregado de interceptação impede que as entradas de registro sejam encaminhadas para coletores em recursos filhos, exceto para os coletores
_Requirednos recursos em que as entradas de registro são originadas. Um coletor agregado de interceptação pode ser útil para evitar que cópias duplicadas de entradas de registro sejam armazenadas em vários locais.Por exemplo, suponha que você precise ativar os registros de auditoria de acesso a dados para fins de auditoria. Para simplificar a análise, você quer armazenar esses registros em um local central. No entanto, por motivos de segurança e custo, você também quer impedir que esses registros sejam armazenados no nível do projeto. Para esse cenário, é possível criar um coletor agregado de interceptação.
- Coletor agregado sem interceptação
Um coletor agregado sem interceptação não afeta como as entradas de registro são encaminhadas para outros coletores. Ou seja, mesmo quando uma entrada de registro corresponde ao filtro de um coletor agregado sem interceptação, essa entrada de registro é encaminhada para outros coletores na hierarquia de recursos da entrada de registro. Um coletor agregado sem interceptação permite manter a visibilidade das entradas de registro nos recursos em que foram geradas.
Por exemplo, é possível criar um coletor agregado sem interceptação que encaminha todas as entradas de registro geradas nas pastas contidas em uma organização para um bucket de registros central. As entradas de registro são armazenadas no bucket de registros central. No entanto, como o coletor não é de interceptação, o Roteador de registros também envia entradas de registro para os coletores de registro no recurso em que foram geradas.
Exemplos de roteamento
Esta seção ilustra como uma entrada de registro originada em um projeto pode fluir pelos coletores na hierarquia de recursos.
Exemplo: não há coletores agregados
Quando não há coletores agregados na hierarquia de recursos da entrada de registro, a entrada de registro é enviada para os coletores de registro no projeto em que a entrada de registro é originada. Um coletor no nível do projeto encaminha a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão do coletor.
Exemplo: existe um coletor agregado sem interceptação
Suponha que um coletor agregado sem interceptação exista na hierarquia de recursos de uma entrada de registro. Depois que o Roteador de registros envia a entrada de registro para o coletor agregado sem interceptação, ocorre o seguinte:
O coletor agregado sem interceptação encaminha a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão, mas não corresponde a nenhum filtro de exclusão.
O Roteador de registros envia a entrada de registro para os coletores de registro no projeto em que a entrada de registro foi originada.
Um coletor no nível do projeto encaminha a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão do coletor.
Exemplo: existe um coletor agregado de interceptação
Suponha que um coletor agregado de interceptação exista na hierarquia de recursos de uma entrada de registro. Depois que o Roteador de registros envia a entrada de registro para o coletor agregado de interceptação, uma das seguintes situações ocorre:
A entrada de registro corresponde ao filtro de inclusão, mas não corresponde a nenhum filtro de exclusão:
- A entrada de registro é encaminhada para o destino do coletor agregado de interceptação.
- A entrada de registro é enviada para o coletor
_Requiredno projeto em que a entrada de registro foi originada.
A entrada de registro não corresponde ao filtro de inclusão ou corresponde a pelo menos um filtro de exclusão:
- A entrada de registro não é encaminhada pelo coletor agregado de interceptação.
O Roteador de registros envia a entrada de registro para os coletores de registro no projeto em que a entrada de registro foi originada.
Um coletor no nível do projeto encaminha a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão do coletor.
Destinos compatíveis com coletores agregados
Esta seção lista os destinos compatíveis com coletores agregados.
Coletores de interceptação
O destino de um coletor agregado de interceptação precisa ser um Google Cloud projeto.
Os coletores de registro no projeto de destino encaminham as entradas de registro para os destinos. Todos os destinos, exceto projetos, são compatíveis. Por exemplo, os coletores de registro no projeto de destino podem encaminhar entradas de registro para um bucket de registros.
Coletores sem interceptação
Esta seção descreve os destinos compatíveis com coletores agregados sem interceptação.
O destino de um coletor pode estar em um recurso diferente do coletor. Por exemplo, é possível usar um coletor de registros para encaminhar entradas de registro de um projeto para um bucket de registros armazenado em um projeto diferente.
Os seguintes destinos são compatíveis:
- Google Cloud Projeto do
Selecione esse destino quando quiser que os coletores de registro no projeto de destino encaminhem as entradas de registro ou quando você tiver criado um coletor agregado de interceptação. Os coletores de registro no projeto de destino podem encaminhar as entradas de registro para qualquer destino compatível, exceto um projeto.
Os coletores de registro criados pelo sistema no projeto de destino excluem as entradas de registro encaminhadas para o bucket de registros
_Requiredno projeto de origem. Por exemplo, se você encaminhar registros de atividade do administrador para outro projeto, os coletores de registro_Requirede_Defaultno projeto de destino vão excluir essas entradas de registro. Para armazenar essas entradas de registro, no projeto de destino atualize o coletor de registro_Defaultou crie um coletor de registros personalizado.
- Bucket de registros
Selecione esse destino quando quiser armazenar os dados de registro em recursos gerenciados pelo Cloud Logging. Os dados de registro armazenados em buckets de registro podem ser visualizados e analisados usando serviços como o Explorer de registros e o Observability Analytics.
Se você quiser mesclar os dados de registro a outros dados da empresa, armazene os dados de registro em um bucket de registros e crie um conjunto de dados vinculado do BigQuery. Um conjunto de dados vinculado do BigQuery é somente leitura, mas é possível consultar como qualquer outro conjunto de dados do BigQuery.
- Conjunto de dados do BigQuery
- Selecione esse destino quando quiser unir os dados de registro a outros dados da empresa. O conjunto de dados especificado precisa estar ativado para gravação. Não defina o destino de um coletor como um conjunto de dados vinculado do BigQuery. Os conjuntos de dados vinculados do BigQuery são somente leitura.
- Bucket do Cloud Storage
- Selecione esse destino quando quiser armazenamento de longo prazo dos dados de registro. O bucket do Cloud Storage pode estar no projeto em que as entradas de registro são originadas ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON.
- Tópico do Pub/Sub
- Selecione esse destino quando quiser exportar os dados de registro do Google Cloud e usar integrações de terceiros, como Splunk ou Datadog. As entradas de registro são formatadas como JSON e encaminhadas para um tópico do Pub/Sub.
Práticas recomendadas
Recomendamos que o destino de um coletor agregado seja um
Google Cloud projeto. Com esse destino, os coletores de registro no projeto de destino
Google Cloud encaminham as entradas de registro.
O coletor _Required encaminha apenas as entradas de registro que correspondem ao filtro e que são originadas no recurso em que o coletor está definido. Portanto, se você quiser armazenar cópias adicionais de entradas de registro que correspondam ao filtro do coletor _Required, crie um coletor de registros personalizado ou modifique o filtro do coletor de registros _Default.
Ao criar um coletor de interceptação, recomendamos que você faça o seguinte:
Considere se os recursos filhos precisam de controle independente do encaminhamento das entradas de registro. Se um recurso filho precisar de controle independente de determinadas entradas de registro, verifique se o coletor de interceptação não encaminha essas entradas de registro.
Adicione dados de contato à descrição de um coletor de interceptação. Isso pode ser útil se as pessoas que gerenciam o coletor de interceptação forem diferentes daquelas que gerenciam os projetos cujas entradas de registro estão sendo interceptadas.
Teste a configuração do coletor criando primeiro um coletor agregado sem interceptação para verificar se as entradas de registro corretas estão sendo encaminhadas.
Coletores agregados de interceptação e métricas com base em registros
As métricas com base em registros são métricas do Cloud Monitoring derivadas do conteúdo das entradas de registro. A maneira como uma entrada de registro é encaminhada determina para quais métricas com base em registros essa entrada de registro pode contar. Como um coletor agregado de interceptação afeta a maneira como as entradas de registro são encaminhadas, a criação desse tipo de coletor pode resultar em mudanças nos valores das métricas com base em registros.
Para mais informações, consulte Como o encaminhamento de entradas de registro afeta as métricas com base em registros.
Coletores agregados e VPC Service Controls
Ao usar coletores agregados e VPC Service Controls, as seguintes limitações e requisitos de configuração se aplicam:
Acesso a registros de projetos dentro de um perímetro: os coletores agregados podem acessar dados de registro de projetos dentro de um perímetro de serviço. Para restringir o acesso de coletores agregados a dados dentro de um perímetro, use o Identity and Access Management para gerenciar as permissões do Cloud Logging.
Dados de registro no nível da pasta e da organização: um perímetro de serviço do VPC Service Controls não protege dados de registro no nível da pasta ou da organização, incluindo dados de registro agregados. Embora seja possível adicionar uma pasta a um perímetro de serviço normal, isso protege apenas os projetos na hierarquia de pastas, não os recursos ou registros no nível da pasta. Não é possível adicionar uma organização como um recurso protegido em um perímetro de serviço.
Para gerenciar as permissões do Logging no nível da pasta ou da organização, use o IAM.
Regras de entrada para destinos protegidos por perímetro: se você encaminhar registros usando um coletor no nível da pasta ou da organização para um recurso protegido por um perímetro de serviço, será necessário adicionar uma regra de entrada ao perímetro de serviço de destino. A regra de entrada precisa permitir o acesso ao recurso da conta de serviço (identidade do gravador) que o coletor agregado usa. Para mais informações, consulte as seguintes páginas:
Restrições de tipo de identidade em regras de entrada e saída: quando um coletor de registros agregado encaminha registros para um recurso do Cloud Storage que está no perímetro do VPC Service Controls, a regra de entrada ou saída não pode usar
ANY_SERVICE_ACCOUNTouANY_USER_ACCOUNTcomo o tipo de identidade. Em vez disso, useANY_IDENTITYcomo o tipo de identidade.Não é necessário configurar uma regra de entrada para coletores não agregados.
A seguir
Para informações sobre como criar um coletor agregado, consulte o seguinte:
Encaminhar registros para destinos compatíveis: gerenciar coletores