Visão geral dos coletores agregados

Este documento descreve os coletores agregados, que permitem agrupar e rotear entradas de registro originadas em recursos dentro de uma pasta ou organização para um destino compatível. Recomendamos o uso de coletores agregados para rotear os dados de registro para um local de armazenamento central.

Sobre coletores agregados

Um coletor agregado é semelhante a um coletor para envolvidos no projeto, porque contém filtros e um destino. No entanto, o Roteador de registros envia para um coletor agregado as seguintes entradas de registro:

  • Todas as entradas de registro originadas em uma pasta ou organização.
  • Todas as entradas de registro originadas nos recursos filhos da pasta ou organização.

Por exemplo, se você criar um coletor agregado no nível da pasta, o Roteador de registros enviará para esse coletor todas as entradas de registro originadas na pasta ou nos recursos filhos dela.

Quando coletores agregados existem na hierarquia de recursos de uma entrada de registro, o Roteador de registros envia a entrada de registro para esses coletores. Como os coletores agregados podem ser de interceptação ou não, o Roteador de registros pode não enviar uma entrada de registro roteada por um coletor agregado enviada para os coletores para envolvidos no projeto.

Coletor agregado de interceptação

Um coletor agregado de interceptação impede que as entradas de registro sejam roteadas para coletores em recursos filhos, exceto para os coletores _Required nos recursos em que as entradas de registro são originadas. Um coletor agregado de interceptação pode ser útil para evitar que cópias duplicadas de entradas de registro sejam armazenadas em vários locais.

Por exemplo, suponha que você precise ativar os registros de auditoria de acesso a dados para fins de auditoria. Para simplificar a análise, você quer armazenar esses registros em um local central. No entanto, por motivos de segurança e custo, você também quer impedir que esses registros sejam armazenados no nível do projeto. Para esse cenário, é possível criar um coletor agregado de interceptação.

Coletor agregado não interceptador

Um coletor agregado não interceptador não afeta como as entradas de registro são roteadas para outros coletores. Ou seja, mesmo quando uma entrada de registro corresponde ao filtro de um coletor agregado não interceptador, essa entrada de registro é encaminhada para outros coletores na hierarquia de recursos da entrada de registro. Um coletor agregado não interceptador permite manter a visibilidade das entradas de registro nos recursos em que foram geradas.

Por exemplo, é possível criar um coletor agregado não interceptador que roteie todas as entradas de registro geradas nas pastas contidas em uma organização para um bucket de registros central. As entradas de registro são armazenadas no bucket de registros central. No entanto, como o coletor não é interceptador, o Roteador de registros também envia entradas de registro para os coletores de registro no recurso em que foram geradas.

Exemplos de roteamento

Esta seção ilustra como uma entrada de registro originada em um projeto pode fluir pelos coletores na hierarquia de recursos.

Exemplo: não há coletores agregados

Quando não há coletores agregados na hierarquia de recursos da entrada de registro, a entrada de registro é enviada para os coletores de registro no projeto em que a entrada de registro é originada. Um coletor no nível do projeto roteia a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão do coletor.

Exemplo: existe um coletor agregado não interceptador

Suponha que um coletor agregado não interceptador exista na hierarquia de recursos de uma entrada de registro. Depois que o Roteador de registros envia a entrada de registro para o coletor agregado não interceptador, ocorre o seguinte:

  1. O coletor agregado não interceptador roteia a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão, mas não corresponde a nenhum filtro de exclusão.

  2. O Roteador de registros envia a entrada de registro para os coletores de registro no projeto em que a entrada de registro foi originada.

    Um coletor no nível do projeto roteia a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão do coletor.

Exemplo: existe um coletor agregado de interceptação

Suponha que um coletor agregado de interceptação exista na hierarquia de recursos de uma entrada de registro. Depois que o Roteador de registros envia a entrada de registro para o coletor agregado de interceptação, uma das seguintes situações ocorre:

  • A entrada de registro corresponde ao filtro de inclusão, mas não corresponde a nenhum filtro de exclusão:

    1. A entrada de registro é roteada para o destino do coletor agregado de interceptação.
    2. A entrada de registro é enviada para o coletor _Required no projeto em que a entrada de registro foi originada.

  • A entrada de registro não corresponde ao filtro de inclusão ou corresponde a pelo menos um filtro de exclusão:

    1. A entrada de registro não é roteada pelo coletor agregado de interceptação.

    2. O Roteador de registros envia a entrada de registro para os coletores de registro no projeto em que a entrada de registro foi originada.

      Um coletor no nível do projeto roteia a entrada de registro para o destino do coletor quando a entrada de registro corresponde ao filtro de inclusão do coletor, mas não corresponde a nenhum dos filtros de exclusão do coletor.

Destinos compatíveis com coletores agregados

Esta seção lista os destinos compatíveis com coletores agregados.

Coletores de interceptação

O destino de um coletor agregado de interceptação precisa ser um Google Cloud projeto.

Os coletores de registro no projeto de destino roteiam as entradas de registro para os destinos. Todos os destinos, exceto projetos, são compatíveis. Por exemplo, os coletores de registro no projeto de destino podem rotear entradas de registro para um bucket de registros.

Coletores não interceptadores

O destino de um coletor agregado não interceptador pode ser qualquer um dos seguintes:

O destino de um coletor pode estar em um recurso diferente do coletor. Por exemplo, é possível usar um coletor de registros para rotear entradas de registro de um projeto para um bucket de registros armazenado em um projeto diferente.

Os seguintes destinos são compatíveis:

Google Cloud Projeto do

Selecione esse destino quando quiser que os coletores de registro no projeto de destino roteiem as entradas de registro ou quando você tiver criado um coletor agregado de interceptação. Os coletores de registro no projeto que é o destino do coletor podem rotear as entradas de registro para qualquer destino compatível, exceto um projeto.

Bucket de registros

Selecione esse destino quando quiser armazenar os dados de registro em recursos gerenciados pelo Cloud Logging. Os dados de registro armazenados em buckets de registros podem ser visualizados e analisados usando serviços como a Análise de registros e o Observability Analytics.

Se você quiser unir os dados de registro a outros dados comerciais, armazene os dados de registro em um bucket de registros e crie um conjunto de dados vinculado do BigQuery. Um conjunto de dados vinculado do BigQuery é um conjunto de dados somente leitura que pode ser consultado como qualquer outro conjunto de dados do BigQuery.

Conjunto de dados do BigQuery
Selecione esse destino quando quiser unir os dados de registro a outros dados da empresa. O conjunto de dados especificado precisa estar ativado para gravação. Não defina o destino de um coletor como um conjunto de dados vinculado do BigQuery. Os conjuntos de dados vinculados do BigQuery são somente leitura.
Bucket do Cloud Storage
Selecione esse destino quando quiser armazenamento de longo prazo dos dados de registro. O bucket do Cloud Storage pode estar no mesmo projeto em que as entradas de registro são originadas ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON.
Tópico do Pub/Sub
Selecione esse destino quando quiser exportar os dados de registro do Google Cloud e usar integrações de terceiros, como Splunk ou Datadog. As entradas de registro são formatadas em JSON e roteadas para um tópico do Pub/Sub.

Práticas recomendadas

Recomendamos que o destino de um coletor agregado seja um Google Cloud projeto. Com esse destino, os coletores de registro no destino Google Cloud projeto roteiam as entradas de registro. O coletor _Required só roteia entradas de registro que correspondam ao filtro e que sejam originadas no recurso em que o coletor está definido. Portanto, se você quiser armazenar cópias adicionais de entradas de registro que correspondam ao filtro do coletor _Required, crie um coletor de registros personalizado ou modifique o filtro do coletor de registros _Default.

Ao criar um coletor de interceptação, recomendamos que você faça o seguinte:

  • Considere se os recursos filhos precisam de controle independente do roteamento das entradas de registro. Se um recurso filho precisar de controle independente de determinadas entradas de registro, verifique se o coletor de interceptação não roteia essas entradas de registro.

  • Adicione dados de contato à descrição de um coletor de interceptação. Isso pode ser útil se as pessoas que gerenciam o coletor de interceptação forem diferentes daquelas que gerenciam os projetos cujas entradas de registro estão sendo interceptadas.

  • Teste a configuração do coletor criando primeiro um coletor agregado não interceptador para verificar se as entradas de registro corretas estão sendo roteadas.

Coletores agregados de interceptação e métricas com base em registros

As métricas com base em registros são métricas do Cloud Monitoring derivadas do conteúdo das entradas de registro. A maneira como uma entrada de registro é roteada determina para quais métricas com base em registros essa entrada de registro pode ser contabilizada. Como um coletor agregado de interceptação afeta a maneira como as entradas de registro são roteadas, a criação desse tipo de coletor pode resultar em mudanças nos valores das métricas com base em registros.

Para mais informações, consulte Como o roteamento de entradas de registro afeta as métricas com base em registros.

Coletores agregados e VPC Service Controls

As limitações a seguir se aplicam ao usar coletores agregados e VPC Service Controls:

  • Os coletores agregados podem acessar dados de projetos dentro de um perímetro de serviço. Para restringir o acesso de coletores agregados a dados dentro de um perímetro, recomendamos usar o IAM para gerenciar as permissões do Logging.

  • O VPC Service Controls não é compatível com a adição de recursos de pasta ou organização a perímetros de serviço. Portanto, não é possível usar o VPC Service Controls para proteger os registros no nível da pasta e da organização, incluindo registros agregados. Para gerenciar as permissões do Logging no nível da pasta ou da organização, recomendamos o uso do IAM.

  • Se você rotear registros usando um coletor no nível da pasta ou da organização para um recurso protegido por um perímetro de serviço, será necessário adicionar uma regra de entrada ao perímetro de serviço. A regra de entrada precisa permitir o acesso ao recurso da conta de serviço que o coletor agregado usa. Para mais informações, consulte as páginas a seguir:

  • Ao especificar uma política de entrada ou saída para um perímetro de serviço, não é possível usar ANY_SERVICE_ACCOUNT e ANY_USER_ACCOUNT como um tipo de identidade ao usar um coletor de registros para rotear registros para Cloud Storage recursos. No entanto, é possível usar ANY_IDENTITY como o tipo de identidade.

A seguir