configurar buckets de registros

É possível criar, visualizar e gerenciar buckets do Cloud Logging para armazenar e centralizar seus dados de registro usando o console do Google Cloud , a Google Cloud CLI ou a API Logging. Também é possível configurar períodos de retenção e bloquear buckets para atender aos requisitos de conformidade.

Para analisar seus dados de registro com a Análise de Observabilidade, que oferece uma interface SQL, faça upgrade dos buckets de registros. Essa interface permite consultar dados de registro e mesclar dados de registro e de trace.

Para analisar seus dados de registro com os serviços do BigQuery, crie conjuntos de dados vinculados do BigQuery nos buckets de registros. Esses conjuntos de dados são somente leitura e são consultados de maneira semelhante a qualquer outro conjunto de dados do BigQuery. Também é possível rotear entradas de registro diretamente para o BigQuery.

Para informações conceituais, consulte Armazenar entradas de registro.

Antes de começar

Configure o projeto, os papéis do IAM e selecione a interface que você planeja usar.

Configurar o projeto e os papéis

Para começar a usar buckets, faça o seguinte:

Selecione a interface que você quer usar

Console do Google Cloud

Quando você usa o console do Google Cloud para acessar os serviços e as APIs do Google Cloud , não é necessário configurar a autenticação.

gcloud

No console do Google Cloud , ative o Cloud Shell.

Ativar o Cloud Shell

Na parte inferior do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

REST

Para usar as amostras da API REST desta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

    Instale a CLI do Google Cloud.

    Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

Saiba mais em Autenticar para usar REST na documentação de autenticação do Google Cloud .

Criar um bucket

Estas instruções pressupõem que você esteja usando a criptografia gerenciada pelo Google. Se você preferir usar chaves de criptografia gerenciadas pelo cliente (CMEK), consulte Configurar CMEK para armazenamento de registros.

É possível criar no máximo 100 buckets por projeto doGoogle Cloud . Não é possível criar buckets de registro em pastas ou organizações.

Para criar um bucket de registros definido pelo usuário para o projeto do Google Cloud , faça o seguinte:

Console do Google Cloud

Para criar um bucket de registros no projeto do Google Cloud , faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Clique em Criar bucket de registros.

  3. Insira um Nome e uma Descrição para o bucket.

  4. Opcional: faça upgrade do bucket para usar a Análise de Observabilidade.

    1. Selecione Fazer upgrade para usar a Análise de Observabilidade.

      Ao fazer upgrade de um bucket para usar a Análise de Observabilidade, é possível consultar os registros na página Análise de Observabilidade usando consultas SQL. Também é possível continuar visualizando seus registros usando a Análise de registros.

    2. Opcional: para ver seus registros no BigQuery, selecione Criar um novo conjunto de dados do BigQuery vinculado a este bucket e insira um nome exclusivo para o conjunto de dados.

      Ao selecionar essa opção, o BigQuery pode ler os dados armazenados no bucket de registros. Agora é possível consultar na interface do BigQuery, em que é possível mesclar os dados de registro e também acessar dados de outras ferramentas, como o Data Studio e o Looker.

  5. Para selecionar a região de armazenamento dos registros, clique no menu Selecionar região do bucket de registros e selecione uma região.

  6. Opcional: para definir um período de retenção personalizado para os registros no bucket, clique em Próxima.

    No campo Período de retenção, insira o número de dias, entre 1 e3650 days, que você quer que o Cloud Logging armazene seus registros. Se você não personalizar o período de armazenamento, o padrão será 30 days.

    Também é possível atualizar o período de armazenamento do bucket de registros depois de criá-lo.

  7. Clique em Criar bucket.

    Depois que o bucket de registros é criado, o Logging faz upgrade do bucket e cria o link do conjunto de dados, se essas opções tiverem sido selecionadas.

    Essas etapas podem levar alguns instantes.

gcloud

Para criar apenas um bucket de registros, execute o comando gcloud logging buckets create. Se você quiser fazer upgrade do bucket de registros para usar a Análise de Observabilidade, inclua as flags --enable-analytics e --async e defina a variável LOCATION como uma região com disponibilidade:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

A flag --async força o comando a ser assíncrono. O retorno de um método assíncrono é um objeto Operation, que contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém informações sobre o sucesso ou a falha da solicitação. Para mais informações, consulte Métodos de API assíncronos.

Se você não quiser fazer upgrade do bucket de registros para usar a Análise de Observabilidade, omita as flags --enable-analytics e --async.

Por exemplo, se você quiser criar um bucket com a my-bucket BUCKET_ID na região global, seu comando será semelhante ao seguinte:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Por exemplo, para criar um bucket com o my-upgraded-bucket BUCKET_ID no local global e fazer upgrade do bucket de registros para usar a Análise de Observabilidade, o comando seria assim:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

Para criar um bucket, use o método projects.locations.buckets.create ou projects.locations.buckets.createAsync. Prepare os argumentos do método da seguinte maneira:

  1. Defina o parâmetro parent como o recurso em que o bucket será criado: projects/PROJECT_ID/locations/LOCATION

    A variável LOCATION refere-se à região em que você quer que seus registros sejam armazenados.

    Por exemplo, se você quiser criar um bucket para o projeto my-project na região global, o parâmetro parent será semelhante a este: projects/my-project/locations/global

  2. Defina o parâmetro bucketId, por exemplo, my-bucket.

  3. Siga uma destas opções:

    • Para criar um bucket de registros e fazer upgrade dele para usar a Análise de Observabilidade:

      1. Defina o booleano LogBucket.analyticsEnabled como true.

      2. Chame o método assíncrono projects.locations.buckets.createAsync para criar o bucket.

        A resposta aos métodos assíncronos é um objeto Operation. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncronos.

        O método createAsync leva alguns minutos para ser concluído. Esse método não gera uma mensagem de erro nem falha quando o booleano analyticsEnabled é definido como true.

    • Caso contrário, chame o método síncrono projects.locations.buckets.create para criar o bucket.

Depois de criar um bucket, crie um coletor para rotear entradas de registro para ele e configure as visualizações de registro para controlar quem pode acessar os registros no novo bucket e quais registros estão acessíveis para eles. Também é possível atualizar o bucket para configurar a retenção personalizada e os campos restritos.

Listar e ver detalhes de buckets de registros

Nesta seção, descrevemos como listar e visualizar os detalhes dos buckets de registro em um projeto, uma pasta ou uma organização.

Listar buckets

Para listar os buckets de registros associados a um projeto do Google Cloud e ver detalhes como as configurações de retenção, faça o seguinte:

Console do Google Cloud

No console Google Cloud , acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

Uma tabela chamada Buckets de registros lista os buckets associados ao projeto atual doGoogle Cloud .

A tabela lista os seguintes atributos para cada bucket de registro:

  • Nome: o nome do bucket de registros.
  • Descrição: a descrição do bucket.
  • Período de armazenamento: o número de dias em que os dados do bucket são armazenados pelo Cloud Logging.
  • Região: a localização geográfica em que os dados do bucket são armazenados.
  • Status: indica se o bucket está bloqueado ou desbloqueado.

Se um bucket estiver com a exclusão pendente pelo Cloud Logging, a entrada da tabela será anotada com um símbolo de aviso .

gcloud

Execute o comando gcloud logging buckets list:

gcloud logging buckets list

Você verá os seguintes atributos dos buckets de registro:

  • LOCATION: a região em que os dados do bucket são armazenados.
  • BUCKET_ID: o nome do bucket de registros.
  • RETENTION_DAYS: o número de dias em que os dados do bucket serão armazenados pelo Cloud Logging.
  • LIFECYCLE_STATE: indica se o bucket está exclusão pendente pelo Cloud Logging.
  • LOCKED: se o bucket está bloqueado ou desbloqueado.
  • CREATE_TIME: um carimbo de data/hora que indica quando o bucket foi criado.
  • UPDATE_TIME: um carimbo de data/hora que indica quando o bucket foi modificado pela última vez.

Também é possível visualizar os atributos de apenas um bucket. Por exemplo, para ver os detalhes do bucket de registros _Default na região global, execute o comando gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Para listar os buckets de registro associados a um projeto do Google Cloud , use projects.locations.buckets.list na API Logging.

Ver os detalhes de um intervalo

Os detalhes de um bucket de registros incluem o nome, a descrição, o local e o período de armazenamento. Também é possível ver informações sobre quando o bucket de registros foi criado e atualizado pela última vez, além do nome do conjunto de dados vinculado do BigQuery, se houver.

Para ver os detalhes de um único bucket de registro, faça o seguinte:

Console do Google Cloud

No console Google Cloud , acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

No bucket de registros, clique em Mais e selecione Ver detalhes do bucket.

A caixa de diálogo lista os seguintes atributos do bucket de registros:

  • Nome: o nome do bucket de registros.
  • Descrição: a descrição do bucket de registros.
  • Período de armazenamento: o número de dias em que os dados do bucket são armazenados pelo Cloud Logging.
  • Região: a localização geográfica em que os dados do bucket são armazenados.
  • Análise de Observabilidade: indica se o bucket foi atualizado para usar a Análise de Observabilidade.
  • Análise do BigQuery: indica se um conjunto de dados do BigQuery está vinculado ao seu bucket.
  • Conjunto de dados do BigQuery: fornece um link para seu conjunto de dados do BigQuery, que é aberto na página do BigQuery Studio. A data em que a vinculação do BigQuery foi ativada também é mostrada.

gcloud

Execute o comando gcloud logging buckets describe.

Por exemplo, o comando a seguir informa os detalhes do bucket _Default:

gcloud logging buckets describe _Default --location=global

Você verá os seguintes atributos do bucket de registros:

  • createTime: um carimbo de data/hora que indica quando o bucket foi criado.
  • description: a descrição do bucket de registros.
  • lifecycleState: indica se o bucket está exclusão pendente pelo Cloud Logging.
  • name: o nome do bucket de registros.
  • retentionDays: o número de dias em que os dados do bucket serão armazenados pelo Cloud Logging.
  • updateTime: um carimbo de data/hora que indica quando o bucket foi modificado pela última vez.

REST

Para ver os detalhes de um único bucket de registros, use projects.locations.buckets.get na API Logging.

Gerenciar buckets

Nesta seção, descrevemos como gerenciar seus buckets de registro usando a Google Cloud CLI ou o console do Google Cloud .

Atualizar um bucket

Para atualizar as propriedades do bucket, como a descrição ou o período de armazenamento, faça o seguinte:

Console do Google Cloud

Para atualizar as propriedades do bucket, faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. No bucket que você quer atualizar, clique em Mais.

  3. Selecione Editar bucket.

  4. Edite o bucket conforme necessário.

  5. Clique em Atualizar bucket.

gcloud

Para atualizar as propriedades do bucket, execute o comando gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemplo:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Para atualizar as propriedades do bucket, use projects.locations.buckets.patch na API Logging.

Configurar a retenção personalizada

Ao criar um bucket de registros, é possível personalizar o período em que o Cloud Logging armazena os registros no bucket. Também é possível configurar o período de armazenamento do bucket de registros _Default quando ele está em um projeto.

Não é possível alterar o período de armazenamento do bucket de registros _Required. Também não é possível estender o período de armazenamento de um bucket de registros que está em uma pasta ou organização. No entanto, é possível criar um coletor de registros para rotear entradas de registro no nível da pasta ou da organização para um bucket de registros que esteja em um projeto e, em seguida, configurar o período de armazenamento desse bucket.

Se você reduzir o período de armazenamento de um bucket de registros, haverá um período de carência de sete dias em que os registros expirados não serão excluídos. Não é possível consultar ou visualizar os registros expirados. No entanto, durante esse período de sete dias, é possível restaurar o acesso total estendendo o período de armazenamento do bucket. Os registros armazenados durante o período de carência são contabilizados nos custos de retenção.

A aplicação da retenção é um processo de consistência posterior. Se você gravar entradas de registro em um bucket de registros quando as entradas forem mais antigas que o período de armazenamento do bucket, talvez seja possível ver essas entradas de registro brevemente. Por exemplo, se você enviar entradas de registro com 10 dias de idade para um bucket de registros com um período de armazenamento de sete dias, essas entradas serão armazenadas e, em seguida, limpas. Essas entradas de registro não contribuem para os custos de retenção. Eles contribuem para os custos de armazenamento. Para minimizar os custos de armazenamento, não grave entradas de registro mais antigas que o período de armazenamento do bucket.

Para atualizar o período de armazenamento de um bucket de registros personalizado ou do bucket de registros _Default que está em um projeto, faça o seguinte:

Console do Google Cloud

Para atualizar o período de armazenamento de um bucket de registros, faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. No bucket que você quer atualizar, clique em Mais e selecione Editar bucket.

  3. No campo Retenção, insira o número de dias, entre 1 e3650 days, que você quer que o Cloud Logging armazene seus registros.

  4. Clique em Atualizar bucket. O novo período de armazenamento vai aparecer na lista Bucket de registros.

gcloud

Para atualizar o período de armazenamento de um bucket de registros definido pelo usuário ou do bucket de registros _Default que está em um projeto, execute o comando gcloud logging buckets update depois de definir um valor para RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Por exemplo, para reter os registros no bucket _Default no local global por um ano, o comando seria assim:

gcloud logging buckets update _Default --location=global --retention-days=365

Se você prolongar o período de armazenamento de um bucket, as regras de retenção serão aplicadas a partir de agora, não retroativamente. Não é possível recuperar os registros após o término do período de armazenamento aplicável.

Bloquear um bucket

Quando você bloqueia um bucket contra atualizações, também bloqueia a política de retenção dele. Depois que uma política de retenção é bloqueada, não é possível excluir o bucket até que todas as entrada de registro nele tenham cumprido o período de retenção do bucket. Se você quiser evitar a exclusão acidental de um projeto que contém um bucket de registros bloqueado, adicione uma garantia ao projeto. Para saber mais, consulte Proteger projetos usando garantias.

Para impedir que alguém atualize ou exclua um bucket de registros, bloqueie-o. Para bloquear o bucket, faça o seguinte:

Console do Google Cloud

O console do Google Cloud não permite bloquear um bucket de registros.

gcloud

Para bloquear o bucket, execute o comando gcloud logging buckets update com a flag --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemplo:

gcloud logging buckets update my-bucket --location=global --locked

REST

Para bloquear os atributos do bucket, use projects.locations.buckets.patch na API Logging. Defina o parâmetro locked como true.

Excluir um bucket

É possível excluir buckets de registros que atendam a uma das seguintes condições:

  • O bucket de registros está desbloqueado.
  • O bucket de registros está bloqueado e todas as entradas de registro nele cumpriram o período de armazenamento do bucket.

Não é possível excluir um bucket de registros em nenhuma das seguintes situações:

  • O bucket de registros está bloqueado para atualizações e armazena entradas de registro que não cumpriram o período de armazenamento do bucket.

  • Há um ou mais links no bucket de registros. Para determinar se há links no bucket de registros, use o console do Google Cloud ou execute o comando gcloud logging links list.

    Quando necessário, exclua links usando o comando gcloud logging links delete. Se você excluir uma vinculação, também vai excluir todos os artefatos associados, o que pode incluir um conjunto de dados vinculado do BigQuery.

Depois que você emite o comando de exclusão, o bucket de registros passa para o estado DELETE_REQUESTED e permanece nele por sete dias. Durante esse período, o Logging continua encaminhando registros para o bucket de registros. É possível interromper o roteamento de registros para o bucket de registros excluindo ou modificando os coletores de registros que roteiam entradas de registro para o bucket.

Não é possível criar um novo bucket de registros que use o mesmo nome de um bucket de registros que esteja no estado DELETE_REQUESTED.

Para excluir um bucket de registro, faça o seguinte:

Console do Google Cloud

Para excluir um bucket de registro, faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Localize o bucket que você quer excluir e clique em Mais.

  3. Se a coluna Conjunto de dados vinculado no BigQuery mostrar um link, exclua o conjunto de dados vinculado do BigQuery:

    1. Clique em Editar bucket.
    2. Desmarque Criar um novo conjunto de dados do BigQuery vinculado a este bucket, clique em Concluído e em Atualizar bucket.

      Depois de voltar para a página Armazenamento de registros, clique em Mais no bucket que você quer excluir e siga para as próximas etapas.

  1. Selecione Excluir bucket.

  2. No painel de confirmação, clique em Excluir.

  3. Na página Armazenamento de registros, o bucket tem um indicador de que está com a exclusão pendente. O bucket, incluindo todos os registros nele, é excluído após sete dias.

gcloud

Para excluir um bucket de registros, execute o comando gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

REST

Para excluir um bucket, use projects.locations.buckets.delete na API Logging.

Restaurar um bucket excluído

É possível restaurar ou cancelar a exclusão de um bucket que esteja no estado de exclusão pendente. Para restaurar um bucket de registro, faça o seguinte:

Console do Google Cloud

Para restaurar um bucket de registros com exclusão pendente, faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. No bucket que você quer restaurar, clique em Mais e selecione Restaurar bucket excluído.

  3. No painel de confirmação, clique em Restaurar.

  4. Na página Armazenamento de registros, o indicador de exclusão pendente é removido do bucket de registros.

gcloud

Para restaurar um bucket de registros com exclusão pendente, execute o comando gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Para restaurar um bucket com exclusão pendente, use projects.locations.buckets.undelete na API Logging.

Ativar a Análise de Observabilidade e as consultas do BigQuery

Esta seção explica como fazer o seguinte:

  • Faça upgrade do bucket de registros para analisar os dados de registro usando a Análise de Observabilidade, que oferece uma interface SQL.

  • Criar links em buckets de registros. Um link fornece uma conexão entre um bucket de registros e um conjunto de dados vinculado do BigQuery. É possível usar os serviços do BigQuery para consultar o conjunto de dados vinculado.

Fazer upgrade de um bucket para usar a Análise de Observabilidade

Depois de fazer upgrade de um bucket para usar a Análise de Observabilidade, todas as novas entradas de registro que chegarem estarão disponíveis para análise na interface da Análise de Observabilidade. Não é possível desfazer uma operação de upgrade em um bucket.

Para fazer upgrade de um bucket atual para usar a Análise de Observabilidade, as seguintes restrições se aplicam:

  • O bucket de registros foi criado no nível do projeto Google Cloud .
  • O bucket de registros é desbloqueado, a menos que seja o bucket _Required.
  • Não há atualizações pendentes no bucket.

  • Para projetos dentro de um perímetro do VPC Service Controls:

    1. O perímetro não pode restringir os seguintes serviços:

      • logging.googleapis.com
      • cloudkms.googleapis.com: obrigatório para buckets de registros que usam CMEK.

    2. Não é possível usar regras de entrada ou saída baseadas em identidade para conceder acesso entre perímetros à chave do Cloud Key Management Service quando o bucket de registros e a chave do Cloud KMS estão em perímetros diferentes do VPC Service Controls.

O upgrade de um bucket pode levar até 10 minutos. Para informações sobre solução de problemas, consulte Resolver problemas de upgrade de um bucket para usar a Análise de Observabilidade.

Console do Google Cloud

Para fazer upgrade de um bucket atual para usar a Análise de Observabilidade, faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Localize o bucket que você quer fazer upgrade.

  3. Quando a coluna Análise de Observabilidade disponível exibir Fazer upgrade, será possível fazer upgrade do bucket de registros para usar a Análise de Observabilidade. Clique em Fazer upgrade.

    Uma caixa de diálogo será aberta. Clique em Confirmar.

gcloud

Para fazer upgrade do bucket de registros para usar a Análise de Observabilidade, execute o comando gcloud logging buckets update. É necessário definir a flag --enable-analytics, e recomendamos que você também inclua a flag --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

A flag --async força o comando a ser assíncrono. A resposta é um objeto Operation. Pesquise o método projects.locations.operations.get até que o campo Operation.done seja definido como true. Outros campos na estrutura Operation fornecem informações sobre o sucesso ou a falha da solicitação. Para mais informações, consulte Métodos de API assíncronos.

REST

Para fazer upgrade de um bucket de registros para usar a Análise de Observabilidade, use o método projects.locations.buckets.updateAsync da API Cloud Logging.

Prepare os argumentos do método da seguinte maneira:

  1. Defina o booleano LogBucket.analyticsEnabled como true.
  2. Para o parâmetro de consulta do comando, use updateMask=analyticsEnabled.

A resposta aos métodos assíncronos é um objeto Operation. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém informações sobre o sucesso ou a falha da solicitação. Para mais informações, consulte Métodos de API assíncronos.

O método updateAsync pode levar vários minutos para ser concluído.

Quando quiser usar os recursos do BigQuery para analisar seus dados de registro, faça upgrade de um bucket de registros para usar a Análise de Observabilidade e, em seguida, crie um conjunto de dados vinculado. Com essa configuração, o Logging armazena os dados de registro, mas o BigQuery pode ler esses dados.

Console do Google Cloud

Para criar um link para um conjunto de dados do BigQuery em um bucket de registros, faça o seguinte:

  1. No console Google Cloud , acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Localize o bucket de registros e verifique se a coluna Análise de Observabilidade disponível mostra Abrir.

    Se essa coluna exibir Fazer upgrade, o bucket de registros não foi atualizado para usar a Análise de Observabilidade. Configurar a Análise de Observabilidade:

    1. Clique em Fazer upgrade.
    2. Clique em Confirmar na caixa de diálogo.

    Depois que o upgrade for concluído, siga para a próxima etapa.

  3. No bucket de registros, clique em Mais e em Editar bucket.

    A caixa de diálogo Editar bucket de registros será aberta.

  4. Selecione Criar um novo conjunto de dados do BigQuery vinculado a este bucket e insira o nome do novo conjunto de dados.

    O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud . Se você inserir o nome de um conjunto de dados atual, receberá o seguinte erro: Dataset name must be unique in the selected region.

  5. Clique em Concluído e em Atualizar bucket.

    Depois que o Logging exibir o nome do conjunto de dados vinculado na página Armazenamento de registros, pode levar vários minutos para que o BigQuery reconheça o conjunto de dados.

gcloud

Para criar um conjunto de dados vinculado para um bucket de registros que foi atualizado para usar a Análise de Observabilidade, execute o comando gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

O LINK_ID fornecido é usado como o nome do conjunto de dados do BigQuery, e o valor desse campo precisa ser exclusivo para o projeto do Google Cloud .

O comando links create é assíncrono. O retorno de um método assíncrono é um objeto Operation, que contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncronos.

O comando links create leva alguns minutos para ser concluído.

Por exemplo, o comando a seguir cria um conjunto de dados vinculado chamado mylink para o bucket de registros chamado my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud . Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados atual, receberá o seguinte erro:

BigQuery dataset with name "LINK_ID" already exists.

Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não foi atualizado para usar a Análise de Observabilidade, o seguinte erro será informado:

A link can only be created for an analytics-enabled bucket.

REST

Para criar um conjunto de dados vinculado do BigQuery para um bucket de registros atualizado para usar a Análise de Observabilidade, chame o método assíncrono projects.locations.buckets.links.create da API Cloud Logging.

Prepare os argumentos do método da seguinte maneira:

  1. Crie o corpo da solicitação para o comando create. O corpo da solicitação é formatado como um objeto Link.
  2. Para o parâmetro de consulta do comando, use linkId=LINK_ID. O LINK_ID fornecido é usado como o nome do conjunto de dados do BigQuery, e o valor desse campo precisa ser exclusivo para o projeto do Google Cloud .

A resposta aos métodos assíncronos é um objeto Operation. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncronos.

O método links.create leva alguns minutos para ser concluído.

O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud . Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados atual, receberá o seguinte erro:

BigQuery dataset with name "LINK_ID" already exists.

Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não foi atualizado para usar a Análise de Observabilidade, o seguinte erro será informado:

A link can only be created for an analytics-enabled bucket.

Consultar métodos de API assíncronos

A resposta de um método assíncrono como projects.locations.buckets.createAsync é um objeto Operation.

Os aplicativos que chamam um método de API assíncrono precisam pesquisar o método operation.get até que o valor do campo Operation.done seja true:

  • Se done for false, a operação está em andamento.

    Para atualizar as informações de status, envie uma solicitação GET ao método operation.get.

  • Se done for true, a operação estará concluída e o campo error ou response será definido:

    • error: quando definida, a operação assíncrona falha. O valor desse campo é um objeto Status que contém um código do erro do gRPC e uma mensagem de erro.
    • response: quando definido, a operação assíncrona é concluída e o valor reflete o resultado.

Para consultar um comando assíncrono usando a Google Cloud CLI, execute o seguinte comando:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Para ver mais informações, consulte gcloud logging operations describe.

Ler e gravar entradas de registro

Os registros não são gravados diretamente em um bucket de registros. Em vez disso, você grava registros em um recurso doGoogle Cloud : um projeto, uma pasta ou uma organização do Google Cloud . Os coletores no recurso pai então roteiam os registros para destinos, incluindo buckets de registro. Um coletor encaminha registros para um destino de bucket de registro quando os registros correspondem ao filtro do coletor e o coletor tem permissão para rotear os registros para o bucket de registros. Para mais informações, consulte Entradas de registro de rota.

Cada bucket de registros tem um conjunto de visualizações. Para ler registros de um bucket de registro, é preciso ter acesso a uma visualização no bucket. As visualizações de registros permitem que você conceda a um usuário acesso apenas a um subconjunto dos registros armazenados em um bucket de registros. Para saber mais sobre as visualizações de registro, consulte Armazenar entradas de registro e Configurar visualizações de registro em um bucket de registros.

Para ler registros de um bucket de registro, faça o seguinte:

Console do Google Cloud

  1. No console do Google Cloud , acesse a página Análise de registros:

    Acessar a Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Para personalizar quais registros são exibidos na Análise de registros, clique em Refinar escopo e selecione uma opção. Por exemplo, é possível visualizar registros armazenados em um projeto ou por visualização de registro.

  3. Clique em Aplicar. O painel Resultados da consulta é recarregado com registros que correspondem à opção selecionada.

Para mais informações, consulte Visão geral da Análise de registros: refinar o escopo.

gcloud

Para ler registros de um bucket de registros, use o comando gcloud logging read e adicione um LOG_FILTER para selecionar dados:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

Para ler registros de um bucket de registros, use o método entries.list. Defina resourceNames para especificar o bucket e a visualização de registro apropriados e defina filter para selecionar dados.

Para informações detalhadas sobre a sintaxe de filtragem, consulte Linguagem de consulta do Logging.

Monitorar o volume

Nesta seção, descrevemos como monitorar o volume dos dados de registro.

Acompanhar o volume de registros armazenados em buckets de registros

A página Armazenamento de registros no console do Google Cloud rastreia o volume de dados de registro armazenados em buckets de registro:

No console Google Cloud , acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

A página Armazenamento de registros mostra um resumo das estatísticas do seu projeto doGoogle Cloud :

As estatísticas de resumo informam a quantidade de dados de registro armazenados em buckets de registro para o projeto selecionado.

As seguintes estatísticas são informadas:

  • Ingestão do mês atual: a quantidade de dados de registro que o projeto doGoogle Cloud armazenou em buckets de registro desde o primeiro dia do mês atual.

  • Ingestão do mês anterior: a quantidade de dados de registro que o projeto doGoogle Cloud armazenou em buckets de registro no mês anterior.

  • Ingestão projetada por EOM: a quantidade estimada de dados de registro que o projeto doGoogle Cloud vai armazenar em buckets de registro até o final do mês atual, com base no uso atual.

  • Armazenamento faturável do mês atual: a quantidade de dados de registro que foram retidos por mais de 30 dias e que são faturados.

As estatísticas anteriores não incluem registros no bucket _Required. Não é possível excluir ou desativar os registros nesse bucket.

A página Roteador de registros no console do Google Cloud oferece ferramentas que você pode usar para minimizar as cobranças pelo armazenamento de registros em buckets de registros ou pelo armazenamento que excede sua cota mensal. Faça o seguinte:

  • Desativar o armazenamento de registros no nível do bucket.
  • Excluir determinadas entradas de registro do armazenamento em buckets de registro.

Para mais informações, consulte Gerenciar coletores.

Alerta sobre bytes de registro mensais armazenados em buckets de registro

Para criar uma política de alertas, acesse a página Armazenamento de registros no console doGoogle Cloud , clique em Criar alerta de uso e preencha a caixa de diálogo. A página Criar política de alertas preenche previamente o campo de tipo de métrica com logging.googleapis.com/billing/bytes_ingested.

Para criar uma política de alertas que seja acionada quando o número de bytes de registro gravados nos buckets de registro exceder o limite definido pelo usuário para o Cloud Logging, use as configurações abaixo.

Novo estado
Campo
Valor
Recurso e métrica No menu Recursos, selecione Global.
No menu Categorias de métrica, selecione Métrica com base em registros.
No menu Métricas, selecione Bytes de registro mensais ingeridos.
Filtrar Nenhuma.
Várias séries
Agregação de série temporal		 sum
Janela contínua 60 m
Função de janela contínua max
Campo
Configurar gatilho de alerta
Valor
Tipo de condição Threshold
Acionador de alerta Any time series violates
Posição do limite Above threshold
Valor do limite Você determina o valor aceitável.
Teste a janela novamente O valor mínimo aceitável é de 30 minutos.

Para mais informações sobre políticas de alertas, consulte Visão geral de alertas.

Resolver problemas comuns

Se você tiver problemas ao usar buckets de registros, consulte as etapas de solução de problemas e respostas a perguntas comuns a seguir.

Por que não consigo excluir esse bucket?

Se você estiver tentando excluir um bucket, faça o seguinte:

  • Verifique se você tem as permissões corretas para excluir o bucket. Para ver a lista de permissões necessárias, consulte Controle de acesso com o IAM.

  • Determine se o bucket está bloqueado listando os atributos do bucket. Se o bucket estiver bloqueado, verifique o período de armazenamento do bucket. Não é possível excluir um bucket bloqueado até que todos os registros nele tenham cumprido o período de armazenamento.

  • Verifique se o bucket de registros não tem links. Não é possível excluir buckets de registros que contenham links.

    O erro a seguir é mostrado em resposta a um comando delete em um bucket de registros que tem um conjunto de dados do BigQuery vinculado:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    Para listar os links associados a um bucket de registros, execute o comando gcloud logging links list ou o método de API projects.locations.buckets.links.list.

    Para excluir links, use o comando gcloud logging links delete.

Quais contas de serviço estão roteando registros para meu bucket?

Para determinar se alguma conta de serviço tem permissões de IAM para rotear registros para o bucket, faça o seguinte:

  1. No console do Google Cloud , acesse a página IAM:

    Acesse o IAM

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo IAM e administrador.

  2. Na guia Permissões, visualize por Papéis. Você verá uma tabela com todos os papéis e principais do IAM associados ao seu projeto doGoogle Cloud .

  3. No campoFiltro caixa de texto, digiteGravador de bucket de registros.

    Você verá todos os principais com o papel de Gravador de bucket de registros. Se um principal for uma conta de serviço, o ID conterá a string gserviceaccount.com.

  4. Opcional: se você quiser remover uma conta de serviço para que ela não possa rotear registros para seu projeto do Google Cloud , marque a caixa de seleção da conta de serviço e clique em Remover.

Por que vejo registros de um projeto do Google Cloud mesmo que eles tenham sido excluídos do meu coletor do _Default?

Talvez você esteja visualizando registros em um bucket de registros em um projeto Google Cloud centralizado, que agrega registros de toda a organização.

Se você estiver usando a Análise de Registros para acessar esses registros e encontrar registros que foram excluídos do coletor _Default, talvez sua visualização esteja definida como o nível do projetoGoogle Cloud .

Para corrigir esse problema, selecione Visualização de registros no menu Refinar escopo e, em seguida, selecione a visualização de registros associada ao bucket _Default no seu projetoGoogle Cloud . Você não verá mais os registros excluídos.

A seguir

Para mais informações sobre os métodos da API Logs Bucket, consulte a documentação de referência de LogBucket.

Se você gerencia uma organização ou uma pasta, pode especificar o local dos buckets de registros _Default e _Required dos recursos filhos. Também é possível configurar se os buckets de registros usam CMEK e o comportamento do coletor de registros _Default. Para mais informações, consulte Definir configurações padrão para organizações e pastas.

Para informações sobre como lidar com casos de uso comuns com buckets de registro, consulte os tópicos a seguir: