Tabelas e esquemas de conjuntos de dados do Storage Insights

Os conjuntos de dados do Storage Insights fornecem tabelas e visualizações do BigQuery que permitem analisar padrões operacionais e monitorar o uso de recursos nos buckets, objetos e projetos do Cloud Storage. Use esses esquemas para escrever consultas que auditam o uso do armazenamento, verificam as configurações de segurança e rastreiam a atividade em todo o ambiente de armazenamento.

Esquema de metadados do conjunto de dados

As seções a seguir descrevem os campos de metadados incluídos nos conjuntos de dados. Para mais informações sobre os modos de coluna do BigQuery, consulte Modos. Os modos de coluna determinam como o BigQuery armazena e consulta os dados.

É possível conectar operações em lote do Storage com conjuntos de dados do Storage Insights para selecionar dados de forma dinâmica. Essa abordagem permite consultar colunas de conjuntos de dados diretamente usando expressões de filtro em vez de arquivos de manifesto manuais. A coluna Storage batch operations filterable nas tabelas a seguir indica se um campo de metadados é compatível ao construir argumentos de filtro da Common Expression Language (CEL) (--bucket-filters ou --object-filters) diretamente na Google Cloud CLI. Se um campo for compatível, você poderá referenciar o nome da coluna diretamente nas expressões de filtro. Para detalhes sobre a sintaxe compatível, consulte a referência de filtros da CEL.

Metadados do bucket

O esquema de metadados do bucket inclui as tabelas bucket_attributes_view e bucket_attributes_latest_snapshot_view. As tabelas de metadados de bucket têm os seguintes campos:

Campo de metadados Modo Tipo Descrição Operações em lote do Storage filtráveis
snapshotTime NULLABLE TIMESTAMP O campo snapshotTime armazena o horário da atualização do snapshot de metadados do bucket no formato RFC 3339. Todos os registros gerados com base na mesma atualização de snapshot têm o mesmo snapshotTime.
name NULLABLE STRING O nome do bloco.
location NULLABLE STRING O local do bloco. Os dados dos objetos no bucket residem no armazenamento físico desse local.
project NULLABLE INTEGER O número do projeto a que o bucket pertence.
storageClass NULLABLE STRING A classe de armazenamento padrão do bucket.
public NULLABLE RECORD Obsoleto. Esse campo indica se um bucket está acessível publicamente. Use iamConfiguration.
public.bucketPolicyOnly NULLABLE BOOLEAN Obsoleto. Esse campo, parte do registro public, indica se o acesso uniforme no nível do bucket está ativado, o que impede o acesso por meio de ACLs no nível do objeto.
public.publicAccessPrevention NULLABLE STRING Obsoleto. Esse campo, parte do registro public, indica se o acesso público ao bucket está impedido.
autoclass NULLABLE RECORD A configuração de classe automática do bucket, que, quando ativada, controla a classe de armazenamento dos objetos com base em como e quando eles são acessados.
autoclass.enabled NULLABLE BOOLEAN Se a classe automática está ativada ou não.
autoclass.toggleTime NULLABLE TIMESTAMP A hora em que a classe automática foi ativada ou desativada pela última vez para esse bucket, no formato RFC 3339.
versioning NULLABLE BOOLEAN Se o bucket tem ou não o controle de versões ativado. Para mais informações, consulte Controle de versões de objetos.
lifecycle NULLABLE BOOLEAN Se o bucket tem ou não uma configuração de ciclo de vida. Consulte Gerenciamento do ciclo de vida para mais informações.
metageneration NULLABLE INTEGER A geração de metadados desse bucket.
timeCreated NULLABLE TIMESTAMP A hora de criação do bucket no formato RFC 3339.
tags NULLABLE RECORD Obsoleto. Esse campo contém pares de chave-valor definidos pelo usuário associados ao bucket. Use resourceTags.
tags.lastUpdatedTime NULLABLE TIMESTAMP Obsoleto. Esse campo indica a última vez que os tags foram atualizados.
tags.tagMap REPEATED RECORD Obsoleto. Esse campo, parte do registro tags, contém o mapa de chaves e valores de tag.
tags.tagMap.key NULLABLE STRING Obsoleto. Esse campo, parte do registro tags.tagMap, é a chave de uma tag.
tags.tagMap.value NULLABLE STRING Obsoleto. Esse campo, parte do registro tags.tagMap, é o valor de uma tag.
labels REPEATED RECORD Rótulos de bucket fornecidos pelo usuário, em pares de chave-valor.
labels.key NULLABLE STRING Uma entrada de rótulo individual.
labels.value NULLABLE STRING O valor do rótulo.
retentionPeriod NULLABLE LONG O período de armazenamento da política de retenção do bucket em segundos.
retentionMode NULLABLE STRING O modo de retenção da política de retenção do bucket. Os valores possíveis são Locked ou Unlocked.
objectRetentionEnabled NULLABLE BOOLEAN Se o Bloqueio de retenção de objetos está ativado em um bucket. Os valores possíveis são True ou False. Se esse campo for True, os objetos no bucket poderão ter configurações de retenção no nível do objeto.
defaultEventBasedHold NULLABLE BOOLEAN Se um bucket tem uma propriedade padrão baseada em eventos ativada. Os valores possíveis são True ou False.
softDeletePolicy NULLABLE RECORD A política de exclusão reversível do bucket, que define o período em que os objetos no bucket são retidos em um estado de exclusão reversível após serem excluídos. Os objetos em um estado de exclusão reversível não podem ser excluídos permanentemente e podem ser restaurados até o hardDeleteTime.
softDeletePolicy.effectiveTime NULLABLE DATETIME

A data e hora em que a política de exclusão reversível entra em vigor, no formato RFC 3339.

softDeletePolicy.effectiveTime é atualizado sempre que softDeletePolicy.retentionDurationSeconds é aumentado.

softDeletePolicy.retentionDurationSeconds NULLABLE LONG O período em que um objeto excluído de maneira reversível é retido e não pode ser excluído permanentemente, em segundos. O valor precisa ser maior ou igual a 3 dias e menor que 90 dias. O valor também pode ser definido como 0, o que desativa a política de exclusão reversível.
enforcedEncryptionAllowedTypes REPEATED STRING Os tipos de criptografia permitidos no bucket. Os valores possíveis são os seguintes:
  • GMEK (Google-owned and Google-managed encryption keys)
  • CMEK (chaves de criptografia gerenciadas pelo cliente)
  • CSEK (chaves de criptografia fornecidas pelo cliente)
encryption NULLABLE RECORD A configuração de criptografia do bucket. O Cloud Storage usa essa configuração para criptografar novos objetos adicionados ao bucket, a menos que você especifique a criptografia no nível do objeto durante o upload.
encryption.defaultEncryptionType NULLABLE STRING O tipo de criptografia padrão do bucket. Se encryption.defaultKmsKeyName estiver definido, esse valor será CMEK. Caso contrário, será GMEK.
encryption.defaultKmsKeyName NULLABLE STRING A chave padrão do Cloud Key Management Service configurada para ser usada em novos objetos no bucket. Se esse campo for definido, o Cloud Key Management Service será usado para a criptografia padrão (CMEK). Se não forem definidas, as Google-owned and Google-managed encryption keys serão usadas para a criptografia padrão (GMEK).
iamConfiguration NULLABLE RECORD A configuração do IAM para um bucket.
iamConfiguration.uniformBucketLevelAccess NULLABLE RECORD A configuração de acesso uniforme no nível do bucket.
iamConfiguration.uniformBucketLevelAccess.enabled NULLABLE BOOLEAN Se o bucket usa ou não o acesso uniforme no nível do bucket.
iamConfiguration.publicAccessPrevention NULLABLE STRING O status da prevenção de acesso público do bucket, que é "inherited" ou "enforced".
resourceTags REPEATED RECORD As tags do bucket. Para mais informações, consulte API Cloud Resource Manager.
resourceTags.key NULLABLE STRING A chave resourceTags.
resourceTags.value NULLABLE STRING O valor resourceTags.
objectCount NULLABLE INTEGER O número total de objetos no bucket.
totalSize NULLABLE INTEGER O tamanho total do bucket em bytes.

Metadados do objeto

O esquema de metadados do objeto inclui as tabelas object_attributes_view e object_attributes_latest_snapshot_view. Essas tabelas incluem metadados para objetos ativos, versões de objetos não atuais se o controle de versões de objetos estiver ativado e objetos com exclusão reversível se a exclusão reversível estiver ativada. As tabelas de metadados de objeto têm os seguintes campos:

Campo de metadados Modo Tipo Descrição Operações em lote do Storage filtráveis
snapshotTime NULLABLE TIMESTAMP O campo snapshotTime armazena o horário da atualização do snapshot de metadados do objeto no formato RFC 3339. Todos os registros gerados com base na mesma atualização de snapshot têm o mesmo snapshotTime.
bucket NULLABLE STRING O nome do bucket que contém esse objeto.
location NULLABLE STRING O local do bloco. Os dados dos objetos no bucket residem no armazenamento físico desse local.
componentCount NULLABLE INTEGER Retornado apenas para objetos compostos. Número de objetos não compostos no objeto composto. componentCount inclui objetos não compostos que faziam parte de qualquer objeto composto usado para compor o objeto atual.
contentDisposition NULLABLE STRING Content-Disposition dos dados do objeto.
contentEncoding NULLABLE STRING Content-Encoding dos dados do objeto.
contentLanguage NULLABLE STRING Content-Language dos dados do objeto.
contentType NULLABLE STRING Content-Type dos dados do objeto.
contexts REPEATED RECORD Contextos anexados a um objeto, em pares de chave-valor. Para mais informações sobre contextos de objetos, consulte Visão geral dos contextos de objetos.
contexts.key NULLABLE STRING A chave de contexto do objeto.
contexts.value NULLABLE STRING O valor da chave de contexto do objeto.
contexts.type NULLABLE STRING O tipo de contexto do objeto, que é sempre custom.
contexts.createTime NULLABLE TIMESTAMP A hora em que essa chave de contexto foi adicionada ao objeto pela primeira vez. Especificado no formato RFC 3339.
contexts.updateTime NULLABLE TIMESTAMP A hora em que essa chave de contexto de objeto foi atualizada pela última vez. Especificado no formato RFC 3339.
crc32c NULLABLE INTEGER Checksum CRC32c, conforme descrito no Apêndice B do RFC 4960, codificado usando base64 na ordem de bytes big-endian. Este campo não está presente para objetos criptografados com chaves de criptografia gerenciadas pelo cliente (CMEK).
customTime NULLABLE TIMESTAMP Um carimbo de data/hora especificado pelo usuário para o objeto. Especificado no formato RFC 3339.
etag NULLABLE STRING Tag de entidade HTTP 1.1 do objeto.
eventBasedHold NULLABLE BOOLEAN Se o objeto está sujeito ou não a uma retenção baseada em evento.
generation NULLABLE INTEGER A geração de conteúdo desse objeto.
md5Hash NULLABLE STRING O hash MD5 dos dados, codificado usando base64. Este campo não está presente para objetos compostos e objetos criptografados com chaves de criptografia gerenciadas pelo cliente (CMEK).
metadata REPEATED RECORD Metadados fornecidos pelo usuário, em pares de chave-valor.
metadata.key NULLABLE STRING Uma entrada de metadados individuais.
metadata.value NULLABLE STRING O valor dos metadados.
metageneration NULLABLE INTEGER A versão dos metadados desse objeto nessa geração.
name NULLABLE STRING O nome do objeto.
size NULLABLE INTEGER Tamanho do objeto em bytes.
storageClass NULLABLE STRING Classe de armazenamento do objeto.
temporaryHold NULLABLE BOOLEAN Se o objeto está sujeito a uma retenção temporária.
timeCreated NULLABLE TIMESTAMP A hora de criação do objeto. Esse carimbo de data/hora não muda. Especificado no formato RFC 3339.
timeDeleted NULLABLE TIMESTAMP A hora da exclusão do objeto. Especificado no formato RFC 3339. Para versões de objeto não atuais, o campo timeDeleted indica quando a versão do objeto se tornou não atual.
updated NULLABLE TIMESTAMP O horário de modificação mais recente dos metadados do objeto. Especificado no formato RFC 3339.
timeStorageClassUpdated NULLABLE TIMESTAMP O horário em que a classe de armazenamento do objeto foi alterada pela última vez.
retentionExpirationTime NULLABLE TIMESTAMP O primeiro momento em que o objeto pode ser excluído. Esse valor depende da configuração de retenção definida para o objeto e da política de retenção definida para o bucket que contém o objeto. Especificado no formato RFC 3339.
retentionExpirationTimeLockStatus NULLABLE BOOLEAN Status de bloqueio de retentionExpirationTime.
retentionExpirationTimeSource NULLABLE STRING Origem de retentionExpirationTime.
retainUntilTime NULLABLE TIMESTAMP Indica o tempo definido pela configuração da política de retenção no nível do objeto, refletindo apenas a configuração no nível do objeto. A data de início da vigência até que o objeto seja retido é fornecida no campo retentionExpirationTime. O retentionExpirationTime é a data mais recente especificada por qualquer política de retenção no nível do objeto e no nível do bucket.
retainUntilTimeLockStatus NULLABLE BOOLEAN Status de bloqueio de retainUntilTime, conforme definido pela configuração da política de retenção no nível do objeto.
softDeleteTime NULLABLE DATETIME O horário em que o objeto foi excluído de maneira reversível. Disponível apenas para objetos em buckets com uma política de exclusão reversível.
hardDeleteTime NULLABLE DATETIME O momento em que um objeto excluído de maneira reversível será excluído permanentemente e não poderá mais ser restaurado. O valor é a soma dos valores softDeleteTime e softDeletePolicy.retentionDurationSeconds do bucket. Disponível apenas para objetos em buckets com uma política de exclusão reversível.
project NULLABLE INTEGER O número do projeto a que o bucket pertence.
ref NULLABLE RECORD Um valor ObjectRef do BigQuery que faz referência ao objeto do Cloud Storage. Para usar essa coluna em consultas, consulte Analisar dados e metadados de objetos usando o BigQuery. Para objetos que terminam em /, esse campo retorna valores nulos. Para saber como resolver problemas, consulte Valores nulos na coluna ref ao consultar conjuntos de dados.
ref.uri NULLABLE STRING Um URL de referência do BigQuery para o objeto associado do Cloud Storage, que é equivalente ao URI do objeto. Por exemplo, gs://bucket_name/object_name
ref.version NULLABLE STRING O identificador de versão do BigQuery para o objeto associado do Cloud Storage, que é equivalente ao campo generation do objeto.
ref.authorizer NULLABLE STRING A conexão a recursos do Cloud que pode ser usada para acessar o objeto do Cloud Storage no BigQuery. O valor é sempre null no esquema de metadados do objeto.
ref.details NULLABLE JSON

Os campos de metadados disponíveis na representação do BigQuery do objeto do Cloud Storage, usando o seguinte esquema:

gcs_metadata json {
          "content_type": string,
          "md5_hash": string,
          "size": number,
          "updated": number
        }
encryptionType NULLABLE STRING O tipo de criptografia do objeto. Os valores possíveis são os seguintes:
  • GMEK (Google-owned and Google-managed encryption keys)
  • CMEK (chaves de criptografia gerenciadas pelo cliente)
  • CSEK (chaves de criptografia fornecidas pelo cliente)
securityInsights NULLABLE RECORD Informa o status de acesso público do objeto, indicando se ele pode ser lido ou gravado publicamente. Para mais detalhes, consulte Identificar objetos acessíveis publicamente.
securityInsights.publicAccessInsight NULLABLE RECORD Informa o status de acessibilidade pública do objeto.
securityInsights.publicAccessInsight.readPublicAccess NULLABLE STRING O status de leitura pública do objeto. Os possíveis valores são os seguintes:
  • PUBLIC: indica que o objeto tem permissões que concedem acesso público e nenhuma outra política restringe esse acesso.
  • NOT_PUBLIC: indica que o objeto está protegido contra acesso público por permissões ou uma política de prevenção.
  • UNSUPPORTED: indica que o objeto está em uma pasta gerenciada.
  • ERROR: indica que ocorreu um erro interno temporário ao calcular o status público do objeto. O status público de falha não é preenchido para snapshots atuais. O Storage Insights restaura o status nos snapshots subsequentes.
securityInsights.publicAccessInsight.readPublicAccessSource NULLABLE STRING Se readPublicAccess for PUBLIC, vai retornar a origem da permissão de leitura pública. Caso contrário, esse campo será null. Os valores possíveis são os seguintes:
  • Object: indica permissões no nível do objeto.
  • Bucket: indica permissões no nível do bucket.
  • ERROR: indica que ocorreu um erro interno temporário ao determinar a origem do acesso público.
securityInsights.publicAccessInsight.writePublicAccess NULLABLE STRING O status de gravação pública do objeto. Os possíveis valores são os seguintes:
  • PUBLIC: indica que o objeto tem permissões que concedem acesso público e nenhuma outra política restringe esse acesso.
  • NOT_PUBLIC: indica que o objeto está protegido contra acesso público por permissões ou uma política de prevenção.
  • UNSUPPORTED: indica que o objeto está em uma pasta gerenciada.
  • ERROR: indica que ocorreu um erro interno temporário ao calcular o status público do objeto. O status público de falha não é preenchido para snapshots atuais. O Storage Insights restaura o status nos snapshots subsequentes.

Snapshot mais recente de metadados de buckets e objetos

O conjunto de dados vinculado expõe o snapshot mais recente dos metadados de bucket e objeto pelas seguintes visualizações dedicadas:

  • A tabela bucket_attributes_latest_snapshot_view fornece os metadados mais recentes dos buckets do Cloud Storage. A estrutura dele corresponde ao esquema de metadados do bucket.

  • A tabela object_attributes_latest_snapshot_view fornece os metadados mais recentes para seus objetos do Cloud Storage. A estrutura dele corresponde ao esquema de metadados do objeto.

Metadados do projeto

O conjunto de dados vinculado expõe os metadados do projeto como uma visualização chamada project_attributes_view:

Campo de metadados Modo Tipo Descrição
snapshotTime NULLABLE TIMESTAMP O campo snapshotTime armazena o horário da atualização do snapshot de metadados do projeto no formato RFC 3339. Todos os registros gerados com base na mesma atualização de snapshot têm o mesmo snapshotTime.
name NULLABLE STRING O nome do projeto.
id NULLABLE STRING O identificador exclusivo do projeto.
number NULLABLE INTEGER Um valor numérico associado ao projeto.

Catálogo de contextos de objetos

O conjunto de dados vinculado expõe os metadados mais recentes para contextos de objeto, incluindo payloads de dados estendidos (pré-lançamento), como uma visualização chamada object_contexts_catalog_view.

A visualização object_contexts_catalog_view fornece as informações de contexto mais recentes para seus objetos do Cloud Storage. A visualização do catálogo é atualizada a cada 24 horas. O carregamento inicial leva de 24 a 48 horas. Os objetos em buckets novos ou realocados aparecem em até 24 a 48 horas.

A tabela object_contexts_catalog_view tem os seguintes campos:

Campo de metadados Modo Tipo Descrição
project NULLABLE INTEGER O número do projeto ao qual o bucket pertence.
bucket NULLABLE STRING O nome do bucket que contém esse objeto.
name NULLABLE STRING O nome do objeto.
generation NULLABLE INTEGER A geração de conteúdo desse objeto.
location NULLABLE STRING O local do objeto.
createdTime NULLABLE STRING A hora de criação do objeto.
catalogUpdatedTime NULLABLE TIMESTAMP A hora em que a entrada no catálogo foi atualizada.
contexts REPEATED RECORD Matriz de entradas de contexto anexadas ao objeto.
contexts.key NULLABLE STRING A chave para a entrada de contexto (por exemplo, google:annotation:label-detector-v1).
contexts.value NULLABLE STRING O valor da string associado à chave de contexto.
contexts.contextCreationTime NULLABLE TIMESTAMP Hora de criação dessa entrada de contexto específica.
contexts.contextUpdateTime NULLABLE TIMESTAMP Hora da última atualização dessa entrada de contexto específica.
contexts.extendedData (Pré-lançamento) NULLABLE JSON Objeto JSON que contém payloads de dados estendidos estruturados para contextos (como caixas delimitadoras e rótulos de modelos de ML). Esse campo será NULL se o contexto não tiver dados estendidos.

Esquema do conjunto de dados para tabelas de dados de atividade

Os conjuntos de dados do Storage Insights fornecem dados de atividade, incluindo métricas operacionais, registros de erros e visualizações agregadas com escopos personalizáveis para atender a diversas necessidades de análise. As seções a seguir descrevem os esquemas de dados de atividade e os dados disponíveis neles.

Dados de atividade do objeto

A tabela object_events_view no conjunto de dados do Storage Insights fornece registros consultáveis de operações de criação, atualização e exclusão de objetos, metadados e detalhes sobre os erros encontrados durante essas operações. É possível usar os dados para rastrear e resolver problemas de mudanças nos recursos de armazenamento consultando a visualização object_events_view. Os dados na visualização object_events_view têm como escopo sua assinatura do Storage Intelligence e listam todos os objetos ativados nela.

A tabela object_events_view inclui os seguintes campos:

Campo Modo Tipo Descrição
requestCompletionTimestamp NULLABLE TIMESTAMP O carimbo de data/hora de quando a solicitação foi concluída, no formato RFC 3339.
project NULLABLE INTEGER O número do projeto que é proprietário do recurso de bucket.
bucketName NULLABLE STRING O nome do bucket especificado na solicitação.
objectName NULLABLE STRING O nome do objeto especificado na solicitação. Esse campo pode ser nulo.
requestOperation NULLABLE STRING A operação do Cloud Storage realizada. Esse campo é limitado a operações de gravação, atualização e exclusão e pode ser nulo.
requestBytes NULLABLE INTEGER O número de bytes enviados na solicitação.
responseBytes NULLABLE INTEGER O número de bytes enviados na resposta.
requestProcessingTimeMicros NULLABLE INTEGER O tempo em microssegundos que o servidor levou para processar a solicitação. Esse tempo é medido desde o momento em que o primeiro byte é recebido até o envio da resposta. Para uploads retomáveis, a resposta à solicitação de upload final determina o endpoint.
requestId NULLABLE STRING O identificador da solicitação.
requestHost NULLABLE STRING O host especificado na solicitação original.
requestHttpMethod NULLABLE STRING O método HTTP usado para essa solicitação.
responseStatus NULLABLE INTEGER O código de status HTTP enviado na resposta do servidor.
requestReferrer NULLABLE STRING O referenciador HTTP da solicitação.
size NULLABLE INTEGER Tamanho do objeto em bytes.
generation NULLABLE INTEGER A geração de conteúdo do objeto, usada para controle de versões de objetos.
timeCreated NULLABLE TIMESTAMP O horário de criação do objeto, no formato RFC 3339.
storageClass NULLABLE STRING A classe de armazenamento do objeto.
errorReason NULLABLE STRING O motivo do erro (limitado a erros 429).
location NULLABLE STRING O local do objeto.

Visualização de atividade do projeto

A tabela project_activity_view oferece insights operacionais agregados em todos os seus projetos. A tabela resume a atividade total contando os tipos de operação, os bytes transferidos e os códigos de resposta e erros. Use os insights de atividade do projeto para monitoramento, rastreamento e atribuição de custos internos. Os dados na visualização são determinados pelo escopo da sua assinatura do Storage Intelligence. A visualização mostra dados agregados apenas para os buckets e objetos que estão ativados na sua assinatura. Por exemplo, se você ativar o Storage Intelligence apenas para dez buckets específicos, a visualização vai mostrar dados exclusivamente para esses dez buckets. Por outro lado, se você ativar o Storage Intelligence em um nível mais alto (organização, pasta ou projeto), todos os buckets e objetos dentro desse escopo serão incluídos automaticamente, e a visualização vai mostrar os dados agregados deles.

A tabela project_activity_view inclui os seguintes campos:

Campo Modo Tipo Descrição
snapshotStartTime NULLABLE TIMESTAMP O horário de início do snapshot, no formato RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP O horário de término do snapshot, no formato RFC 3339.
project NULLABLE INTEGER O número do projeto.
totalRequests NULLABLE INTEGER O número total de solicitações feitas no projeto.
totalReads NULLABLE INTEGER O número total de operações de leitura.
totalWrites NULLABLE INTEGER O número total de operações de gravação.
totalUpdates NULLABLE INTEGER O número total de operações de atualização.
totalDeletes NULLABLE INTEGER O número total de operações de exclusão.
totalLists NULLABLE INTEGER O número total de operações de lista.
totalRequestBytes NULLABLE INTEGER O número total de bytes de solicitação transferidos.
totalResponseBytes NULLABLE INTEGER O número total de bytes de resposta transferidos.
count4xx NULLABLE INTEGER O número total de erros 4xx.
count5xx NULLABLE INTEGER O número total de erros 5xx.
count2xx NULLABLE INTEGER O número total de respostas de sucesso 2xx.
count400 NULLABLE INTEGER O número total de erros 400 para solicitações inválidas.
count401 NULLABLE INTEGER O número total de erros 401 para solicitações não autorizadas.
count403 NULLABLE INTEGER O número total de erros 403 para solicitações proibidas.
count429 NULLABLE INTEGER O número total de erros 429 para solicitações que excederam o limite de uso.

Visualização de atividade do bucket

A tabela bucket_activity_view oferece insights operacionais agregados em todos os seus buckets. A tabela resume a atividade total contando os tipos de operação, bytes transferidos, códigos de resposta, erros e inclui detalhes sobre os principais prefixos. Use os insights de atividade do bucket para monitorar, resolver problemas, medir e analisar os buckets mais e menos ativos. Os dados na tabela bucket_activity_view estão no escopo da sua assinatura do Storage Intelligence e incluem registros de todos os buckets ativos.

A tabela bucket_activity_view inclui os seguintes campos:

Campo Modo Tipo Descrição
snapshotStartTime NULLABLE TIMESTAMP O horário de início do snapshot, no formato RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP O horário de término do snapshot, no formato RFC 3339.
name NULLABLE STRING O nome do bloco.
generation NULLABLE INTEGER O número de geração do bucket.
project NULLABLE INTEGER O número do projeto.
location NULLABLE STRING O local do bloco.
totalRequests NULLABLE INTEGER O número total de solicitações feitas no bucket.
totalReads NULLABLE INTEGER O número total de operações de leitura.
totalWrites NULLABLE INTEGER O número total de operações de gravação.
totalUpdates NULLABLE INTEGER O número total de operações de atualização.
totalDeletes NULLABLE INTEGER O número total de operações de exclusão.
totalLists NULLABLE INTEGER O número total de operações de lista.
totalRequestBytes NULLABLE INTEGER O número total de bytes de solicitação transferidos.
totalResponseBytes NULLABLE INTEGER O número total de bytes de resposta transferidos.
count4xx NULLABLE INTEGER O número total de erros 4xx.
count5xx NULLABLE INTEGER O número total de erros 5xx.
count2xx NULLABLE INTEGER O número total de respostas de sucesso 2xx.
count400 NULLABLE INTEGER O número total de erros 400 para solicitações inválidas.
count401 NULLABLE INTEGER O número total de erros 401 para solicitações não autorizadas.
count403 NULLABLE INTEGER O número total de erros 403 para solicitações proibidas.
count429 NULLABLE INTEGER O número total de erros 429 para solicitações que excederam o limite de uso.
topPrefixes429Errors REPEATED RECORD Os cinco principais prefixos de bucket com mais erros 429, retornados como um RECORD que contém o prefixo como um STRING e a contagem de erros como um INTEGER.
topPrefixesRequestBytes REPEATED RECORD Os cinco principais prefixos de bucket com o maior número de bytes solicitados, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER.
topPrefixesResponseBytes REPEATED RECORD Os cinco principais prefixos de bucket com o maior número de bytes de resposta, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER.
topPrefixesHighestOperations REPEATED RECORD Os cinco principais prefixos de bucket com o maior número de operações, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER.

Visualização de atividade da região do bucket

A tabela bucket_region_activity_view resume o total de bytes enviados e recebidos por um bucket, agregados por região de destino. Use os dados regionais de atividade do bucket para identificar as regiões mais ativas, o que ajuda a determinar o local ideal do bucket, analisar a saída regional e considerar a realocação de bucket conforme necessário para otimizar o desempenho, o custo ou a resiliência. Os dados na tabela bucket_region_activity_view estão no escopo da sua assinatura do Storage Intelligence e incluem registros de todos os buckets ativos.

Campo Modo Tipo Descrição
snapshotStartTime NULLABLE TIMESTAMP O horário de início do snapshot, no formato RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP O horário de término do snapshot, no formato RFC 3339.
project NULLABLE INTEGER O número do projeto do bucket.
name NULLABLE STRING O nome do bloco.
generation NULLABLE INTEGER O número de geração do bucket.
requestLocation NULLABLE STRING O local Google Cloud de origem da solicitação.
bucketLocation NULLABLE STRING O local do bloco.
requestBytes NULLABLE INTEGER O número total de bytes transferidos para solicitações entre o bucket e o local especificados.
responseBytes NULLABLE INTEGER O número total de bytes transferidos para respostas entre o bucket e o local especificados.

Esquema do conjunto de dados para eventos e erros

No conjunto de dados vinculado, também é possível conferir os eventos e erros de processamento de snapshot nas visualizações events_view e error_attributes_view. Para resolver os erros de processamento de snapshot, consulte Resolver erros de conjunto de dados.

Log de eventos

É possível conferir os logs de eventos na visualização events_view no conjunto de dados vinculado:

Campo de metadados Modo Tipo Descrição
manifest.snapshotTime NULLABLE TIMESTAMP O horário, no formato RFC 3339, em que o snapshot dos eventos é atualizado.
manifest.viewName NULLABLE STRING O nome da visualização que é atualizada.
manifest.location NULLABLE STRING O local de origem dos dados que são atualizados.
globalManifest.snapshotTime NULLABLE TIMESTAMP O horário de conclusão da ingestão, no formato RFC 3339, para as tabelas de atributos de bucket e objeto em todos os locais de origem.
eventTime NULLABLE TIMESTAMP Hora em que o evento ocorreu
eventCode NULLABLE STRING O código do evento associado à entrada correspondente. Os valores de eventCode são os seguintes:
  • eventCode 1 indica que a visualização manifest.viewName é atualizada com todas as entradas do local de origem (manifest.location) no snapshot (manifest.snapshotTime).
  • eventCode 2 indica que o conjunto de dados é atualizado com as entradas de bucket e objeto para todos os locais de origem. A atualização ocorre no snapshot (globalManifest.snapshotTime).
  • eventCode 3 se refere às visualizações de dados de atividade que estão sendo atualizadas com todas as entradas do local de origem (manifest.location) na janela de registro.

Códigos de erro

É possível ver os códigos do erro na tabela error_attributes_view no conjunto de dados vinculado:

Campo de metadados Modo Tipo Descrição
errorCode NULLABLE INTEGER O código do erro associado a essa entrada. Para ver uma lista de valores válidos e como resolver esses erros, consulte Solucionar problemas de conjunto de dados.
errorSource NULLABLE STRING A origem do erro. Valor válido: CONFIGURATION_PREPROCESSING.
errorTime NULLABLE TIMESTAMP A hora em que o erro ocorreu.
sourceGcsLocation NULLABLE STRING O local de origem do erro no Cloud Storage. Para projetos, esse campo é nulo porque os projetos não estão associados a um local.
bucketErrorRecord.bucketName NULLABLE STRING O nome do bucket envolvido no erro. Use essas informações para depurar um erro de bucket.
bucketErrorRecord.serviceAccount NULLABLE STRING A conta de serviço que precisa de permissão para ingerir objetos do bucket. Use essas informações para depurar um erro de bucket.
projectErrorRecord.projectNumber NULLABLE INTEGER O número do projeto envolvido no erro. Use essas informações para depurar um erro do projeto.
projectErrorRecord.organizationName NULLABLE STRING O nome da organização a que o projeto precisa pertencer para o processamento. Um valor de 0 indica que o projeto não está na organização. Use essas informações para depurar um erro do projeto.

Resolver erros do conjunto de dados

Para resolver os erros de processamento de snapshot registrados na visualização error_attributes_view no conjunto de dados vinculado, consulte a tabela a seguir:

Código do erro Erro Mensagem de erro Solução de problemas
1 O projeto de origem não pertence à organização O projeto de origem projectErrorRecord.projectNumber não pertence à organização projectErrorRecord.organizationName. Adicione o projeto de origem projectErrorRecord.projectNumber à organização projectErrorRecord.organizationName. Para instruções sobre como migrar um projeto entre organizações, consulte Migrar projetos entre organizações.
2 Erro de autorização do bucket Permissão negada para ingerir objetos no bucket bucketErrorRecord.bucketName. Conceda à conta de serviço bucketErrorRecord.serviceAccount permissões do Identity and Access Management (IAM) para permitir a ingestão de objetos para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Conceder as permissões necessárias ao agente de serviço.
3 O projeto de destino não pertence à organização O projeto de destino projectErrorRecord.projectNumber não está na organização projectErrorRecord.organizationName. Adicione o projeto de destino projectErrorRecord.projectNumber à organização projectErrorRecord.organizationName. Para instruções sobre como migrar um projeto entre organizações, consulte Migrar projetos entre organizações.
4 O projeto de origem não tem o Storage Intelligence configurado. O projeto de origem projectErrorRecord.projectNumber não tem o Storage Intelligence configurado. Configure o Storage Intelligence para o projeto de origem projectErrorRecord.projectNumber. Para mais informações, consulte Configurar e gerenciar o Storage Intelligence.
5 O bucket não tem o Storage Intelligence configurado. O bucket bucketErrorRecord.bucketName não tem o Storage Intelligence configurado. Configure o Storage Intelligence para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Configurar e gerenciar o Storage Intelligence.
6 Erro de autenticação de acesso ao bucket ACTIVITY_BUCKET_ACCESS_AUTHORIZATION_ERROR para o bucket bucketErrorRecord.bucketName. Conceda à conta de serviço bucketErrorRecord.serviceAccount permissões do Identity and Access Management (IAM) para permitir a ingestão de atividades para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Conceder as permissões necessárias ao agente de serviço.

A seguir