Tabelas e esquemas de conjuntos de dados do Storage Insights

Este documento descreve as tabelas e os esquemas incluídos nos conjuntos de dados do Storage Insights, que podem ser usados para analisar padrões operacionais, monitorar o uso de recursos e entender a atividade em todo o ambiente de armazenamento.

Esquema de metadados do conjunto de dados

As seções a seguir descrevem os campos de metadados incluídos nos conjuntos de dados. Para mais informações sobre os modos de coluna do BigQuery, consulte Modos. Os modos de coluna determinam como o BigQuery armazena e consulta os dados.

Metadados do bucket

O esquema de metadados do bucket inclui as tabelas bucket_attributes_view e bucket_attributes_latest_snapshot_view. As tabelas de metadados de bucket têm os seguintes campos:

Campo de metadados Modo Tipo Descrição
snapshotTime NULLABLE TIMESTAMP O campo snapshotTime armazena o horário da atualização do snapshot dos metadados do bucket no formato RFC 3339.
name NULLABLE STRING O nome do bloco.
location NULLABLE STRING O local do bloco. Os dados de objetos no bucket ficam armazenados fisicamente nesse local.
project NULLABLE INTEGER O número do projeto a que o bucket pertence.
storageClass NULLABLE STRING A classe de armazenamento padrão do bucket.
public NULLABLE RECORD Obsoleto. Esse campo indica se um bucket está acessível ao público. Use iamConfiguration.
public.bucketPolicyOnly NULLABLE BOOLEAN Obsoleto. Esse campo, parte do registro public, indica se o acesso uniforme no nível do bucket está ativado, o que impede o acesso por ACLs no nível do objeto.
public.publicAccessPrevention NULLABLE STRING Obsoleto. Esse campo, parte do registro public, indica se o acesso público ao bucket está impedido.
autoclass NULLABLE RECORD A configuração da classe automática do bucket, que, quando ativada, controla a classe de armazenamento dos objetos com base em como e quando eles são acessados.
autoclass.enabled NULLABLE BOOLEAN Indica se a classe automática está ativada.
autoclass.toggleTime NULLABLE TIMESTAMP O horário em que a classe automática foi ativada ou desativada pela última vez para este bucket, no formato RFC 3339.
versioning NULLABLE BOOLEAN Indica se o controle de versão do bucket está ativado. Para mais informações, consulte Controle de versão de objetos.
lifecycle NULLABLE BOOLEAN Se o bucket tem ou não uma configuração de ciclo de vida. Consulte gerenciamento do ciclo de vida para mais informações.
metageneration NULLABLE INTEGER A geração de metadados deste bucket.
timeCreated NULLABLE TIMESTAMP O horário de criação do bucket no formato RFC 3339.
tags NULLABLE RECORD Obsoleto. Esse campo contém pares de chave-valor definidos pelo usuário associados ao bucket. Use resourceTags.
tags.lastUpdatedTime NULLABLE TIMESTAMP Obsoleto. Esse campo indica a última vez que os tags foram atualizados.
tags.tagMap REPEATED RECORD Obsoleto. Esse campo, parte do registro tags, contém o mapa de chaves e valores de tag.
tags.tagMap.key NULLABLE STRING Obsoleto. Esse campo, parte do registro tags.tagMap, representa a chave de uma tag.
tags.tagMap.value NULLABLE STRING Obsoleto. Esse campo, parte do registro tags.tagMap, representa o valor de uma tag.
labels REPEATED RECORD Rótulos de agrupamento fornecidos pelo usuário, em pares de chave-valor.
labels.key NULLABLE STRING Uma entrada de rótulo individual.
labels.value NULLABLE STRING O valor do rótulo.
softDeletePolicy NULLABLE RECORD A política de exclusão reversível do bucket, que define o período em que os objetos no bucket são mantidos em um estado de exclusão reversível após serem excluídos. Os objetos em estado de exclusão reversível não podem ser excluídos permanentemente e podem ser restaurados até a hardDeleteTime.
softDeletePolicy.effectiveTime NULLABLE DATETIME

A data e hora em que a política de exclusão temporária entra em vigor, no formato RFC 3339.

softDeletePolicy.effectiveTime é atualizado sempre que softDeletePolicy.retentionDurationSeconds aumenta.
softDeletePolicy.retentionDurationSeconds NULLABLE LONG O período em que um objeto excluído de forma reversível é retido e não pode ser excluído permanentemente, em segundos. O valor precisa ser maior ou igual a 604800 (7 dias) e menor que 7776000 (90 dias). O valor também pode ser definido como 0, o que desativa a política de exclusão reversível.
iamConfiguration NULLABLE RECORD A configuração do IAM para um bucket.
iamConfiguration.uniformBucketLevelAccess NULLABLE RECORD A configuração de acesso uniforme no nível do bucket do bucket.
iamConfiguration.uniformBucketLevelAccess.enabled NULLABLE BOOLEAN Se o bucket usa ou não o acesso uniforme no nível do bucket.
iamConfiguration.publicAccessPrevention NULLABLE STRING O status da prevenção de acesso público do bucket, que é "inherited" ou "enforced".
resourceTags REPEATED RECORD As tags do bucket. Para mais informações, consulte a API Cloud Resource Manager.
resourceTags.key NULLABLE STRING A chave resourceTags.
resourceTags.value NULLABLE STRING O valor resourceTags.

Metadados do objeto

O esquema de metadados do objeto inclui as tabelas object_attributes_view e object_attributes_latest_snapshot_view. As tabelas de metadados de objetos têm os seguintes campos:

Campo de metadados Modo Tipo Descrição
snapshotTime NULLABLE TIMESTAMP O campo snapshotTime armazena o horário da atualização do snapshot de metadados do objeto no formato RFC 3339.
bucket NULLABLE STRING O nome do bucket que contém o objeto.
location NULLABLE STRING O local do bloco. Os dados de objetos no bucket ficam armazenados fisicamente nesse local.
componentCount NULLABLE INTEGER Retornado apenas para objetos compostos. Número de objetos não compostos no objeto composto. componentCount inclui objetos não compostos que faziam parte de objetos compostos usados para compor o objeto atual.
contentDisposition NULLABLE STRING Content-Disposition dos dados do objeto.
contentEncoding NULLABLE STRING Content-Encoding dos dados do objeto.
contentLanguage NULLABLE STRING Content-Language dos dados do objeto.
contentType NULLABLE STRING Content-Type dos dados do objeto.
crc32c NULLABLE INTEGER Checksum CRC32c, conforme descrito no RFC 4960, Apêndice B; codificado usando base64 na ordem de bytes big-endian.
customTime NULLABLE TIMESTAMP Um carimbo de data/hora especificado pelo usuário para o objeto no formato RFC 3339.
etag NULLABLE STRING Tag de entidade HTTP 1.1 do objeto.
eventBasedHold NULLABLE BOOLEAN Se o objeto está sujeito a uma retenção baseada em evento.
generation NULLABLE INTEGER A geração de conteúdo desse objeto.
md5Hash NULLABLE STRING Hash MD5 dos dados, codificado usando base64. Esse campo não está presente para objetos compostos.
metadata REPEATED RECORD Metadados fornecidos pelo usuário, em pares de chave-valor.
metadata.key NULLABLE STRING Uma entrada de metadados individuais.
metadata.value NULLABLE STRING O valor dos metadados.
metageneration NULLABLE INTEGER A versão dos metadados desse objeto nessa geração.
name NULLABLE STRING O nome do objeto.
size NULLABLE INTEGER Content-Length dos dados em bytes.
storageClass NULLABLE STRING A classe de armazenamento do objeto.
temporaryHold NULLABLE BOOLEAN Indica se o objeto está sujeito a uma retenção temporária.
timeCreated NULLABLE TIMESTAMP O horário de criação do objeto no formato RFC 3339.
timeDeleted NULLABLE TIMESTAMP O horário de exclusão do objeto no formato RFC 3339.
updated NULLABLE TIMESTAMP O horário de modificação dos metadados do objeto no formato RFC 3339.
timeStorageClassUpdated NULLABLE TIMESTAMP O horário em que a classe de armazenamento do objeto foi alterada pela última vez.
retentionExpirationTime NULLABLE TIMESTAMP O primeiro momento em que o objeto pode ser excluído, o que depende de qualquer configuração de retenção definida para o objeto e de qualquer política de retenção definida para o bucket que contém o objeto. O valor para retentionExpirationTime é fornecido no formato RFC 3339.
softDeleteTime NULLABLE DATETIME O horário em que o objeto foi excluído de maneira reversível. Disponível apenas para objetos em buckets com uma política de exclusão reversível.
hardDeleteTime NULLABLE DATETIME O momento em que um objeto excluído de forma reversível é excluído permanentemente e não pode mais ser restaurado. O valor é a soma do valor softDeleteTime e do valor softDeletePolicy.retentionDurationSeconds do bucket. Disponível apenas para objetos em buckets com uma política de exclusão reversível.
project NULLABLE INTEGER O número do projeto a que o bucket pertence.

Snapshot mais recente de metadados de buckets e objetos

O conjunto de dados vinculado expõe o snapshot mais recente dos metadados do bucket e do objeto nas seguintes visualizações dedicadas:

  • A tabela bucket_attributes_latest_snapshot_view fornece os metadados mais recentes dos seus buckets do Cloud Storage. A estrutura dele corresponde ao esquema de metadados do bucket.

  • A tabela object_attributes_latest_snapshot_view fornece os metadados mais recentes dos seus objetos do Cloud Storage. A estrutura dele corresponde ao esquema de metadados do objeto.

Metadados do projeto

O conjunto de dados vinculado expõe os metadados do projeto como uma visualização chamada project_attributes_view:

Campo de metadados Modo Tipo Descrição
snapshotTime NULLABLE TIMESTAMP O campo snapshotTime armazena o horário da atualização do snapshot dos metadados do projeto no formato RFC 3339.
name NULLABLE STRING O nome do projeto.
id NULLABLE STRING O identificador exclusivo do projeto.
number NULLABLE INTEGER Um valor numérico associado ao projeto.

Esquema do conjunto de dados para tabelas de dados de atividades

Os conjuntos de dados do Storage Insights fornecem dados de atividade, incluindo métricas operacionais, registros de erros e visualizações agregadas com escopos personalizáveis para atender a diversas necessidades de análise. As seções a seguir descrevem os esquemas de dados de atividade e os dados disponíveis neles.

Dados de atividade de objetos

A tabela object_events_view no conjunto de dados do Storage Insights fornece registros consultáveis de operações de criação, atualização e exclusão de objetos, metadados e detalhes sobre os erros encontrados durante essas operações. Use os dados para rastrear e solucionar problemas nas mudanças dos seus recursos de armazenamento consultando a visualização object_events_view. Os dados na visualização object_events_view são limitados à sua assinatura do Storage Intelligence e listam todos os objetos ativados nela.

A tabela object_events_view inclui os seguintes campos:

Campo Modo Tipo Descrição
requestCompletionTimestamp NULLABLE TIMESTAMP O carimbo de data/hora em que a solicitação foi concluída, no formato RFC 3339.
project NULLABLE INTEGER O número do projeto que é o proprietário do recurso de bucket.
bucketName NULLABLE STRING O nome do bucket especificado na solicitação.
objectName NULLABLE STRING O nome do objeto especificado na solicitação. Esse campo pode ser nulo.
requestOperation NULLABLE STRING A operação do Cloud Storage realizada. Esse campo é limitado a operações de gravação, atualização e exclusão e pode ser nulo.
requestBytes NULLABLE INTEGER O número de bytes enviados na solicitação.
responseBytes NULLABLE INTEGER O número de bytes enviados na resposta.
requestProcessingTimeMicros NULLABLE INTEGER O tempo em microssegundos que o servidor levou para processar a solicitação. Esse tempo é medido desde o recebimento do primeiro byte até o envio da resposta. Para uploads retomáveis, a resposta à solicitação de upload final determina o endpoint.
requestId NULLABLE STRING O identificador da solicitação.
requestHost NULLABLE STRING O host especificado na solicitação original.
requestHttpMethod NULLABLE STRING O método HTTP usado para esta solicitação.
responseStatus NULLABLE INTEGER O código de status HTTP enviado na resposta do servidor.
requestReferrer NULLABLE STRING O referenciador HTTP da solicitação.
size NULLABLE INTEGER Tamanho do objeto em bytes.
generation NULLABLE INTEGER A geração de conteúdo do objeto, usada para controle de versões de objetos.
timeCreated NULLABLE TIMESTAMP O horário de criação do objeto, no formato RFC 3339.
storageClass NULLABLE STRING A classe de armazenamento do objeto.
errorReason NULLABLE STRING O motivo do erro (limitado a erros 429).
location NULLABLE STRING O local do objeto.

Visualização de atividade do projeto

A tabela project_activity_view oferece insights operacionais agregados em todos os seus projetos. A tabela resume a atividade total contando tipos de operação, bytes transferidos e códigos de resposta e erros. Use os insights de atividade do projeto para monitoramento, rastreamento e atribuição de custos internos. Os dados na visualização são determinados pelo escopo da assinatura do Storage Intelligence. A visualização mostra dados agregados apenas para os buckets e objetos que estão ativados na sua assinatura. Por exemplo, se você ativar o Storage Intelligence apenas para dez buckets específicos, a visualização vai mostrar dados exclusivamente para esses dez buckets. Por outro lado, se você ativar a Inteligência de armazenamento em um nível mais alto (organização, pasta ou projeto), todos os buckets e objetos nesse escopo serão incluídos automaticamente, e a visualização vai mostrar os dados agregados deles.

A tabela project_activity_view inclui os seguintes campos:

Campo Modo Tipo Descrição
snapshotStartTime NULLABLE TIMESTAMP O horário de início do snapshot, no formato RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP O horário de término do snapshot, no formato RFC 3339.
project NULLABLE INTEGER O número do projeto.
totalRequests NULLABLE INTEGER O número total de solicitações feitas no projeto.
totalReads NULLABLE INTEGER O número total de operações de leitura.
totalWrites NULLABLE INTEGER O número total de operações de gravação.
totalUpdates NULLABLE INTEGER O número total de operações de atualização.
totalDeletes NULLABLE INTEGER O número total de operações de exclusão.
totalLists NULLABLE INTEGER O número total de operações de lista.
totalRequestBytes NULLABLE INTEGER O número total de bytes de solicitação transferidos.
totalResponseBytes NULLABLE INTEGER O número total de bytes de resposta transferidos.
count4xx NULLABLE INTEGER O número total de erros 4xx.
count5xx NULLABLE INTEGER O número total de erros 5xx.
count2xx NULLABLE INTEGER O número total de respostas de sucesso 2xx.
count400 NULLABLE INTEGER O número total de erros 400 para solicitações inválidas.
count401 NULLABLE INTEGER O número total de erros 401 para solicitações não autorizadas.
count403 NULLABLE INTEGER O número total de erros 403 para solicitações proibidas.
count429 NULLABLE INTEGER O número total de erros 429 para solicitações que excederam o limite de uso.

Visualização da atividade do bucket

A tabela bucket_activity_view oferece insights operacionais agregados em todos os seus intervalos. A tabela resume a atividade total contando tipos de operação, bytes transferidos, códigos de resposta, erros e inclui detalhes sobre os principais prefixos. Use os insights de atividade do bucket para monitoramento, solução de problemas, medição e análise no nível do bucket dos buckets mais e menos ativos. Os dados na tabela bucket_activity_view são limitados à sua assinatura do Storage Intelligence e incluem registros de todos os buckets ativados.

A tabela bucket_activity_view inclui os seguintes campos:

Campo Modo Tipo Descrição
snapshotStartTime NULLABLE TIMESTAMP O horário de início do snapshot, no formato RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP O horário de término do snapshot, no formato RFC 3339.
name NULLABLE STRING O nome do bloco.
generation NULLABLE INTEGER O número de geração do bucket.
project NULLABLE INTEGER O número do projeto.
location NULLABLE STRING O local do bloco.
totalRequests NULLABLE INTEGER O número total de solicitações feitas no bucket.
totalReads NULLABLE INTEGER O número total de operações de leitura.
totalWrites NULLABLE INTEGER O número total de operações de gravação.
totalUpdates NULLABLE INTEGER O número total de operações de atualização.
totalDeletes NULLABLE INTEGER O número total de operações de exclusão.
totalLists NULLABLE INTEGER O número total de operações de lista.
totalRequestBytes NULLABLE INTEGER O número total de bytes de solicitação transferidos.
totalResponseBytes NULLABLE INTEGER O número total de bytes de resposta transferidos.
count4xx NULLABLE INTEGER O número total de erros 4xx.
count5xx NULLABLE INTEGER O número total de erros 5xx.
count2xx NULLABLE INTEGER O número total de respostas de sucesso 2xx.
count400 NULLABLE INTEGER O número total de erros 400 para solicitações inválidas.
count401 NULLABLE INTEGER O número total de erros 401 para solicitações não autorizadas.
count403 NULLABLE INTEGER O número total de erros 403 para solicitações proibidas.
count429 NULLABLE INTEGER O número total de erros 429 para solicitações que excederam o limite de uso.
topPrefixes429Errors REPEATED RECORD Os cinco principais prefixos de bucket com mais erros 429, retornados como um RECORD que contém o prefixo como um STRING e a contagem de erros como um INTEGER.
topPrefixesRequestBytes REPEATED RECORD Os cinco principais prefixos de bucket com o maior número de bytes solicitados, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER.
topPrefixesResponseBytes REPEATED RECORD Os cinco principais prefixos de bucket com o maior número de bytes de resposta, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER.
topPrefixesHighestOperations REPEATED RECORD Os cinco principais prefixos de bucket com o maior número de operações, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER.

Visualização da atividade da região do bucket

A tabela bucket_region_activity_view resume o total de bytes enviados e recebidos para um bucket, agregados por região de destino. Use os dados regionais de atividade do bucket para identificar as regiões mais ativas, ajudando você a determinar o local ideal do bucket, analisar a saída regional e considerar a realocação do bucket conforme necessário para otimizar o desempenho, o custo ou a resiliência. Os dados na tabela bucket_region_activity_view são limitados à sua assinatura do Storage Intelligence e incluem registros de todos os buckets ativados.

Campo Modo Tipo Descrição
snapshotStartTime NULLABLE TIMESTAMP O horário de início do snapshot, no formato RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP O horário de término do snapshot, no formato RFC 3339.
project NULLABLE INTEGER O número do projeto do bucket.
name NULLABLE STRING O nome do bloco.
generation NULLABLE INTEGER O número de geração do bucket.
requestLocation NULLABLE STRING O Google Cloud local de origem da solicitação.
bucketLocation NULLABLE STRING O local do bloco.
requestBytes NULLABLE INTEGER O número total de bytes transferidos para solicitações entre o bucket e o local especificados.
responseBytes NULLABLE INTEGER O número total de bytes transferidos para respostas entre o bucket e o local especificados.

Esquema do conjunto de dados para eventos e erros

No conjunto de dados vinculado, também é possível conferir os eventos e erros de processamento de snapshots nas visualizações events_view e error_attributes_view. Para resolver erros de processamento de snapshots, consulte Resolver erros de conjuntos de dados.

Registro de eventos

É possível conferir os registros de eventos na visualização events_view do conjunto de dados vinculado:

Campo de metadados Modo Tipo Descrição
manifest.snapshotTime NULLABLE TIMESTAMP O horário, no formato RFC 3339, em que o snapshot dos eventos é atualizado.
manifest.viewName NULLABLE STRING O nome da visualização que é atualizada.
manifest.location NULLABLE STRING O local de origem dos dados que são atualizados.
globalManifest.snapshotTime NULLABLE TIMESTAMP O horário de conclusão da ingestão, no formato RFC 3339, para as tabelas de atributos de bucket e objeto em todos os locais de origem.
eventTime NULLABLE TIMESTAMP Hora em que o evento ocorreu
eventCode NULLABLE STRING O código do evento associado à entrada correspondente. Os valores de eventCode são os seguintes:
  • eventCode 1 indica que a visualização manifest.viewName foi atualizada com todas as entradas do local de origem (manifest.location) no snapshot (manifest.snapshotTime).
  • eventCode 2 indica que o conjunto de dados é atualizado com as entradas de bucket e objeto para todos os locais de origem. A atualização ocorre no snapshot (globalManifest.snapshotTime).
  • eventCode 3 se refere às visualizações de dados de atividade sendo atualizadas com todas as entradas do local de origem (manifest.location) na janela de registro.

Códigos de erro

Você pode conferir os códigos de erro na tabela error_attributes_view do conjunto de dados vinculado:

Campo de metadados Modo Tipo Descrição
errorCode NULLABLE INTEGER O código de erro associado a esta entrada. Para conferir uma lista de valores válidos e saber como resolver esses erros, consulte Resolver problemas de conjuntos de dados.
errorSource NULLABLE STRING A origem do erro. Valor válido: CONFIGURATION_PREPROCESSING.
errorTime NULLABLE TIMESTAMP A hora em que o erro ocorre.
sourceGcsLocation NULLABLE STRING O local de origem do erro no Cloud Storage. Para projetos, esse campo é nulo porque eles não estão associados a um local.
bucketErrorRecord.bucketName NULLABLE STRING O nome do bucket envolvido no erro. Use essas informações para depurar um erro de bucket.
bucketErrorRecord.serviceAccount NULLABLE STRING A conta de serviço que precisa de permissão para ingerir objetos do bucket. Use essas informações para depurar um erro de bucket.
projectErrorRecord.projectNumber NULLABLE INTEGER O número do projeto envolvido no erro. Você pode usar essas informações para depurar um erro de projeto.
projectErrorRecord.organizationName NULLABLE STRING O nome da organização a que o projeto precisa pertencer para processamento. Um valor de 0 indica que o projeto não está na organização. Você pode usar essas informações para depurar um erro de projeto.

Resolver erros de conjunto de dados

Para resolver os erros de processamento de snapshots registrados na visualização error_attributes_view do conjunto de dados vinculado, consulte a tabela a seguir:

Código do erro Erro Mensagem de erro Solução de problemas
1 O projeto de origem não pertence à organização O projeto de origem projectErrorRecord.projectNumber não pertence à organização projectErrorRecord.organizationName. Adicione o projeto de origem projectErrorRecord.projectNumber à organização projectErrorRecord.organizationName. Para instruções sobre como migrar um projeto entre organizações, consulte Migrar projetos entre organizações.
2 Erro de autorização do bucket Permissão negada para ingerir objetos no bucket bucketErrorRecord.bucketName. Conceda à conta de serviço bucketErrorRecord.serviceAccount permissões do Identity and Access Management (IAM) para permitir a ingestão de objetos no bucket bucketErrorRecord.bucketName. Para mais informações, consulte Conceder as permissões necessárias ao agente de serviço.
3 O projeto de destino não pertence à organização O projeto de destino projectErrorRecord.projectNumber não está na organização projectErrorRecord.organizationName. Adicione o projeto de destino projectErrorRecord.projectNumber à organização projectErrorRecord.organizationName. Para instruções sobre como migrar um projeto entre organizações, consulte Migrar projetos entre organizações.
4 O projeto de origem não tem o Storage Intelligence configurado. O projeto de origem projectErrorRecord.projectNumber não tem o Storage Intelligence configurado. Configure o Storage Intelligence para o projeto de origem projectErrorRecord.projectNumber. Para mais informações, consulte Configurar e gerenciar o Storage Intelligence.
5 O bucket não tem o Storage Intelligence configurado. O bucket bucketErrorRecord.bucketName não tem o Storage Intelligence configurado. Configure o Storage Intelligence para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Configurar e gerenciar o Storage Intelligence.
6 Erro de autenticação de acesso ao bucket ACTIVITY_BUCKET_ACCESS_AUTHORIZATION_ERROR para o bucket bucketErrorRecord.bucketName. Conceda à conta de serviço bucketErrorRecord.serviceAccount permissões do Identity and Access Management (IAM) para permitir a ingestão de atividades do bucket bucketErrorRecord.bucketName. Para mais informações, consulte Conceder as permissões necessárias ao agente de serviço.

A seguir