Os conjuntos de dados do Storage Insights fornecem tabelas e visualizações do BigQuery que permitem analisar padrões operacionais e monitorar o uso de recursos nos buckets, objetos e projetos do Cloud Storage. Use esses esquemas para escrever consultas que auditam o uso do armazenamento, verificam as configurações de segurança e rastreiam a atividade em todo o ambiente de armazenamento.
Esquema de metadados do conjunto de dados
As seções a seguir descrevem os campos de metadados incluídos nos conjuntos de dados. Para mais informações sobre os modos de coluna do BigQuery, consulte Modos. Os modos de coluna determinam como o BigQuery armazena e consulta os dados.
É possível conectar operações em lote do Storage com
conjuntos de dados do Storage Insights para selecionar dados de forma dinâmica. Essa abordagem permite
consultar colunas de conjuntos de dados diretamente usando expressões de filtro em vez de arquivos de manifesto
manuais. A coluna Storage batch operations filterable nas
tabelas a seguir indica se um campo de metadados é compatível ao
construir argumentos de filtro da Common Expression Language (CEL)
(--bucket-filters ou --object-filters) diretamente na Google Cloud CLI. Se um campo for compatível, você poderá referenciar o nome da coluna diretamente nas expressões de filtro. Para detalhes sobre a sintaxe compatível, consulte a referência de filtros
da CEL.
Metadados do bucket
O esquema de metadados do bucket inclui as tabelas bucket_attributes_view e
bucket_attributes_latest_snapshot_view. As tabelas de metadados de bucket têm
os seguintes campos:
| Campo de metadados | Modo | Tipo | Descrição | Operações em lote do Storage filtráveis |
|---|---|---|---|---|
snapshotTime |
NULLABLE |
TIMESTAMP |
O campo snapshotTime armazena o horário da atualização do snapshot de metadados do bucket no formato RFC 3339. Todos os registros gerados com base na mesma atualização de snapshot têm o mesmo snapshotTime. |
|
name |
NULLABLE |
STRING |
O nome do bloco. | |
location |
NULLABLE |
STRING |
O local do bloco. Os dados dos objetos no bucket residem no armazenamento físico desse local. | |
project |
NULLABLE |
INTEGER |
O número do projeto a que o bucket pertence. | |
storageClass |
NULLABLE |
STRING |
A classe de armazenamento padrão do bucket. | |
public |
NULLABLE |
RECORD |
Obsoleto. Esse campo indica se um bucket está acessível publicamente. Use iamConfiguration. |
|
public.bucketPolicyOnly |
NULLABLE |
BOOLEAN |
Obsoleto. Esse campo, parte do registro public, indica se o acesso uniforme no nível do bucket está ativado, o que impede o acesso por meio de ACLs no nível do objeto. |
|
public.publicAccessPrevention |
NULLABLE |
STRING |
Obsoleto. Esse campo, parte do registro public, indica se o acesso público ao bucket está impedido. |
|
autoclass |
NULLABLE |
RECORD |
A configuração de classe automática do bucket, que, quando ativada, controla a classe de armazenamento dos objetos com base em como e quando eles são acessados. | |
autoclass.enabled |
NULLABLE |
BOOLEAN |
Se a classe automática está ativada ou não. | |
autoclass.toggleTime |
NULLABLE |
TIMESTAMP |
A hora em que a classe automática foi ativada ou desativada pela última vez para esse bucket, no formato RFC 3339. | |
versioning |
NULLABLE |
BOOLEAN |
Se o bucket tem ou não o controle de versões ativado. Para mais informações, consulte Controle de versões de objetos. | |
lifecycle |
NULLABLE |
BOOLEAN |
Se o bucket tem ou não uma configuração de ciclo de vida. Consulte Gerenciamento do ciclo de vida para mais informações. | |
metageneration |
NULLABLE |
INTEGER |
A geração de metadados desse bucket. | |
timeCreated |
NULLABLE |
TIMESTAMP |
A hora de criação do bucket no formato RFC 3339. | |
tags |
NULLABLE |
RECORD |
Obsoleto. Esse campo contém pares de chave-valor definidos pelo usuário associados ao bucket. Use resourceTags. |
|
tags.lastUpdatedTime |
NULLABLE |
TIMESTAMP |
Obsoleto. Esse campo indica a última vez que os tags foram atualizados. |
|
tags.tagMap |
REPEATED |
RECORD |
Obsoleto. Esse campo, parte do registro tags, contém o mapa de chaves e valores de tag. |
|
tags.tagMap.key |
NULLABLE |
STRING |
Obsoleto. Esse campo, parte do registro tags.tagMap, é a chave de uma tag. |
|
tags.tagMap.value |
NULLABLE |
STRING |
Obsoleto. Esse campo, parte do registro tags.tagMap, é o valor de uma tag. |
|
labels |
REPEATED |
RECORD |
Rótulos de bucket fornecidos pelo usuário, em pares de chave-valor. | |
labels.key |
NULLABLE |
STRING |
Uma entrada de rótulo individual. | |
labels.value |
NULLABLE |
STRING |
O valor do rótulo. | |
retentionPeriod |
NULLABLE |
LONG |
O período de armazenamento da política de retenção do bucket em segundos. | |
retentionMode |
NULLABLE |
STRING |
O modo de retenção da política de retenção do bucket. Os valores possíveis são Locked ou Unlocked. |
|
objectRetentionEnabled |
NULLABLE |
BOOLEAN |
Se o Bloqueio de retenção de objetos está ativado em um bucket. Os valores possíveis são True ou False. Se esse campo for True, os objetos no bucket poderão ter configurações de retenção no nível do objeto. |
|
defaultEventBasedHold |
NULLABLE |
BOOLEAN |
Se um bucket tem uma propriedade padrão baseada em eventos ativada. Os valores possíveis são True ou False. |
|
softDeletePolicy |
NULLABLE |
RECORD |
A política de exclusão reversível do bucket, que define o
período em que os objetos no bucket são retidos em um estado de exclusão reversível após serem
excluídos. Os objetos em um estado de exclusão reversível não podem ser excluídos permanentemente e podem ser restaurados até
o hardDeleteTime.
|
|
softDeletePolicy.effectiveTime |
NULLABLE |
DATETIME |
A data e hora em que a política de exclusão reversível entra em vigor, no formato RFC 3339.
|
|
softDeletePolicy.retentionDurationSeconds |
NULLABLE |
LONG |
O período em que um objeto excluído de maneira reversível é retido e não pode ser excluído permanentemente,
em segundos. O valor precisa ser maior ou igual a 3 dias e menor
que 90 dias. O valor também pode ser definido como 0, o que desativa
a política de exclusão reversível.
|
|
enforcedEncryptionAllowedTypes |
REPEATED |
STRING |
Os tipos de criptografia permitidos no bucket. Os valores possíveis são os seguintes:
|
|
encryption |
NULLABLE |
RECORD |
A configuração de criptografia do bucket. O Cloud Storage usa essa configuração para criptografar novos objetos adicionados ao bucket, a menos que você especifique a criptografia no nível do objeto durante o upload. | |
encryption.defaultEncryptionType |
NULLABLE |
STRING |
O tipo de criptografia padrão do bucket. Se encryption.defaultKmsKeyName estiver definido, esse valor será CMEK. Caso contrário, será GMEK. |
|
encryption.defaultKmsKeyName |
NULLABLE |
STRING |
A chave padrão do Cloud Key Management Service configurada para ser usada em novos objetos no bucket. Se esse campo for definido, o Cloud Key Management Service será usado para a criptografia padrão (CMEK). Se não forem definidas, as Google-owned and Google-managed encryption keys serão usadas para a criptografia padrão (GMEK). | |
iamConfiguration |
NULLABLE |
RECORD |
A configuração do IAM para um bucket. | |
iamConfiguration.uniformBucketLevelAccess |
NULLABLE |
RECORD |
A configuração de acesso uniforme no nível do bucket. | |
iamConfiguration.uniformBucketLevelAccess.enabled |
NULLABLE |
BOOLEAN |
Se o bucket usa ou não o acesso uniforme no nível do bucket. | |
iamConfiguration.publicAccessPrevention |
NULLABLE |
STRING |
O status da prevenção de acesso público do bucket, que é "inherited" ou "enforced". |
|
resourceTags |
REPEATED |
RECORD |
As tags do bucket. Para mais informações, consulte API Cloud Resource Manager. | |
resourceTags.key |
NULLABLE |
STRING |
A chave resourceTags. |
|
resourceTags.value |
NULLABLE |
STRING |
O valor resourceTags. |
|
objectCount |
NULLABLE |
INTEGER |
O número total de objetos no bucket. | |
totalSize |
NULLABLE |
INTEGER |
O tamanho total do bucket em bytes. |
Metadados do objeto
O esquema de metadados do objeto inclui as tabelas object_attributes_view e object_attributes_latest_snapshot_view. Essas tabelas incluem metadados
para objetos ativos, versões de objetos não atuais se o controle de versões de
objetos estiver ativado e objetos com exclusão reversível
se a exclusão reversível estiver ativada.
As tabelas de metadados de objeto têm os seguintes
campos:
| Campo de metadados | Modo | Tipo | Descrição | Operações em lote do Storage filtráveis |
|---|---|---|---|---|
snapshotTime |
NULLABLE |
TIMESTAMP |
O campo snapshotTime armazena o horário da atualização do snapshot de metadados do objeto no formato RFC 3339. Todos os registros gerados com base na mesma atualização de snapshot têm o mesmo snapshotTime. |
|
bucket |
NULLABLE |
STRING |
O nome do bucket que contém esse objeto. | |
location |
NULLABLE |
STRING |
O local do bloco. Os dados dos objetos no bucket residem no armazenamento físico desse local. | |
componentCount |
NULLABLE |
INTEGER |
Retornado apenas para objetos compostos. Número de objetos não compostos no objeto composto. componentCount inclui objetos não compostos que faziam parte de qualquer objeto composto usado para compor o objeto atual. |
|
contentDisposition |
NULLABLE |
STRING |
Content-Disposition dos dados do objeto. | |
contentEncoding |
NULLABLE |
STRING |
Content-Encoding dos dados do objeto. | |
contentLanguage |
NULLABLE |
STRING |
Content-Language dos dados do objeto. | |
contentType |
NULLABLE |
STRING |
Content-Type dos dados do objeto. | |
contexts |
REPEATED |
RECORD |
Contextos anexados a um objeto, em pares de chave-valor. Para mais informações sobre contextos de objetos, consulte Visão geral dos contextos de objetos. | |
contexts.key |
NULLABLE |
STRING |
A chave de contexto do objeto. | |
contexts.value |
NULLABLE |
STRING |
O valor da chave de contexto do objeto. | |
contexts.type |
NULLABLE |
STRING |
O tipo de contexto do objeto, que é sempre custom. |
|
contexts.createTime |
NULLABLE |
TIMESTAMP |
A hora em que essa chave de contexto foi adicionada ao objeto pela primeira vez. Especificado no formato RFC 3339. | |
contexts.updateTime |
NULLABLE |
TIMESTAMP |
A hora em que essa chave de contexto de objeto foi atualizada pela última vez. Especificado no formato RFC 3339. | |
crc32c |
NULLABLE |
INTEGER |
Checksum CRC32c, conforme descrito no Apêndice B do RFC 4960, codificado usando base64 na ordem de bytes big-endian. Este campo não está presente para objetos criptografados com chaves de criptografia gerenciadas pelo cliente (CMEK). | |
customTime |
NULLABLE |
TIMESTAMP |
Um carimbo de data/hora especificado pelo usuário para o objeto. Especificado no formato RFC 3339. | |
etag |
NULLABLE |
STRING |
Tag de entidade HTTP 1.1 do objeto. | |
eventBasedHold |
NULLABLE |
BOOLEAN |
Se o objeto está sujeito ou não a uma retenção baseada em evento. | |
generation |
NULLABLE |
INTEGER |
A geração de conteúdo desse objeto. | |
md5Hash |
NULLABLE |
STRING |
O hash MD5 dos dados, codificado usando base64. Este campo não está presente para objetos compostos e objetos criptografados com chaves de criptografia gerenciadas pelo cliente (CMEK). | |
mediaLink |
NULLABLE |
STRING |
Um URL para fazer o download dos dados do objeto. | |
metadata |
REPEATED |
RECORD |
Metadados fornecidos pelo usuário, em pares de chave-valor. | |
metadata.key |
NULLABLE |
STRING |
Uma entrada de metadados individuais. | |
metadata.value |
NULLABLE |
STRING |
O valor dos metadados. | |
metageneration |
NULLABLE |
INTEGER |
A versão dos metadados desse objeto nessa geração. | |
name |
NULLABLE |
STRING |
O nome do objeto. | |
selfLink |
NULLABLE |
STRING |
Um URL para este objeto. | |
size |
NULLABLE |
INTEGER |
Tamanho do objeto em bytes. | |
storageClass |
NULLABLE |
STRING |
Classe de armazenamento do objeto. | |
temporaryHold |
NULLABLE |
BOOLEAN |
Se o objeto está sujeito a uma retenção temporária. | |
timeCreated |
NULLABLE |
TIMESTAMP |
A hora de criação do objeto. Esse carimbo de data/hora não muda. Especificado no formato RFC 3339. | |
timeDeleted |
NULLABLE |
TIMESTAMP |
A hora da exclusão do objeto. Especificado no formato RFC 3339. Para versões de objeto não atuais, o campo timeDeleted indica quando a versão do objeto se tornou não atual. |
|
updated |
NULLABLE |
TIMESTAMP |
O horário de modificação mais recente dos metadados do objeto. Especificado no formato RFC 3339. | |
timeStorageClassUpdated |
NULLABLE |
TIMESTAMP |
O horário em que a classe de armazenamento do objeto foi alterada pela última vez. | |
retentionExpirationTime |
NULLABLE |
TIMESTAMP |
O primeiro momento em que o objeto pode ser excluído. Esse valor depende da configuração de retenção definida para o objeto e da política de retenção definida para o bucket que contém o objeto. Especificado no formato RFC 3339. | |
retentionExpirationTimeLockStatus |
NULLABLE |
BOOLEAN |
Status de bloqueio de retentionExpirationTime. |
|
retentionExpirationTimeSource |
NULLABLE |
STRING |
Origem de retentionExpirationTime. |
|
retainUntilTime |
NULLABLE |
TIMESTAMP |
Indica o tempo definido pela configuração da política de retenção no nível do objeto, refletindo apenas a configuração no nível do objeto. A data de início da vigência até que o objeto seja retido é fornecida no campo retentionExpirationTime. O retentionExpirationTime é a data mais recente especificada por qualquer política de retenção no nível do objeto e no nível do bucket. |
|
retainUntilTimeLockStatus |
NULLABLE |
BOOLEAN |
Status de bloqueio de retainUntilTime, conforme definido pela configuração da política de retenção no nível do objeto. |
|
softDeleteTime |
NULLABLE |
DATETIME |
O horário em que o objeto foi excluído de maneira reversível. Disponível apenas para objetos em buckets com uma política de exclusão reversível. | |
hardDeleteTime |
NULLABLE |
DATETIME |
O momento em que um objeto excluído de maneira reversível será excluído permanentemente e não poderá mais ser restaurado. O valor é a soma dos valores softDeleteTime e softDeletePolicy.retentionDurationSeconds do bucket. Disponível apenas para objetos em buckets com uma política de exclusão reversível. |
|
project |
NULLABLE |
INTEGER |
O número do projeto a que o bucket pertence. | |
ref |
NULLABLE |
RECORD |
Um valor ObjectRef do BigQuery que faz referência ao objeto do Cloud Storage. Para usar essa coluna em consultas, consulte Analisar dados e metadados de objetos usando o BigQuery. Para objetos que terminam em /, esse campo retorna valores nulos. Para saber como resolver problemas, consulte Valores nulos na coluna ref ao consultar conjuntos de dados. |
|
ref.uri |
NULLABLE |
STRING |
Um URL de referência do BigQuery para o objeto associado do Cloud Storage, que é equivalente ao URI do objeto. Por exemplo, gs://bucket_name/object_name |
|
ref.version |
NULLABLE |
STRING |
O identificador de versão do BigQuery para o objeto associado do Cloud Storage, que é equivalente ao campo generation do objeto. |
|
ref.authorizer |
NULLABLE |
STRING |
A
conexão a recursos do Cloud
que pode ser usada para acessar o objeto do Cloud Storage no BigQuery. O valor é sempre null no esquema de metadados do objeto. |
|
ref.details |
NULLABLE |
JSON |
Os campos de metadados disponíveis na representação do BigQuery do objeto do Cloud Storage, usando o seguinte esquema: gcs_metadata json {
"content_type": string,
"md5_hash": string,
"size": number,
"updated": number
} |
|
encryptionType |
NULLABLE |
STRING |
O tipo de criptografia do objeto. Os valores possíveis são os seguintes:
|
|
securityInsights |
NULLABLE |
RECORD |
Informa o status de acesso público do objeto, indicando se ele pode ser lido ou gravado publicamente. Para mais detalhes, consulte Identificar objetos acessíveis publicamente. | |
securityInsights.publicAccessInsight |
NULLABLE |
RECORD |
Informa o status de acessibilidade pública do objeto. | |
securityInsights.publicAccessInsight.readPublicAccess |
NULLABLE |
STRING |
O status de leitura pública do objeto. Os possíveis valores são os seguintes:
|
|
securityInsights.publicAccessInsight.readPublicAccessSource |
NULLABLE |
STRING |
Se readPublicAccess for PUBLIC, vai retornar a origem da permissão de leitura pública. Caso contrário, esse campo será null. Os valores possíveis são os seguintes:
|
|
securityInsights.publicAccessInsight.writePublicAccess |
NULLABLE |
STRING |
O status de gravação pública do objeto. Os possíveis valores são os seguintes:
|
Snapshot mais recente de metadados de buckets e objetos
O conjunto de dados vinculado expõe o snapshot mais recente dos metadados de bucket e objeto pelas seguintes visualizações dedicadas:
A tabela
bucket_attributes_latest_snapshot_viewfornece os metadados mais recentes dos buckets do Cloud Storage. A estrutura dele corresponde ao esquema de metadados do bucket.A tabela
object_attributes_latest_snapshot_viewfornece os metadados mais recentes para seus objetos do Cloud Storage. A estrutura dele corresponde ao esquema de metadados do objeto.
Metadados do projeto
O conjunto de dados vinculado expõe os metadados do projeto como uma visualização chamada project_attributes_view:
| Campo de metadados | Modo | Tipo | Descrição |
|---|---|---|---|
snapshotTime |
NULLABLE |
TIMESTAMP |
O campo snapshotTime armazena o horário da atualização do snapshot de metadados do projeto no formato RFC 3339. Todos os registros gerados com base na mesma atualização de snapshot têm o mesmo snapshotTime. |
name |
NULLABLE |
STRING |
O nome do projeto. |
id |
NULLABLE |
STRING |
O identificador exclusivo do projeto. |
number |
NULLABLE |
INTEGER |
Um valor numérico associado ao projeto. |
Catálogo de contextos de objetos
O conjunto de dados vinculado expõe os metadados mais recentes para contextos de objeto, incluindo payloads de dados estendidos (pré-lançamento), como uma visualização chamada object_contexts_catalog_view.
A visualização object_contexts_catalog_view fornece as informações de contexto mais recentes para seus objetos do Cloud Storage. A visualização do catálogo é atualizada
a cada 24 horas. O carregamento inicial leva de 24 a 48 horas. Os objetos em buckets novos ou
realocados aparecem em até 24 a 48 horas.
A tabela object_contexts_catalog_view tem os seguintes campos:
| Campo de metadados | Modo | Tipo | Descrição |
|---|---|---|---|
project |
NULLABLE |
INTEGER |
O número do projeto ao qual o bucket pertence. |
bucket |
NULLABLE |
STRING |
O nome do bucket que contém esse objeto. |
name |
NULLABLE |
STRING |
O nome do objeto. |
generation |
NULLABLE |
INTEGER |
A geração de conteúdo desse objeto. |
location |
NULLABLE |
STRING |
O local do objeto. |
createdTime |
NULLABLE |
STRING |
A hora de criação do objeto. |
catalogUpdatedTime |
NULLABLE |
TIMESTAMP |
A hora em que a entrada no catálogo foi atualizada. |
contexts |
REPEATED |
RECORD |
Matriz de entradas de contexto anexadas ao objeto. |
contexts.key |
NULLABLE |
STRING |
A chave para a entrada de contexto (por exemplo, google:annotation:label-detector-v1). |
contexts.value |
NULLABLE |
STRING |
O valor da string associado à chave de contexto. |
contexts.contextCreationTime |
NULLABLE |
TIMESTAMP |
Hora de criação dessa entrada de contexto específica. |
contexts.contextUpdateTime |
NULLABLE |
TIMESTAMP |
Hora da última atualização dessa entrada de contexto específica. |
contexts.extendedData (Pré-lançamento) |
NULLABLE |
JSON |
Objeto JSON que contém payloads de dados estendidos estruturados para contextos (como caixas delimitadoras e rótulos de modelos de ML). Esse campo será NULL se o contexto não tiver dados estendidos. |
Esquema do conjunto de dados para tabelas de dados de atividade
Os conjuntos de dados do Storage Insights fornecem dados de atividade, incluindo métricas operacionais, registros de erros e visualizações agregadas com escopos personalizáveis para atender a diversas necessidades de análise. As seções a seguir descrevem os esquemas de dados de atividade e os dados disponíveis neles.
Dados de atividade do objeto
A tabela object_events_view no conjunto de dados do Storage Insights fornece
registros consultáveis de operações de criação, atualização e exclusão de objetos, metadados e
detalhes sobre os erros encontrados durante essas operações. É possível usar os
dados para rastrear e resolver problemas de mudanças nos recursos de armazenamento consultando a
visualização object_events_view. Os dados na visualização object_events_view têm como escopo
sua assinatura do Storage Intelligence e listam todos os objetos
ativados nela.
A tabela object_events_view inclui os seguintes campos:
| Campo | Modo | Tipo | Descrição |
|---|---|---|---|
requestCompletionTimestamp |
NULLABLE |
TIMESTAMP |
O carimbo de data/hora de quando a solicitação foi concluída, no formato RFC 3339. |
project |
NULLABLE |
INTEGER |
O número do projeto que é proprietário do recurso de bucket. |
bucketName |
NULLABLE |
STRING |
O nome do bucket especificado na solicitação. |
objectName |
NULLABLE |
STRING |
O nome do objeto especificado na solicitação. Esse campo pode ser nulo. |
requestOperation |
NULLABLE |
STRING |
A operação do Cloud Storage realizada. Esse campo é limitado a operações de gravação, atualização e exclusão e pode ser nulo. |
requestBytes |
NULLABLE |
INTEGER |
O número de bytes enviados na solicitação. |
responseBytes |
NULLABLE |
INTEGER |
O número de bytes enviados na resposta. |
requestProcessingTimeMicros |
NULLABLE |
INTEGER |
O tempo em microssegundos que o servidor levou para processar a solicitação. Esse tempo é medido desde o momento em que o primeiro byte é recebido até o envio da resposta. Para uploads retomáveis, a resposta à solicitação de upload final determina o endpoint. |
requestId |
NULLABLE |
STRING |
O identificador da solicitação. |
requestHost |
NULLABLE |
STRING |
O host especificado na solicitação original. |
requestHttpMethod |
NULLABLE |
STRING |
O método HTTP usado para essa solicitação. |
responseStatus |
NULLABLE |
INTEGER |
O código de status HTTP enviado na resposta do servidor. |
requestReferrer |
NULLABLE |
STRING |
O referenciador HTTP da solicitação. |
size |
NULLABLE |
INTEGER |
Tamanho do objeto em bytes. |
generation |
NULLABLE |
INTEGER |
A geração de conteúdo do objeto, usada para controle de versões de objetos. |
timeCreated |
NULLABLE |
TIMESTAMP |
O horário de criação do objeto, no formato RFC 3339. |
storageClass |
NULLABLE |
STRING |
A classe de armazenamento do objeto. |
errorReason |
NULLABLE |
STRING |
O motivo do erro (limitado a erros 429). |
location |
NULLABLE |
STRING |
O local do objeto. |
Visualização de atividade do projeto
A tabela project_activity_view oferece insights operacionais agregados em todos os seus projetos. A tabela resume a atividade total contando os tipos de operação,
os bytes transferidos e os códigos de resposta e erros. Use os insights de atividade do projeto para monitoramento, rastreamento e atribuição de custos internos. Os
dados na visualização são determinados pelo escopo da sua assinatura do
Storage Intelligence. A visualização mostra dados agregados apenas para os buckets e
objetos que estão ativados na sua assinatura. Por exemplo, se você
ativar o Storage Intelligence apenas para dez buckets específicos, a visualização
vai mostrar dados exclusivamente para esses dez buckets. Por outro lado, se você ativar o Storage Intelligence em um nível mais alto (organização, pasta ou projeto), todos os buckets e objetos dentro desse escopo serão incluídos automaticamente, e a visualização vai mostrar os dados agregados deles.
A tabela project_activity_view inclui os seguintes campos:
| Campo | Modo | Tipo | Descrição |
|---|---|---|---|
snapshotStartTime |
NULLABLE |
TIMESTAMP |
O horário de início do snapshot, no formato RFC 3339. |
snapshotEndTime |
NULLABLE |
TIMESTAMP |
O horário de término do snapshot, no formato RFC 3339. |
project |
NULLABLE |
INTEGER |
O número do projeto. |
totalRequests |
NULLABLE |
INTEGER |
O número total de solicitações feitas no projeto. |
totalReads |
NULLABLE |
INTEGER |
O número total de operações de leitura. |
totalWrites |
NULLABLE |
INTEGER |
O número total de operações de gravação. |
totalUpdates |
NULLABLE |
INTEGER |
O número total de operações de atualização. |
totalDeletes |
NULLABLE |
INTEGER |
O número total de operações de exclusão. |
totalLists |
NULLABLE |
INTEGER |
O número total de operações de lista. |
totalRequestBytes |
NULLABLE |
INTEGER |
O número total de bytes de solicitação transferidos. |
totalResponseBytes |
NULLABLE |
INTEGER |
O número total de bytes de resposta transferidos. |
count4xx |
NULLABLE |
INTEGER |
O número total de erros 4xx. |
count5xx |
NULLABLE |
INTEGER |
O número total de erros 5xx. |
count2xx |
NULLABLE |
INTEGER |
O número total de respostas de sucesso 2xx. |
count400 |
NULLABLE |
INTEGER |
O número total de erros 400 para solicitações inválidas. |
count401 |
NULLABLE |
INTEGER |
O número total de erros 401 para solicitações não autorizadas. |
count403 |
NULLABLE |
INTEGER |
O número total de erros 403 para solicitações proibidas. |
count429 |
NULLABLE |
INTEGER |
O número total de erros 429 para solicitações que excederam o limite de uso. |
Visualização de atividade do bucket
A tabela bucket_activity_view oferece insights operacionais agregados em todos os seus buckets. A tabela resume a atividade total contando os tipos de operação,
bytes transferidos, códigos de resposta, erros e inclui detalhes sobre os principais
prefixos. Use os insights de atividade do bucket para monitorar,
resolver problemas, medir e analisar os buckets mais e menos ativos. Os
dados na tabela bucket_activity_view estão no escopo da sua
assinatura do Storage Intelligence e incluem registros de todos os buckets
ativos.
A tabela bucket_activity_view inclui os seguintes campos:
| Campo | Modo | Tipo | Descrição |
|---|---|---|---|
snapshotStartTime |
NULLABLE |
TIMESTAMP |
O horário de início do snapshot, no formato RFC 3339. |
snapshotEndTime |
NULLABLE |
TIMESTAMP |
O horário de término do snapshot, no formato RFC 3339. |
name |
NULLABLE |
STRING |
O nome do bloco. |
generation |
NULLABLE |
INTEGER |
O número de geração do bucket. |
project |
NULLABLE |
INTEGER |
O número do projeto. |
location |
NULLABLE |
STRING |
O local do bloco. |
totalRequests |
NULLABLE |
INTEGER |
O número total de solicitações feitas no bucket. |
totalReads |
NULLABLE |
INTEGER |
O número total de operações de leitura. |
totalWrites |
NULLABLE |
INTEGER |
O número total de operações de gravação. |
totalUpdates |
NULLABLE |
INTEGER |
O número total de operações de atualização. |
totalDeletes |
NULLABLE |
INTEGER |
O número total de operações de exclusão. |
totalLists |
NULLABLE |
INTEGER |
O número total de operações de lista. |
totalRequestBytes |
NULLABLE |
INTEGER |
O número total de bytes de solicitação transferidos. |
totalResponseBytes |
NULLABLE |
INTEGER |
O número total de bytes de resposta transferidos. |
count4xx |
NULLABLE |
INTEGER |
O número total de erros 4xx. |
count5xx |
NULLABLE |
INTEGER |
O número total de erros 5xx. |
count2xx |
NULLABLE |
INTEGER |
O número total de respostas de sucesso 2xx. |
count400 |
NULLABLE |
INTEGER |
O número total de erros 400 para solicitações inválidas. |
count401 |
NULLABLE |
INTEGER |
O número total de erros 401 para solicitações não autorizadas. |
count403 |
NULLABLE |
INTEGER |
O número total de erros 403 para solicitações proibidas. |
count429 |
NULLABLE |
INTEGER |
O número total de erros 429 para solicitações que excederam o limite de uso. |
topPrefixes429Errors |
REPEATED |
RECORD |
Os cinco principais prefixos de bucket com mais erros 429, retornados como um RECORD que contém o prefixo como um STRING e a contagem de erros como um INTEGER. |
topPrefixesRequestBytes |
REPEATED |
RECORD |
Os cinco principais prefixos de bucket com o maior número de bytes solicitados, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER. |
topPrefixesResponseBytes |
REPEATED |
RECORD |
Os cinco principais prefixos de bucket com o maior número de bytes de resposta, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER. |
topPrefixesHighestOperations |
REPEATED |
RECORD |
Os cinco principais prefixos de bucket com o maior número de operações, retornados como um RECORD que contém o prefixo como um STRING e a contagem como um INTEGER. |
Visualização de atividade da região do bucket
A tabela bucket_region_activity_view resume o total de bytes enviados e recebidos por um bucket, agregados por região de destino. Use os dados regionais de atividade do bucket para identificar as regiões mais ativas, o que ajuda a determinar o local ideal do bucket, analisar a saída regional e considerar a realocação de bucket conforme necessário para otimizar o desempenho, o custo ou a resiliência. Os
dados na tabela bucket_region_activity_view estão no escopo da sua
assinatura do Storage Intelligence e incluem registros de todos os buckets
ativos.
| Campo | Modo | Tipo | Descrição |
|---|---|---|---|
snapshotStartTime |
NULLABLE |
TIMESTAMP |
O horário de início do snapshot, no formato RFC 3339. |
snapshotEndTime |
NULLABLE |
TIMESTAMP |
O horário de término do snapshot, no formato RFC 3339. |
project |
NULLABLE |
INTEGER |
O número do projeto do bucket. |
name |
NULLABLE |
STRING |
O nome do bloco. |
generation |
NULLABLE |
INTEGER |
O número de geração do bucket. |
requestLocation |
NULLABLE |
STRING |
O local Google Cloud de origem da solicitação. |
bucketLocation |
NULLABLE |
STRING |
O local do bloco. |
requestBytes |
NULLABLE |
INTEGER |
O número total de bytes transferidos para solicitações entre o bucket e o local especificados. |
responseBytes |
NULLABLE |
INTEGER |
O número total de bytes transferidos para respostas entre o bucket e o local especificados. |
Esquema do conjunto de dados para eventos e erros
No conjunto de dados vinculado, também é possível conferir os eventos e erros de processamento de snapshot nas visualizações events_view e error_attributes_view. Para
resolver os erros de processamento de snapshot, consulte Resolver erros de conjunto de
dados.
Log de eventos
É possível conferir os logs de eventos na visualização events_view no conjunto de dados vinculado:
| Campo de metadados | Modo | Tipo | Descrição |
|---|---|---|---|
manifest.snapshotTime |
NULLABLE |
TIMESTAMP |
O horário, no formato RFC 3339, em que o snapshot dos eventos é atualizado. |
manifest.viewName |
NULLABLE |
STRING |
O nome da visualização que é atualizada. |
manifest.location |
NULLABLE |
STRING |
O local de origem dos dados que são atualizados. |
globalManifest.snapshotTime |
NULLABLE |
TIMESTAMP |
O horário de conclusão da ingestão, no formato RFC 3339, para as tabelas de atributos de bucket e objeto em todos os locais de origem. |
eventTime |
NULLABLE |
TIMESTAMP |
Hora em que o evento ocorreu |
eventCode | NULLABLE |
STRING | O código do evento associado à
entrada correspondente. Os valores de eventCode são os seguintes:
|
Códigos de erro
É possível ver os códigos do erro na tabela error_attributes_view no conjunto de dados vinculado:
| Campo de metadados | Modo | Tipo | Descrição |
|---|---|---|---|
errorCode |
NULLABLE |
INTEGER |
O código do erro associado a essa entrada. Para ver uma lista de valores válidos e como resolver esses erros, consulte Solucionar problemas de conjunto de dados. |
errorSource |
NULLABLE |
STRING |
A origem do erro. Valor válido: CONFIGURATION_PREPROCESSING. |
errorTime |
NULLABLE |
TIMESTAMP |
A hora em que o erro ocorreu. |
sourceGcsLocation |
NULLABLE |
STRING |
O local de origem do erro no Cloud Storage. Para projetos, esse campo é nulo porque os projetos não estão associados a um local. |
bucketErrorRecord.bucketName |
NULLABLE |
STRING |
O nome do bucket envolvido no erro. Use essas informações para depurar um erro de bucket. |
bucketErrorRecord.serviceAccount |
NULLABLE |
STRING |
A conta de serviço que precisa de permissão para ingerir objetos do bucket. Use essas informações para depurar um erro de bucket. |
projectErrorRecord.projectNumber |
NULLABLE |
INTEGER |
O número do projeto envolvido no erro. Use essas informações para depurar um erro do projeto. |
projectErrorRecord.organizationName |
NULLABLE |
STRING |
O nome da organização a que o projeto precisa pertencer para o processamento. Um valor de 0 indica que o projeto não está na organização. Use essas informações para depurar um erro do projeto. |
Resolver erros do conjunto de dados
Para resolver os erros de processamento de snapshot registrados na visualização error_attributes_view no conjunto de dados vinculado, consulte a tabela a seguir:
| Código do erro | Erro | Mensagem de erro | Solução de problemas |
|---|---|---|---|
| 1 | O projeto de origem não pertence à organização | O projeto de origem projectErrorRecord.projectNumber não pertence à organização projectErrorRecord.organizationName. |
Adicione o projeto de origem projectErrorRecord.projectNumber à organização projectErrorRecord.organizationName. Para instruções sobre como migrar um projeto entre organizações, consulte Migrar projetos entre organizações. |
| 2 | Erro de autorização do bucket | Permissão negada para ingerir objetos no bucket bucketErrorRecord.bucketName. |
Conceda à conta de serviço bucketErrorRecord.serviceAccount permissões do Identity and Access Management (IAM) para permitir a ingestão de objetos para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Conceder as permissões necessárias ao agente de serviço. |
| 3 | O projeto de destino não pertence à organização | O projeto de destino projectErrorRecord.projectNumber não está na organização projectErrorRecord.organizationName. |
Adicione o projeto de destino projectErrorRecord.projectNumber à organização projectErrorRecord.organizationName. Para instruções sobre como migrar um projeto entre organizações, consulte Migrar projetos entre organizações. |
| 4 | O projeto de origem não tem o Storage Intelligence configurado. | O projeto de origem projectErrorRecord.projectNumber não tem o Storage Intelligence configurado. |
Configure o Storage Intelligence para o projeto de origem projectErrorRecord.projectNumber. Para mais informações, consulte Configurar e gerenciar o Storage Intelligence. |
| 5 | O bucket não tem o Storage Intelligence configurado. | O bucket bucketErrorRecord.bucketName não tem o Storage Intelligence configurado. |
Configure o Storage Intelligence para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Configurar e gerenciar o Storage Intelligence. |
| 6 | Erro de autenticação de acesso ao bucket | ACTIVITY_BUCKET_ACCESS_AUTHORIZATION_ERROR para o bucket bucketErrorRecord.bucketName. |
Conceda à conta de serviço bucketErrorRecord.serviceAccount permissões do Identity and Access Management (IAM) para permitir a ingestão de atividades para o bucket bucketErrorRecord.bucketName. Para mais informações, consulte Conceder as permissões necessárias ao agente de serviço. |
A seguir
- Configurar conjuntos de dados do Storage Insights.
- Gerenciar conjuntos de dados do Storage Insights.
- Executar consultas SQL nos conjuntos de dados no BigQuery.
- Aprenda mais sobre a análise do BigQuery.