Conjuntos de dados do Storage Insights

Os conjuntos de dados do Storage Insights ajudam a gerenciar seus recursos do Cloud Storage gerando um índice consultável de metadados e atividades em organizações, pastas, projetos ou buckets específicos. Depois de vincular o conjunto de dados ao BigQuery, é possível analisar, consultar e visualizar os dados de buckets e objetos.

Conteúdo e esquemas do conjunto de dados

Um conjunto de dados do Storage Insights fornece um snapshot contínuo de metadados, dados de atividade, erros e eventos de todos os projetos, buckets e objetos no escopo definido. O conjunto de dados coleta e indexa informações para fornecer uma visualização dos seus dados. Essa visualização permite monitorar os recursos do Cloud Storage e gerenciar seu patrimônio de armazenamento.

O conjunto de dados está disponível como um conjunto de dados vinculado do BigQuery, com um conjunto de tabelas que têm os seguintes esquemas:

Casos de uso para conjuntos de dados do Storage Insights

Os conjuntos de dados do Storage Insights fornecem visualizações para receber insights granulares e em toda a organização sobre seus dados. As seções a seguir descrevem casos de uso para conjuntos de dados.

Entender seu patrimônio de armazenamento

Para receber insights sobre seus dados, visualize os metadados de projetos, buckets e objetos. As visualizações de metadados ajudam você com as seguintes tarefas:

  • Identificar anomalias, como dados em uma região inesperada.
  • Identificar oportunidades de otimização, como localizar arquivos temporários ou duplicados.
  • Consultar insights específicos, como objetos criados nas últimas 24 horas ou a contagem total de arquivos PDF.
  • Extraia uma lista de prefixos de um conjunto de objetos com base nos resultados da consulta para detalhar os objetos em que você quer realizar ações.

Realizar operações em lote usando filtros de conjunto de dados

Ao integrar conjuntos de dados do Storage Insights com operações em lote do Storage, é possível realizar ações em grande escala em objetos identificados nos conjuntos de dados. Com essa integração, é possível selecionar subconjuntos específicos de dados em vários buckets do projeto e aplicar transformações com base nos campos do conjunto de dados. Essa abordagem elimina a necessidade de arquivos de manifesto manuais.

Seleção direta de objetos

Use as flags de filtro da Common Expression Language (CEL) (--bucket-filters e --object-filters) diretamente na Google Cloud CLI para selecionar e processar objetos em grande escala. Essa seleção direta permite avaliar campos de conjuntos de dados e executar ações em lote em todo o projeto. Esse método elimina a necessidade de criar arquivos CSV de manifesto manualmente. Não é necessário consultar o conjunto de dados no BigQuery, exportar resultados da pesquisa e fazer upload de manifestos para os buckets. Esse escopo em todo o projeto permite executar um único job em lote em até 1.000 buckets.

Por exemplo, é possível especificar critérios de filtro diretamente na Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Para informações sobre os campos e operadores disponíveis que podem ser usados nesses filtros, consulte a referência de filtros da CEL.

Analisar padrões de atividade

Com as visualizações de atividade do bucket, do projeto e de eventos de objeto, é possível:

  • Analisar padrões operacionais e identificar buckets inativos.

  • Monitore as operações nos seus objetos para ver como seu estado de armazenamento está mudando ao longo do tempo.

  • Mapeie seus projetos, buckets e prefixos mais ativos.

Entender a atividade do bucket regional

A visualização de atividade regional do bucket exibe campos como bytes de solicitação e resposta, mostrando as regiões que interagem com frequência com seu bucket. Analise a atividade do bucket regional para determinar se a realocação de bucket é necessária:

  • Veja o total de saída e entrada de um bucket em uma região para identificar buckets que podem ser mais adequados para uma classe regional, em vez de multirregional.

  • Avalie o tráfego total de dados dentro e entre todas as regiões.

Avaliar o status de segurança

É possível usar metadados de buckets e objetos para identificar objetos expostos publicamente, tipos de criptografia ativos e cronogramas de validade para retenção de dados. As seções a seguir descrevem como os conjuntos de dados do Storage Insights ajudam a avaliar possíveis vulnerabilidades de segurança.

Identificar objetos acessíveis publicamente

É possível usar os conjuntos de dados do Storage Insights para identificar objetos que estão acessíveis publicamente. O status de acesso público dos seus objetos ajuda a controlar os dados de armazenamento e reduzir os riscos de exfiltração de dados, permitindo identificar os objetos expostos à Internet pública.

O esquema de metadados do objeto fornece o status de acesso público, uma métrica calculada que ajuda a simplificar a análise de segurança. Para determinar o status de acesso público de um objeto, os conjuntos de dados do Storage Insights validam todas as seguintes configurações:

Para ajudar você a identificar a configuração específica que concede acesso público, os conjuntos de dados do Storage Insights incluem informações quando um objeto é legível ou gravável publicamente. Para objetos legíveis publicamente, essas informações indicam se a permissão se origina no nível do objeto, do bucket ou da pasta gerenciada. Para objetos graváveis publicamente, ele fornece detalhes sobre se o acesso é concedido por uma ACL de objeto, uma ACL de bucket ou uma política do IAM.

É possível consultar o status de acesso público de objetos usando o BigQuery e monitorar esses objetos usando os painéis do Looker para listar todos os objetos legíveis ou graváveis publicamente. Para mais informações sobre os campos de status de acesso público, consulte securityInsights no esquema de metadados de objeto.

Auditar configurações de criptografia

É possível usar as visualizações de metadados de buckets e objetos para auditar as configurações de criptografia. Essas visualizações incluem informações de criptografia no nível do bucket e do objeto, com campos como encryption nos metadados do bucket e encryptionType nos metadados do objeto. Você pode usar essas informações para:

  • Verifique se os buckets têm a criptografia padrão configurada verificando encryption.defaultEncryptionType e encryption.defaultKmsKeyName.
  • Verifique a conformidade com as políticas de restrição de criptografia verificando encryptionType para ver se os objetos usam chaves de criptografia gerenciadas pelo Google, pelo cliente ou chaves de criptografia fornecidas pelo cliente.
  • Identifique todos os objetos criptografados com uma chave específica do Cloud Key Management Service ou com chaves de criptografia fornecidas pelo cliente.

Políticas de retenção de dados do Monitor

É possível usar as visualizações de metadados de buckets e objetos para monitorar as políticas de retenção de dados. Essas visualizações incluem campos como retentionExpirationTime em metadados de objeto e softDeletePolicy em metadados de bucket. Use esses campos para fazer o seguinte:

  • Rastreie objetos que estão perto de expirar.
  • Identifique buckets com a exclusão reversível ativada e monitore a duração da retenção.
  • Identifique objetos em um estado de exclusão reversível verificando softDeleteTime.

Acelere a solução de problemas

A visualização object_events_view contém informações de erro que podem ajudar na solução de problemas. Use essa visualização para inspecionar operações que resultaram em erros, identificar os motivos dos erros e detectar projetos e buckets com altas taxas de erro. Por exemplo, é possível resolver problemas de erros 429 identificando o bucket, o projeto e a causa raiz afetados, como cota de recursos ou limites de largura de banda.

Analisar dados e metadados de objetos usando o BigQuery

É possível analisar os dados nos conjuntos de dados do Storage Insights usando as funções ObjectRef do BigQuery. Por exemplo, é possível criar consultas para ajudar a detectar informações sensíveis em documentos ou gerar descrições de imagens.

Para analisar o conteúdo do objeto, use a coluna ref das tabelas de metadados de objetos com funções ObjectRef. Para mais detalhes, consulte Analisar dados e metadados de objetos usando o BigQuery.

Benefícios dos conjuntos de dados do Storage Insights

Os conjuntos de dados do Storage Insights fornecem metadados e informações de atividade sobre seu patrimônio de armazenamento em um formato que pode ser consultado no BigQuery. Confira a seguir os benefícios de usar os conjuntos de dados do Storage Insights:

  • Analise seu patrimônio de armazenamento em um escopo personalizável para receber insights de toda a organização ou especifique pastas, projetos ou buckets para análise.

  • Com os dados disponíveis no BigQuery, use consultas SQL e de linguagem natural com o Gemini para analisar seus dados. Para mais detalhes, consulte Analisar dados com a ajuda do Gemini.

  • Para visualizar seus dados, conecte-se a um painel do Looker. Use o painel do Storage Intelligence como um modelo que fornece um exemplo dos insights que podem ser derivados de conjuntos de dados. É possível usar o modelo para se conectar aos conjuntos de dados ou adicionar gráficos personalizados. Para saber como usar o modelo, consulte as instruções de conexão do painel do Storage Intelligence.

Como funcionam os conjuntos de dados do Storage Insights

Para usar conjuntos de dados do Storage Insights, primeiro configure um conjunto de dados em um projeto. Especifique a organização, as pastas ou os projetos em que você quer rastrear dados. Após a criação, conceda as permissões necessárias ao agente de serviço para gerar o conjunto de dados. Em seguida, é possível vincular o conjunto de dados ao BigQuery para consulta. Depois de configurado, o serviço coleta e ingere automaticamente snapshots diários de metadados de objetos, metadados de buckets, operações e erros em uma instância do BigQuery de propriedade do Cloud Storage. Os dados são retidos de acordo com o período de armazenamento configurado e armazenados de maneira otimizada para minimizar os custos de armazenamento e análise.

Na configuração do conjunto de dados, você define quais dados são coletados, onde eles são armazenados e como são gerenciados.

A tabela a seguir descreve as principais propriedades que você precisa definir ao configurar um conjunto de dados:

Propriedade Descrição Detalhes e limites
Escopo do conjunto de dados Especifica os recursos (organizações, projetos ou pastas) que contêm os buckets e objetos que você quer incluir no conjunto de dados. É possível especificar projetos ou pastas individualmente ou usando um arquivo CSV. Cada configuração permite apenas um escopo de conjunto de dados. É possível especificar até 10,000 projetos ou pastas.
Filtros de bucket Filtros usados para incluir ou excluir buckets específicos do conjunto de dados.É possível filtrar por nome de bucket usando expressões regulares ou por local do bucket.
Período de armazenamento do conjunto de dados O número de dias em que o conjunto de dados captura e retém metadados e dados de atividade, incluindo a data de criação do conjunto de dados. Para tabelas de dados de atividade, é possível substituir o período de retenção de dados usando a propriedade Período de retenção para dados de atividade. Esse período de armazenamento é uma janela contínua e pode ser de até 90 dias. Os conjuntos de dados são atualizados com novos metadados a cada 24 horas. O sistema exclui automaticamente os dados capturados fora da janela de retenção. Por exemplo, se você criar um conjunto de dados em 1º de outubro de 2023, com uma janela de retenção definida como 30 dias. Em 30 de outubro, o conjunto de dados reflete os últimos 30 dias de dados (1º a 30 de outubro). Em 31 de outubro, o conjunto de dados reflete os dados de 2 a 31 de outubro. É possível modificar a janela de retenção a qualquer momento. Por padrão, o período de armazenamento se aplica às tabelas de metadados e também às tabelas de dados de atividade quando o período de armazenamento dos dados de atividade não é especificado.
Período de armazenamento dos dados de atividades O número de dias em que o conjunto de dados captura e retém dados de atividade. Quando definido, esse valor substitui o Período de armazenamento do conjunto de dados. O período de armazenamento pode ser de até 365 days. O período de armazenamento dos dados de atividade é aplicável às tabelas de dados de atividade.
Local O local do BigQuery usado para armazenar o conjunto de dados vinculado e os dados associados. O conjunto de dados vinculado precisa estar em um local compatível com o BigQuery, como us-central1, embora os buckets de origem possam estar em qualquer local do Cloud Storage. Recomendamos selecionar o local das tabelas do BigQuery se você já tiver tabelas do BigQuery.
Tipo de agente de serviço Determina o escopo do agente de serviço que lê e grava dados para a configuração do conjunto de dados. Pode ser um agente de serviço com escopo de configuração ou de projeto. Os agentes de serviço com escopo do projeto podem acessar e gravar conjuntos de dados para todas as configurações de conjuntos de dados no projeto. Por exemplo, se você tiver várias configurações de conjunto de dados em um projeto, só precisará conceder as permissões necessárias ao agente de serviço com escopo do projeto uma vez. Isso permite que ela leia e grave conjuntos de dados para todas as configurações de conjuntos de dados no projeto. Quando uma configuração de conjunto de dados é excluída, o agente de serviço com escopo de projeto não é excluído.

Os agentes de serviço com escopo de configuração só podem acessar e gravar o conjunto de dados gerado pela configuração específica. Consequentemente, se você tiver várias configurações de conjunto de dados, será necessário conceder as permissões necessárias a cada agente de serviço com escopo de configuração. Quando uma configuração de conjunto de dados é excluída, o agente de serviço com escopo de configuração é excluído.

Depois de especificar as propriedades de configuração e conceder as permissões necessárias ao agente de serviço, vincule o conjunto de dados ao BigQuery para consulta.

Para detalhes sobre as propriedades definidas ao criar ou atualizar uma configuração de conjunto de dados, consulte o recurso DatasetConfigs na documentação da API JSON.

Após a configuração, o serviço coleta e ingere dados automaticamente em uma instância do BigQuery de propriedade do Cloud Storage. O cronograma para o preenchimento de dados nos conjuntos de dados é o seguinte:

  • O carregamento inicial do conjunto de dados e os dados de atividade de buckets ou objetos recém-adicionados podem levar de 24 a 48 horas para aparecer como um conjunto de dados vinculado no BigQuery.

  • Os dados de atividade geralmente são incluídos em até quatro horas após a atividade (a latência pode ser maior em alguns casos).

  • Os snapshots de metadados (para projetos, buckets e objetos) são atualizados a cada 24 horas.

Considerações

Considere o seguinte para as configurações do conjunto de dados:

  • Quando você renomeia uma pasta em um bucket com o namespace hierárquico ativado, os nomes dos objetos nesse bucket são atualizados. Quando o conjunto de dados vinculado ingere esses snapshots de objeto, eles são considerados novas entradas.

  • As somas de verificação CRC32C e os hashes MD5 não estão disponíveis na tabela object metadata para objetos criptografados com chaves de criptografia gerenciadas pelo cliente (CMEK).

  • Os conjuntos de dados do Storage Insights podem ingerir metadados de buckets de origem em qualquer local do Cloud Storage, incluindo locais não listados aqui. No entanto, o conjunto de dados vinculado precisa estar em um dos seguintes locais compatíveis do BigQuery:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • As seguintes limitações se aplicam ao determinar o status de acesso público para objetos que usam conjuntos de dados do Storage Insights:

    • O status de acesso público não está disponível para objetos em pastas gerenciadas.

    • Os conjuntos de dados do Storage Insights não consideram o VPC Service Controls do bucket ou a configuração de filtragem de IP ao determinar o status de acesso público de um objeto.

A seguir