Conjuntos de dados de informações de armazenamento

Este documento explica como os conjuntos de dados do Storage Insights ajudam a gerir o seu ambiente do Cloud Storage, fornecendo visibilidade e estatísticas sobre os seus dados.

Os conjuntos de dados do Storage Insights criam um índice consultável de metadados e atividade para os seus contentores e objetos do Cloud Storage na sua organização, pastas, projetos ou contentores específicos. Para consultar os metadados e o índice de atividade, tem de associar o conjunto de dados ao BigQuery. Em seguida, pode usar o conjunto de dados do BigQuery associado para analisar, consultar e visualizar os seus dados. Associe o conjunto de dados ao BigQuery para ativar a consulta do índice de metadados e de atividade.

O conjunto de dados Storage Insights é uma funcionalidade exclusiva disponível com a subscrição Storage Intelligence. Google Cloud oferece uma avaliação introdutória de 30 dias do Storage Intelligence. Pode ativar a avaliação para obter estatísticas sobre a sua utilização do Cloud Storage e tomar medidas. Para mais informações acerca da avaliação, consulte o artigo Avaliação introdutória de 30 dias para a inteligência de armazenamento.

Vista geral

Um conjunto de dados do Storage Insights fornece um instantâneo contínuo de metadados, dados de atividade, erros e eventos para todos os projetos, contentores e objetos no âmbito definido. Ao recolher e indexar continuamente informações, o conjunto de dados cria uma vista abrangente que ajuda a compreender o estado dos seus dados, monitorizar os seus recursos do Cloud Storage e obter estatísticas para gerir e otimizar o seu património de armazenamento.

O conjunto de dados está disponível como um conjunto de dados associado do BigQuery, com um conjunto de tabelas que têm os seguintes esquemas:

Exemplos de utilização de conjuntos de dados do Storage Insights

Os conjuntos de dados das Estatísticas de armazenamento oferecem vistas para obter estatísticas detalhadas e ao nível da organização acerca dos seus dados. As secções seguintes descrevem exemplos de utilização de conjuntos de dados.

Compreenda o seu espaço de armazenamento

Pode obter estatísticas sobre os seus dados através da visualização dos metadados de projetos, contentores e objetos. As visualizações de metadados ajudam nas seguintes tarefas:

  • Detetar anomalias, como dados numa região inesperada.
  • Identifique oportunidades de otimização, como localizar ficheiros temporários ou duplicados.
  • Consultar estatísticas específicas, como objetos criados nas últimas 24 horas ou o número total de ficheiros PDF.
  • Analise detalhadamente os objetos sobre os quais quer agir extraindo uma lista de prefixos de um conjunto de objetos com base nos resultados da consulta. Para saber como realizar operações em milhares de milhões de objetos sem servidor, consulte as operações em lote de armazenamento.

Analise padrões de atividade

Com a vista de atividade do contentor, a vista de atividade do projeto e a vista de eventos de objetos, pode fazer o seguinte:

  • Analise padrões operacionais e identifique grupos inativos.

  • Monitorize as operações nos seus objetos para ver como o seu património de armazenamento está a mudar ao longo do tempo.

  • Mapeie os seus projetos, contentores e prefixos mais ativos.

Compreenda a atividade dos contentores regionais

A vista de atividade regional do contentor apresenta campos como bytes de pedido e resposta, o que ajuda a ver as regiões que interagem frequentemente com o seu contentor. Analise a atividade do contentor regional para determinar se a mudança de localização do contentor é necessária:

  • Veja a saída e a entrada totais de um contentor numa região para identificar contentores que podem ser mais adequados para uma classe regional em vez de multirregional.

  • Avalie o tráfego de dados total dentro e em todas as regiões.

Acelere a resolução de problemas

Ao analisar as informações de erro na vista de eventos de objetos, pode inspecionar as operações nos seus objetos que originaram erros, analisar o motivo do erro e acelerar a resolução de problemas. Também pode detetar projetos e contentores com o maior número de erros para determinar as taxas de êxito e de erro. Por exemplo, pode resolver problemas de erros429 identificando o contentor afetado, o projeto e a causa principal, como a quota de recursos ou os limites de largura de banda.

Vantagens dos conjuntos de dados das Estatísticas de armazenamento

Os conjuntos de dados do Storage Insights fornecem metadados e informações de atividade sobre o seu património de armazenamento num formato consultável no BigQuery. Seguem-se as vantagens de usar conjuntos de dados das Estatísticas de armazenamento:

  • Analise o seu estado de armazenamento num âmbito personalizável para obter estatísticas ao nível da organização ou especifique pastas, projetos ou contentores para análise.

  • Com os dados disponíveis no BigQuery, use consultas de SQL e linguagem natural com o Gemini para analisar os seus dados. Para obter detalhes, consulte o artigo Analise dados com a assistência do Gemini.

  • Pode visualizar os seus dados associando-os a um painel de controlo do Looker. Pode usar o painel de controlo de estatísticas de armazenamento como um modelo que fornece um exemplo das estatísticas que pode obter a partir de conjuntos de dados. Pode usar o modelo para estabelecer ligação aos seus conjuntos de dados ou adicionar gráficos personalizados. Para obter informações sobre como usar o modelo, consulte as instruções de ligação do painel de controlo da inteligência de armazenamento.

Como funcionam os conjuntos de dados das Estatísticas de armazenamento

Para usar conjuntos de dados do Storage Insights, configure primeiro um conjunto de dados num projeto. Especifique a organização, as pastas ou os projetos para os quais quer acompanhar os dados. Após a criação, conceda as autorizações necessárias ao agente de serviço para gerar o conjunto de dados. Em seguida, pode associar o conjunto de dados ao BigQuery para fazer consultas. Uma vez configurado, o serviço recolhe e carrega automaticamente instantâneos diários dos metadados de objetos, metadados de contentores, operações e erros numa instância do BigQuery pertencente ao Cloud Storage. Os dados são retidos de acordo com o período de retenção configurado e armazenados de forma otimizada para minimizar os custos de armazenamento e análise.

Na configuração do conjunto de dados, define que dados são recolhidos, onde são armazenados e como são geridos.

A tabela seguinte descreve as propriedades principais que tem de definir quando configura um conjunto de dados:

Propriedade Descrição Detalhes e limites
Âmbito do conjunto de dados Especifica os recursos (organizações, projetos ou pastas) que contêm os contentores e os objetos que quer incluir no conjunto de dados. Pode especificar projetos ou pastas individualmente ou através de um ficheiro CSV. Cada configuração permite apenas um âmbito do conjunto de dados. Pode especificar até 10,000 projetos ou pastas.
Filtros de contentores Filtros usados para incluir ou excluir conjuntos específicos do conjunto de dados.Pode filtrar por nome do contentor através de expressões regulares ou filtrar por localização do contentor.
Período de retenção do conjunto de dados O número de dias que o conjunto de dados capta e retém metadados e dados de atividade, incluindo a data de criação do conjunto de dados. Para tabelas de dados de atividade, pode substituir o período de retenção de dados usando a propriedade Período de retenção de dados de atividade. Este período de retenção é um período contínuo e pode durar até 90 dias. Os conjuntos de dados são atualizados com novos metadados a cada 24 horas. O sistema elimina automaticamente os dados capturados fora do período de retenção. Por exemplo, se criar um conjunto de dados a 1 de outubro de 2023, com um período de retenção definido como 30 dias. A 30 de outubro, o conjunto de dados reflete os últimos 30 dias de dados (1 a 30 de outubro). A 31 de outubro, o conjunto de dados reflete os dados de 2 a 31 de outubro. Pode modificar o período de retenção em qualquer altura. Por predefinição, o período de retenção aplica-se às tabelas de metadados e também às tabelas de dados de atividade quando o período de retenção dos dados de atividade não é especificado.
Período de retenção dos dados de atividade O número de dias que o conjunto de dados capta e retém os dados de atividade. Quando definido, este valor substitui o Período de retenção para o conjunto de dados. O período de retenção pode ser de até 365 days. O período de retenção dos dados de atividade aplica-se às tabelas de dados de atividade.
Localização A localização do BigQuery usada para armazenar o conjunto de dados e os respetivos dados associados. Tem de ser uma localização suportada pelo BigQuery, como us-central1. Recomendamos que selecione a localização das tabelas do BigQuery se tiver tabelas do BigQuery existentes.
Tipo de agente de serviço Determina o âmbito do agente de serviço que lê e escreve dados para a configuração do conjunto de dados. Pode ser um agente de serviço ao nível da configuração ou um agente de serviço ao nível do projeto Os agentes do serviço com âmbito do projeto podem aceder e escrever conjuntos de dados para todas as configurações de conjuntos de dados no projeto. Por exemplo, se tiver várias configurações de conjuntos de dados num projeto, só tem de conceder as autorizações necessárias ao agente de serviço ao nível do projeto uma vez. Isto permite-lhe ler e escrever conjuntos de dados para todas as configurações de conjuntos de dados no projeto. Quando uma configuração do conjunto de dados é eliminada, o agente do serviço com âmbito do projeto não é eliminado.

Os agentes do serviço com âmbito da configuração só podem aceder e escrever no conjunto de dados gerado pela configuração do conjunto de dados específica. Isto significa que, se tiver várias configurações de conjuntos de dados, tem de conceder as autorizações necessárias a cada agente de serviço com âmbito de configuração. Quando uma configuração do conjunto de dados é eliminada, o agente do serviço com âmbito de configuração é eliminado.

Depois de especificar as propriedades de configuração e conceder as autorizações necessárias ao agente de serviço, associe o conjunto de dados ao BigQuery para consulta.

Para ver detalhes sobre as propriedades que define quando cria ou atualiza uma configuração do conjunto de dados, consulte o recurso DatasetConfigs na documentação da API JSON.

Após a configuração, o serviço recolhe e carrega automaticamente dados numa instância do BigQuery pertencente ao Cloud Storage. A cronologia do preenchimento de dados nos conjuntos de dados é a seguinte:

  • O carregamento inicial do conjunto de dados e os dados de atividade dos objetos ou dos contentores recém-adicionados podem demorar 24 a 48 horas a aparecer como um conjunto de dados associado no BigQuery.

  • Normalmente, os dados de atividade são incluídos no prazo de quatro horas após a atividade (a latência pode ser ocasionalmente superior).

  • As capturas instantâneas de metadados (para projetos, contentores e objetos) são atualizadas a cada 24 horas.

Considerações

Tenha em atenção o seguinte para as configurações do conjunto de dados:

  • Quando muda o nome de uma pasta num contentor com o espaço de nomes hierárquico ativado, os nomes dos objetos nesse contentor são atualizados. Quando o conjunto de dados associado carrega estas capturas instantâneas de objetos, são consideradas novas entradas.

  • As somas de verificação CRC32C e os hashes MD5 não estão disponíveis na tabela object metadata para objetos encriptados com chaves de encriptação geridas pelo cliente (CMEK).

  • Os conjuntos de dados só são suportados nas seguintes localizações do BigQuery:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

O que se segue?