Espaço de nomes hierárquico

O espaço de nomes hierárquico é uma capacidade oferecida pelo Cloud Storage que lhe permite organizar objetos em pastas e armazenar os seus dados numa estrutura lógica do sistema de ficheiros, o que facilita a simplificação das tarefas de gestão de dados. O espaço de nomes hierárquico oferece a semântica de diretório de alto desempenho e as operações de pastas atómicas necessárias para acelerar as cargas de trabalho de IA/AA e de estatísticas com grande volume de dados.

Esta página fornece uma vista geral do espaço de nomes hierárquico, incluindo as respetivas principais funcionalidades, exemplos de utilização comuns, vantagens e limitações.

Como funciona

Para usar pastas num contentor, tem de ativar o espaço de nomes hierárquico quando cria o contentor. Não é possível alterar a definição do espaço de nomes hierárquico do seu contentor após a criação do mesmo. Para obter informações sobre como ativar o namespace hierárquico para o seu contentor, consulte o artigo Crie e faça a gestão de contentores com o namespace hierárquico ativado.

O diagrama seguinte mostra um exemplo de um contentor com o espaço de nomes hierárquico ativado, onde os objetos estão organizados numa estrutura hierárquica de pastas. Uma pasta num contentor com o espaço de nomes hierárquico ativado pode conter objetos e subpastas.

Figura 1. Hierarquia de contentores com pastas e objetos.
Figura 1. Hierarquia de contentores com pastas e objetos.

Funcionalidades principais

O espaço de nomes hierárquico oferece as seguintes funcionalidades:

  • Consultas por segundo (CPS) iniciais mais elevadas: os contentores com o espaço de nomes hierárquico ativado oferecem limites de CPS iniciais até 8 vezes mais elevados para ler e escrever objetos em comparação com os contentores sem o espaço de nomes hierárquico ativado. O QPS inicial mais elevado facilita o dimensionamento de cargas de trabalho com grande volume de dados e oferece um débito melhorado. Para ver informações sobre métodos de otimização do desempenho ao usar pastas em contentores com o espaço de nomes hierárquico ativado, consulte o artigo Gestão de pastas.

  • Pastas: as pastas funcionam como um contentor para objetos e outras pastas, com suporte para operações como criar, eliminar e obter pastas. O armazenamento dos seus dados numa estrutura de pastas melhora o desempenho, garante a consistência e simplifica a gestão de cargas de trabalho com grande volume de dados e orientadas para ficheiros.

  • Operações de pastas: as operações de pastas oferecem fiabilidade e capacidades de gestão, incluindo a criação, a eliminação, a listagem e a mudança do nome das pastas.

    • Mudar o nome de pastas: a operação de mudar o nome de pastas ajuda a mudar o nome do caminho de uma pasta e das respetivas pastas subjacentes de forma atómica, sem eliminar objetos. Esta técnica é eficiente e permite poupar tempo, especialmente para pastas grandes com vários objetos.

    • Listar pastas: a operação de listagem de pastas lista todas as pastas no contentor ou abaixo de uma pasta específica, o que ajuda a gerir e a compreender a estrutura dos seus dados armazenados.

Quando deve usar o espaço de nomes hierárquico?

Deve considerar ativar o espaço de nomes hierárquico quando trabalhar com aplicações que esperam uma hierarquia e uma semântica do sistema de ficheiros. O espaço de nomes hierárquico é vantajoso para tarefas com grande volume de dados, como estatísticas e cargas de trabalho de IA/AA. Seguem-se alguns cenários comuns em que deve considerar usar o espaço de nomes hierárquico:

  • Processamento baseado no Hadoop: as cargas de trabalho do Hadoop e do Spark esperam tradicionalmente uma estrutura de armazenamento do sistema de ficheiros e uma nomenclatura baseada no tempo para ficheiros e pastas. O espaço de nomes hierárquico integra-se com o conetor do Cloud Storage para oferecer um débito melhorado e renomeações de pastas atómicas, o que melhora a integridade e a consistência dos dados para muitos pipelines de processamento de dados.

  • Processamento de cargas de trabalho orientadas para ficheiros: as cargas de trabalho, como o processamento de análise de dados em lote, os serviços financeiros ou a computação de alto desempenho, são estruturadas em partições com base numa hierarquia de pastas e ficheiros. O espaço de nomes hierárquico ajuda a gerir estes ambientes com uma API dedicada para a gestão de pastas. Além disso, o espaço de nomes hierárquico simplifica a gestão de pastas que contêm outras pastas e objetos. Com um único comando da API, pode mudar rapidamente o nome de uma pasta, bem como de todo o respetivo conteúdo, poupando tempo e recursos valiosos.

  • Processamento de IA/ML: as ferramentas de IA/ML, como o TensorFlow, o Pandas e o PyTorch, esperam o controlo de acesso e a semântica do sistema de ficheiros. O espaço de nomes hierárquico, especialmente quando combinado com o Cloud Storage FUSE, oferece um débito aumentado e um acesso eficiente aos dados. Como resultado, o espaço de nomes hierárquico melhora o desempenho e a fiabilidade da iteração do modelo de ML.

Antes de ativar o espaço de nomes hierárquico para o seu contentor, deve considerar as limitações do espaço de nomes hierárquico. Para obter informações sobre as limitações do espaço de nomes hierárquico, consulte a secção Limitações.

Vantagens do espaço de nomes hierárquico

Quando ativa o espaço de nomes hierárquico para os seus contentores, pode fazer o seguinte:

  • Otimize a organização: pode organizar os seus dados numa estrutura de pastas hierárquica que ajuda a gerir e localizar ficheiros ou conjuntos de dados.

  • Estabelecer um ecossistema de sistema de ficheiros: o espaço de nomes hierárquico introduz funcionalidades do sistema de ficheiros, como pastas, mudança do nome das pastas e listagem de pastas, que são benéficas para aplicações orientadas para ficheiros, incluindo o ecossistema Hadoop e cargas de trabalho de IA/ML.

  • Melhoria do desempenho: ao dimensionar cargas de trabalho com grande volume de dados para processar um débito mais elevado, pode melhorar o desempenho geral da sua aplicação.

Suporte de plataformas

Os contentores com suporte para espaço de nomes hierárquico suportam as seguintes capacidades da plataforma Cloud Storage:

  • Todas as APIs de objetos do Cloud Storage e funcionalidades do Cloud Storage amplamente usadas. Para ver detalhes sobre as funcionalidades não suportadas, consulte Limitações.

  • Transferência de dados de um contentor padrão para um contentor com espaço de nomes hierárquico através do serviço de transferência de armazenamento.

  • Integração com os seguintes produtos:

Compatibilidade com operações e funcionalidades do Cloud Storage

Os contentores com o namespace hierárquico ativado têm as seguintes interações com outras operações do Cloud Storage:

Como são processadas as operações de objetos

Os contentores com o espaço de nomes hierárquico ativado processam as operações de objetos das seguintes formas:

  • As operações como Upload, Rewrite e Compose criam automaticamente todas as pastas principais em falta, desde que tenha as autorizações necessárias. Como resultado, não precisa de criar pastas previamente antes de carregar objetos.
  • Embora as pastas possam ser criadas automaticamente durante as operações de objetos, tem de as eliminar explicitamente através da operação DeleteFolder.
  • Quando usar a operação ListObjects com o parâmetro delimiter, os contentores devolvem cada pasta secundária como um prefix.. No entanto, as pastas vazias são excluídas por predefinição. Para incluir pastas vazias, semelhantes a uma listagem típica do sistema de ficheiros, tem de definir o parâmetro includeFoldersAsPrefixes. Para obter informações sobre métodos de otimização do desempenho enquanto lista objetos em contentores com o espaço de nomes hierárquico ativado, consulte o artigo Listar objetos.

Como são processadas as pastas geridas

Os contentores com o espaço de nomes hierárquico ativado oferecem um controlo de acesso detalhado quando usados com pastas geridas. Em contentores com o espaço de nomes hierárquico ativado, a pasta é o diretório real que contém os seus dados, enquanto a pasta gerida é um recurso especializado usado para aplicar autorizações da IAM detalhadas a esse diretório. Para gerir o acesso a pastas, tem de criar uma pasta gerida com o mesmo nome da pasta e, em seguida, aplicar-lhe políticas de IAM.

As pastas geridas são processadas das seguintes formas em contentores com o espaço de nomes hierárquico ativado.

  • A criação de uma pasta gerida cria automaticamente todas as pastas principais em falta, incluindo a pasta com o mesmo nome. Por exemplo, suponhamos que tem um contentor vazio com o espaço de nomes hierárquico ativado denominado example-ai-datasets. Se criar uma pasta gerida em example-ai-datasets denominada 2025/training-data/, o Cloud Storage cria automaticamente a pasta principal 2025/ e a pasta de destino training-data/.
  • Uma pasta gerida não pode existir sem a pasta associada.
  • A eliminação de uma pasta elimina automaticamente a pasta gerida associada.
  • Se mudar o nome de uma pasta, o nome da pasta gerida associada também é alterado automaticamente.
  • Os contentores com espaço de nomes hierárquico têm de seguir as regras de nomenclatura de pastas geridas e as regras de nomenclatura de pastas. Embora os nomes das pastas possam estar aninhados até 50 níveis de profundidade, os nomes das pastas geridas só podem estar aninhados até 15 níveis de profundidade. O tamanho máximo do nome da pasta gerida é limitado pelo tamanho máximo do nome da pasta, que é de 512 bytes quando codificado em UTF-8.

Como são processadas as operações de contentores

As secções seguintes descrevem como as operações de contentores são processadas quando o espaço de nomes hierárquico está ativado.

  • Pode listar todos os contentores com o namespace hierárquico ativado, independentemente do respetivo esquema de armazenamento. A disposição de armazenamento de um contentor descreve como os objetos estão organizados num contentor, seja num espaço de nomes simples ou num espaço de nomes hierárquico. Para ver instruções sobre como ver a disposição do armazenamento de um contentor, consulte o artigo Obtenha a disposição do armazenamento de um contentor. Para listar todos os contentores, siga as instruções detalhadas em Listar contentores.

  • Pode eliminar contentores com o espaço de nomes hierárquico ativado, desde que o contentor esteja vazio. Os contentores vazios não contêm objetos nem pastas geridas. Os contentores vazios podem conter pastas vazias (sem objetos no interior).

Como são processadas as regras de gestão do ciclo de vida de objetos

A Gestão do ciclo de vida de objetos permite-lhe automatizar ações em objetos com base em condições, como a idade ou o prefixo. No entanto, as regras de gestão do ciclo de vida dos objetos podem ter um comportamento diferente em contentores com um espaço de nomes hierárquico e em contentores com um espaço de nomes simples devido à operação RenameFolder:

  • Regras de gestão do ciclo de vida de objetos para contentores com um espaço de nomes simples: A operação de mudança de nome envolve a mudança do nome de todos os objetos através da cópia de todos os objetos para uma localização de destino e a eliminação do objeto original da localização de origem. Como resultado, os novos objetos são criados com novas horas de criação na localização de destino. Se forem aplicadas regras de gestão do ciclo de vida de objetos baseadas na idade para a localização de destino, estas não se aplicam imediatamente aos novos objetos, uma vez que as respetivas horas de criação são repostas.

  • Regras de gestão do ciclo de vida de objetos para contentores com espaço de nomes hierárquico ativado: a mudança do nome de uma pasta opera ao nível da pasta, sem ter de mudar o nome de cada objeto. Como resultado, a hora de criação dos objetos é preservada, o que significa que as regras de gestão do ciclo de vida de objetos baseadas na idade são aplicadas aos objetos com nomes alterados imediatamente se cumprirem os critérios de idade.

Preços

Para ver informações sobre preços, consulte os preços do Cloud Storage.

Limitações

Seguem-se as limitações do espaço de nomes hierárquico:

  • Tem de escolher se quer ou não usar o espaço de nomes hierárquico quando cria o contentor. Não é possível alterar a definição do espaço de nomes hierárquico do contentor depois de o criar.

  • Para ativar o espaço de nomes hierárquico, um contentor também tem de ativar o acesso uniforme ao nível do contentor.

  • As seguintes capacidades do Cloud Storage não são suportadas para contentores que usam o espaço de nomes hierárquico:

    • Bloqueio de contentor
    • Relocalização de contentores
    • Replicação entre contentores
    • Retenções de objetos
    • Bloqueio de retenção de objetos
    • Controlo de versões de objetos

O que se segue?

Experimente

Se está a usar o Google Cloud pela primeira vez, crie uma conta para avaliar o desempenho do Cloud Storage em cenários reais. Os novos clientes também recebem 300 USD em créditos sem custo financeiro para executar, testar e implementar cargas de trabalho.

Experimente o Cloud Storage sem custo financeiro