Este documento descreve os recursos e limites dos Exapools. Os Exapools de hiperdisco são pools de hiperdisco projetados para cargas de trabalho em que os pools de armazenamento de hiperdisco não fornecem armazenamento de hiperdisco suficiente em uma única zona. Com os Exapools, você compra armazenamento e desempenho em massa e cria discos no pool para consumir o armazenamento.
Quando usar os Exapools de hiperdisco
Os Exapools são para cargas de trabalho em grande escala com dezenas de milhares de discos em uma única zona que exigem entre 500 TiB e 2,5 EiB de armazenamento de blocos durável. Se a carga de trabalho exigir uma escala menor de capacidade ou desempenho, use um pool de armazenamento do Hyperdisk ou crie discos fora de um pool.
Os Exapools oferecem armazenamento e desempenho na maior escala disponível no Compute Engine, além de economia de custos, permitindo que você provisione mais desempenho e capacidade do que precisa, mas só cobrando pelo que usa.
Os Exapools de hiperdisco são ideais para cargas de trabalho de IA, machine learning (ML) e sistemas de arquivos paralelos distribuídos em grande escala. Confira alguns exemplos de cargas de trabalho:
Exemplos de cargas de trabalho para Exapools de hiperdisco:
- Cargas de trabalho de IA/ML que abrangem 4.000 VMs de TPU e usam 2 PiB de Hyperdisk Balanced com desempenho provisionado de 20.000.000 IOPS e capacidade de processamento de 3 TiB/s, gerando capacidade de processamento máxima agregada simultânea de 500 GiB/s.
- Cargas de trabalho de treinamento de IA/ML com 15.000 instâncias de GPU usando Hyperdisk Balanced para discos de inicialização e de trabalho com capacidade total de 8 PiB, gerando capacidade de processamento máxima agregada simultânea de 1 TiB/s.
- Sistema de arquivos paralelos com 6 PiB ou mais de capacidade e picos agregados simultâneos de 800 GiB/s de capacidade de processamento de leitura.
Como os Exapools funcionam
Crie um Exapool com a capacidade agregada e o desempenho necessários para todos os discos da carga de trabalho em uma zona e, em seguida, crie discos no pool conforme necessário. É possível usar discos em um Exapool como discos de inicialização ou de dados para instâncias e contêineres do Compute Engine.
Ao criar um disco em um Exapool, você aloca alguns dos recursos do pool (tamanho e desempenho) para o disco. Quando você exclui um disco em um pool, os recursos alocados a ele são retornados ao pool para uso por outros discos.
Por exemplo, suponha que você crie um Exapool de Hyperdisk Balanced com 50 PiB de capacidade. Se você criar 100 discos de 10 TiB no pool, a capacidade disponível restante do pool diminuirá em 1.000 TiB.
Tipos de Exapool
Ao criar um Exapool, é necessário escolher um tipo de hiperdisco para os discos que estarão no pool. Os seguintes tipos estão disponíveis:
- Exapools de Hyperdisk Balanced: todos os discos no Exapool são volumes de Hyperdisk Balanced.
- Exapool Hyperdisk Throughput: todos os discos no Exapool são volumes Hyperdisk Throughput.
Para mais informações sobre como escolher um tipo de hiperdisco, consulte Escolher um tipo de hiperdisco para sua carga de trabalho.
Compatibilidade com séries de máquinas
Os Exapools Hyperdisk Throughput e os Exapools Hyperdisk Balanced são compatíveis com a mesma série de máquinas que oferece suporte ao Hyperdisk Throughput e ao Hyperdisk Balanced, respectivamente. Para uma lista da série de máquinas compatíveis, consulte Suporte à série de máquinas para Hyperdisk Throughput e Suporte à série de máquinas para Hyperdisk Balanced.
Provisionamento de desempenho e capacidade para Exapools
O tipo de provisionamento de um pool determina como os discos no pool consomem recursos.
Os Exapools usam provisionamento avançado para capacidade e desempenho, o que oferece a maior economia de custo e tempo.
Provisionamento avançado de capacidade
Todos os Exapools usam provisionamento avançado de capacidade, que oferece os seguintes benefícios:
- Provisionamento fino: o Compute Engine aloca dados para discos no pool conforme necessário, não quando o disco é provisionado.
- Provisionamento excessivo: é possível provisionar os discos no pool com até 50 vezes mais capacidade do que você comprou para o Exapool. Isso simplifica o planejamento de capacidade e evita o tempo de inatividade para o redimensionamento manual do disco.
Para uma explicação detalhada do provisionamento avançado de capacidade, consulte Provisionamento avançado de capacidade.
Provisionamento de desempenho avançado
Os Exapools usam provisionamento de desempenho avançado, que oferece os seguintes benefícios:
- Provisionamento fino: o Compute Engine aloca recursos de desempenho para os discos no pool conforme necessário. Apenas a quantidade de IOPS e capacidade de processamento usadas por um disco em um Exapool consome desempenho.
- Provisionamento excessivo: o desempenho total de todos os discos em um pool pode ser até 50 vezes o desempenho de gravação provisionado do pool.
- Desempenho compartilhado: os discos em um Exapool compartilham o desempenho provisionado do pool até o limite de cada disco, economizando custos para discos com diferentes tempos de uso de pico.
Para uma explicação detalhada do provisionamento de desempenho avançado, consulte Provisionamento de desempenho avançado.
Como comprar capacidade e desempenho
O desempenho provisionado de um Exapool, ou quantas IOPS e capacidade de processamento podem ser alocadas para discos no pool, depende dos seguintes fatores:
- O número de unidades de capacidade no pool
- O tipo de disco do Exapool
Como as unidades de capacidade funcionam
Uma unidade de capacidade inclui 1 GiB de capacidade e uma quantidade fixa de desempenho (IOPS e capacidade de processamento) por GiB. Por exemplo, para adicionar 1 PiB de capacidade a um pool, você compra 1.048.576 unidades de capacidade (1.048.576 GiB = 1 PiB). Os Exapools oferecem três tipos de unidades de capacidade para escolher. A quantidade de desempenho adicionada ao pool depende do tipo de unidades de capacidade:
- Unidades otimizadas para capacidade: oferecem uma taxa equilibrada de IOPS e capacidade de processamento para leituras e gravações.
- Unidades otimizadas para leitura: oferecem a maior taxa de operações de leitura e capacidade de processamento por GiB.
- Unidades otimizadas para gravação: oferecem a maior taxa de operações de gravação e capacidade de processamento por GiB.
Se a carga de trabalho tiver mais operações de leitura do que gravações ou exigir mais capacidade de processamento de leitura do que capacidade de processamento de gravação, você terá o melhor valor comprando unidades otimizadas para leitura.
É possível combinar diferentes tipos de unidades de capacidade ao provisionar ou expandir um Exapool. O tipo e o número de unidades de capacidade compradas para um pool são chamados de combinação de unidades de capacidade.
A combinação de unidades de um Exapool não afeta o desempenho dos discos no Exapool. A combinação de unidades afeta apenas os seguintes fatores:
- Como a cobrança é feita pelo Exapool.
- O desempenho provisionado máximo para o Exapool.
Escolher uma combinação de unidades de capacidade para um Exapool
Para atender às necessidades da carga de trabalho da maneira mais econômica, trabalhe com a equipe de conta para escolher uma combinação de unidades de capacidade que melhor se adapte à carga de trabalho. Por exemplo, é possível criar um Exapool com um grande número de unidades otimizadas para leitura para todos os discos de leitura intensiva em um projeto.
Proporções de unidades de capacidade para Exapools do Hyperdisk Throughput
Os Exapools Hyperdisk Throughput têm as seguintes proporções de desempenho com base na quantidade de capacidade comprada:
| Tipo de unidade de capacidade | Unidades de capacidade compradas | Capacidade do Exapool (TiB) | Capacidade de leitura (MiB/s) | Capacidade de gravação (MiB/s) |
|---|---|---|---|---|
| Otimizada para capacidade | 1.024 | 1 | 0,97 | 0,10 |
| Otimizada para leitura | 1.024 | 1 | 3,38 | 0,10 |
| Otimizada para gravação | 1.024 | 1 | 0,97 | 1,84 |
Proporções de unidades de capacidade para Hyperdisk Balanced Exapool
Os Exapools de Hyperdisk Balanced têm as seguintes proporções de desempenho com base na quantidade de capacidade comprada:
| Tipo de unidade de capacidade | Unidades de capacidade compradas | Capacidade do Exapool (TiB) | Capacidade de leitura (MiB/s) | Capacidade de gravação (MiB/s) | Ler IOPS | Gravar IOPS |
|---|---|---|---|---|---|---|
| Otimizada para capacidade | 1.024 | 1 | 5,12 | 1,02 | 275 | 102 |
| Otimizada para leitura | 1.024 | 1 | 378,88 | 30,72 | 21.311 | 3.072 |
| Otimizada para gravação | 1.024 | 1 | 220,16 | 71,68 | 12.288 | 6.656 |
Como as unidades de capacidade afetam o desempenho do disco
A combinação de unidades de capacidade de um Exapool não afeta a forma como os discos no Exapool consomem desempenho. Você não recebe cobranças diferentes pelas operações de leitura e gravação individuais dos discos no pool. A compra de unidades de um tipo específico não restringe os discos a uma quantidade fixa de IOPS de leitura ou gravação. Além disso, ao criar um disco em um Exapool, você não especifica um limite de IOPS de leitura ou gravação, apenas um limite de IOPS provisionado.
Por exemplo, considere dois Hyperdisk Balanced Exapools, Pool-1 e Pool-2.
Os dois têm 100.000.000 unidades otimizadas para capacidade. Pool-1 também tem 5.000.000 unidades otimizadas para gravação, enquanto Pool-2 tem 5.000.000 unidades otimizadas para leitura.
Como os dois pools têm um total de 105.000.000 unidades, eles terão a mesma capacidade total de 100,1 PiB (105.000.000 GiB). No entanto, como eles têm tipos diferentes de unidades de capacidade, os pools têm limites e custos de desempenho máximos diferentes. Não há diferença de desempenho entre os discos nos dois pools.
Exemplo
Suponha que um Exapool de Hyperdisk Balanced tenha 12.400.000 unidades de capacidade, consistindo em:
- 5.000.000 unidades otimizadas para capacidade
- 2.400.000 unidades otimizadas para leitura
- 5.000.000 unidades otimizadas para gravação
O Exapool tem 12.109,4 TiB de capacidade (1 TiB para cada 1.024 unidades).
O Exapool tem 151.488.476 IOPS, calculadas da seguinte maneira:
IOPS de 5.000.000 unidades otimizadas para capacidade: 1.840.820 (1.342.773 IOPS de leitura + 498.047 IOPS de gravação)
IOPS de 2.400.000 unidades otimizadas para leitura: 57.147.656 (49.947.656 IOPS de leitura + 7.200.000 IOPS de gravação)
IOPS de 5.000.000 unidades otimizadas para gravação: 92.500.000 (60.000.000 IOPS de leitura + 32.500.000 IOPS de gravação)
Analisar a utilização de desempenho e capacidade
O Compute Engine oferece métricas que podem ser usadas para monitorar os Exapools. Essas métricas respondem a perguntas como:
- Quantas IOPS de leitura e gravação restam no Exapool?
- Quanta capacidade foi alocada para discos no Exapool?
- Quantos discos estão no Exapool?
É possível visualizar essas métricas no Cloud Monitoring. Para saber mais, consulte Monitorar pools de hiperdisco.
Limites de tamanho e desempenho para Exapools de hiperdisco
Esta seção lista os limites para cada tipo de Exapool.
| Propriedade | Hyperdisk Balanced Exapools | Hyperdisk Throughput Exapools |
|---|---|---|
| Capacidade mínima | 500 TiB | 500 PiB |
| Capacidade máxima | 1 EiB | 5 EiB |
| Capacidade de processamento mínima | 1 TiB/s | 250 GiB/s |
| Capacidade de processamento máxima | 10 TiB/s | 10 TiB/s |
| Número máximo de discos por pool | 500.000 | 500.000 |
| Incrementos de capacidade | 1 TiB | 1 PiB |
| Máximo de Exapools por projeto por zona | 1 | 1 |
| Proporções de desempenho | Tamanho de E/S de 32 KB para capacidade de processamento de leitura e gravação; tamanho de E/S de 4 KB para IOPS de leitura e gravação | Tamanho de E/S de 1 MB para leituras, tamanho de E/S de 256 KB para gravações |
Limites de tamanho e desempenho para discos em um Exapool
Os discos em um Exapool têm os mesmos limites de tamanho e desempenho que os discos que não estão em um pool, da seguinte maneira:
| Tipo de Hyperdisk | Desempenho máximo que pode ser provisionado por disco | Capacidade de processamento personalizável | IOPS personalizáveis |
|---|---|---|---|
| Hyperdisk Balanced | 160.000 IOPS; Capacidade de processamento de 2.400 MiB/s |
Sim | Sim |
| Hyperdisk Throughput | Capacidade de processamento de 2.400 MiB/s | Sim | Não. 4 IOPS por MiB/s de capacidade de processamento, até 9.600 IOPS |
É possível especificar um limite de desempenho para o disco no momento da criação e modificar o limite de desempenho enquanto o disco estiver em uso.
Para detalhes dos limites de tamanho e desempenho, consulte Limites de tamanho e desempenho para Hyperdisk Throughput e Limites de tamanho e desempenho para Hyperdisk Balanced.
Disponibilidade regional
Os Exapools Hyperdisk Balanced e os Exapools Hyperdisk Throughput estão disponíveis em todas as zonas.
Criptografia
A criptografia de discos em um pool de hiperdisco funciona da mesma forma que a criptografia de discos fora de um pool.
Para mais informações, consulte Sobre a criptografia de disco.
Preços
A cobrança dos Exapools é feita com base no número e no tipo de unidades de capacidade e desempenho compradas para o pool. Você não vai receber cobranças pelas IOPS provisionadas, pela capacidade de processamento ou pela capacidade dos discos criados no pool.
Os Exapools de hiperdisco são qualificados para descontos por compromisso de uso (CUDs) com base em recursos com um compromisso mínimo de um ano ou até três anos. Ao comprar um Exapool de um ou três anos, você se qualifica automaticamente para CUDs com base em recursos em compromissos de um ou três anos. Para mais informações, consulte Preços de disco.
Limitações
As limitações a seguir se aplicam aos Exapools.
- É necessário entrar em contato com a equipe de conta para criar, modificar ou excluir um Exapool de hiperdisco.
- A quantidade de desempenho que pode ser provisionada para um Exapool depende do tipo e do número de unidades de capacidade do Exapool. No entanto, o desempenho dos discos criados em um Exapool é independente da combinação de unidades de capacidade do pool.
- Não é possível usar o modo confidencial para volumes do Hyperdisk Balanced em um Exapool.
- Os Exapools usam apenas provisionamento avançado de capacidade e desempenho. Eles não oferecem suporte ao provisionamento de capacidade padrão ou desempenho padrão
- Os Exapools não usam compactação de dados.
- Os Exapools não oferecem suporte ao crescimento automático de desempenho ou capacidade. É necessário monitorar a utilização de desempenho e capacidade do Exapool. Para aumentar o desempenho ou a capacidade do pool, você deve entrar em contato com a equipe de conta.
- Somente novos discos no mesmo projeto e zona podem ser criados em um pool.
- Não é possível mover discos para dentro ou para fora de um pool; é necessário recriar o disco com base em um snapshot padrão. Para mais informações, consulte Alterar o tipo de disco.
- Para criar discos de inicialização em um pool, use um pool de armazenamento Hyperdisk Balanced ou um Exapool Hyperdisk Balanced.
- Os pools não oferecem suporte a discos regionais.
- Não é possível clonar, criar snapshots instantâneos de, ou configurar a Replicação Assíncrona para discos em um pool.
A seguir
- Entre em contato com a equipe de conta para criar um Exapool
- Conferir as propriedades de um pool de hiperdisco
- Adicionar discos em um pool a VMs