Descripción general de los grupos de almacenamiento de Hyperdisk

En este documento, se analizan las características y los límites de los grupos de almacenamiento de Hyperdisk. Los grupos de almacenamiento son los grupos de Hyperdisk recomendados para la mayoría de las cargas de trabajo y te ayudan a simplificar la administración de discos y reducir los costos.

Con los grupos de almacenamiento, compras capacidad y rendimiento de forma masiva y, luego, creas discos en el grupo para consumir el almacenamiento.

Si tu carga de trabajo requiere más de 5 PiB de capacidad o más de 1 TiB/s de capacidad de procesamiento aprovisionada en un solo proyecto y zona, usa un Hyperdisk Exapool en su lugar.

Cuándo usar grupos de almacenamiento de Hyperdisk

Google recomienda los grupos de almacenamiento para cargas de trabajo empresariales grandes, como las apps empresariales o los SGBD, que requieren 20 TiB o más de capacidad de disco aprovisionada en un solo proyecto y zona.

Ejemplos de cargas de trabajo para los grupos de almacenamiento de Hyperdisk:

  • Cargas de trabajo de simulación de AA/IA y HPC con 1,000 instancias de GPU que usan volúmenes de Hyperdisk Balanced junto con SSD local como caché compartida.
  • La carga de trabajo se distribuye en varias bases de datos y aplicaciones, con 100 TiB de capacidad aprovisionada en varios volúmenes que utilizan tanto las bases de datos como las aplicaciones.

Funciones de los grupos de almacenamiento de Hyperdisk

Los grupos de almacenamiento tienen las siguientes características:

  • Aprovisionamiento delgado de la capacidad y el rendimiento: La capacidad y el rendimiento se asignan según sea necesario en lugar de asignar todos los recursos por adelantado. Esto ayuda a evitar tasas de uso bajas de recursos de almacenamiento, en las que se asignan grandes cantidades de espacio en el disco o rendimiento, pero no se usan.
  • Reducción de datos: Los grupos de almacenamiento usan una variedad de tecnologías de reducción de datos para aumentar la eficiencia del almacenamiento. La reducción de datos depende en gran medida del tipo de datos almacenados. Los datos que ya están comprimidos o encriptados antes de que se almacenen en un disco en un grupo de almacenamiento de Hyperdisk no producirán una reducción adicional.

Cómo funcionan los grupos de almacenamiento de Hyperdisk

Crea un Storage Pool con la capacidad y el rendimiento agregados que necesitarán tus cargas de trabajo y, luego, crea discos en el Storage Pool. Luego, puedes conectar los discos a tus VMs. Cuando creas los discos, puedes crearlos con un tamaño mucho mayor o un límite de rendimiento aprovisionado de lo que se necesita. Esto simplifica la planificación y proporciona espacio para el crecimiento más adelante, sin necesidad de cambiar el tamaño o el rendimiento aprovisionados del disco en una fecha posterior.

Si tus cargas de trabajo crecen y tus discos necesitan más capacidad o rendimiento, puedes aumentar la capacidad y el rendimiento aprovisionados del Storage Pool. La cantidad de espacio en el disco o rendimiento que usan los discos individuales en el Storage Pool puede aumentar hasta el límite que especificaste cuando creaste el disco. Si creas los discos en un Storage Pool de capacidad avanzada o rendimiento avanzado con un tamaño o límite de rendimiento mucho mayor al principio, y asignas espacio y rendimiento adicionales a través del Storage Pool, consolidas la administración de almacenamiento en disco y reduces los costos.

Si un Storage Pool de capacidad avanzada alcanza el 100% de uso y no queda espacio libre en el Storage Pool, las operaciones de escritura en todos los discos del Storage Pool fallan hasta que reduzcas el espacio usado en el Storage Pool a través de la eliminación de datos o discos. La mayoría del software comercial interpreta los errores que se muestran cuando se agota el espacio de la agrupación de forma similar a las fallas de hardware.

Es importante que administres y supervises de forma activa tu Storage Pool para evitar errores de espacio. También debes comprender cómo responderá tu carga de trabajo si se encuentra con un error de falta de espacio en un disco de un Storage Pool.

Cuando la utilización agregada del rendimiento de todos los discos del Storage Pool alcanza la cantidad total de rendimiento aprovisionado para el Storage Pool, los discos pueden tener una contención de rendimiento. Si se detecta contención de recursos de rendimiento en un Storage Pool de rendimiento avanzado para cualquier disco de los grupos, la función de crecimiento automático intenta aumentar automáticamente las IOPS disponibles para los discos del Storage Pool y, así, evitar problemas de rendimiento.

Tipos de aprovisionamiento para grupos de almacenamiento de Hyperdisk

Cuando creas un Hyperdisk Storage Pool, puedes configurarlo con aprovisionamiento estándar o avanzado para la capacidad y el rendimiento.

Grupos de almacenamiento de capacidad estándar

Con el aprovisionamiento de capacidad estándar, los discos se crean en el Storage Pool hasta que la capacidad aprovisionada total de todos los discos en el Storage Pool alcance la capacidad aprovisionada del Storage Pool. Los discos en un Storage Pool de capacidad estándar consumen capacidad de manera similar a los discos que no son de Storage Pool.

Grupos de almacenamiento de capacidad avanzada

Los discos en un Storage Pool con capacidad avanzada consumen capacidad de forma diferente a los discos en un Storage Pool de capacidad estándar y los discos que no son de Storage Pool. Los grupos de almacenamiento de capacidad avanzada ofrecen aprovisionamiento delgado y reducción de datos para la capacidad, lo que te permite aprovisionar discos con más capacidad de la que compraste. Los discos en los Storage Pools de capacidad avanzada consumen capacidad solo en función de la cantidad de bytes escritos en tus discos después de la reducción de datos, lo que significa que puedes aprovisionar más capacidad para tus usuarios finales y aplicaciones de la que compraste en tu Storage Pool.

Con la capacidad avanzada, creas discos en el Storage Pool donde el tamaño acumulativo de todos los discos puede exceder la capacidad aprovisionada del Storage Pool hasta en un 1,000%. La capacidad usada del Storage Pool se define por la cantidad de datos escritos y no por la cantidad de capacidad del disco aprovisionada.

Puedes llenar los discos en un grupo de almacenamiento de capacidad avanzada hasta su tamaño aprovisionado, siempre y cuando los datos escritos en todos los discos del grupo de almacenamiento no excedan la capacidad del grupo de almacenamiento. Si el uso del Storage Pool alcanza el 80% de la capacidad aprovisionada del grupo, la función de crecimiento automático intenta agregar capacidad al Storage Pool de forma automática. Si la capacidad del Storage Pool se usa por completo, las operaciones de escritura en todos los discos del Storage Pool fallarán hasta que borres datos o discos para reducir la capacidad usada del Storage Pool. La mayoría de las aplicaciones de software interpretan los errores que se muestran cuando se agota el espacio de la agrupación de forma similar a las fallas de hardware, por lo que es importante hacer lo siguiente:

  • Supervisa tu Storage Pool para evitar quedarte sin espacio en el disco
  • Comprender cómo responde tu carga de trabajo si ocurre

Los grupos de almacenamiento no tienen visibilidad del sistema de archivos, por lo que se considera que los datos borrados aún están en uso hasta que tu sistema operativo (SO) los marque como sin usar con un comando DISCARD o TRIM. Todas las imágenes de SO proporcionadas por Google están configuradas para hacerlo de forma predeterminada, al igual que las imágenes de SO de terceros más comunes, pero debes confirmarlo si no usas una imagen de SO proporcionada por Google. Puedes encontrar más información sobre cómo verificar o configurar esta función en Inhabilita la inicialización diferida y habilita los comandos DISCARD.

Grupos de almacenamiento de rendimiento estándar

El aprovisionamiento de rendimiento estándar es la mejor opción para los siguientes tipos de cargas de trabajo:

  • Cargas de trabajo que no se pueden completar si el rendimiento está limitado por los recursos del Storage Pool
  • Cargas de trabajo en las que es probable que los discos del Storage Pool tengan picos de rendimiento correlacionados, por ejemplo, discos de datos para bases de datos que alcanzan el pico de utilización todas las mañanas

Con el aprovisionamiento de rendimiento estándar, el aprovisionamiento ligero no está disponible. Además, los discos creados en un Storage Pool de rendimiento estándar no comparten recursos de rendimiento con el resto del Storage Pool. La cantidad agregada de rendimiento de todos los discos creados en el Storage Pool no puede exceder el total de IOPS o la capacidad de procesamiento aprovisionados del Storage Pool.

Cuando creas el Storage Pool, aprovisionas suficiente rendimiento en el Storage Pool para cubrir las necesidades combinadas de rendimiento máximo de todos los discos del Storage Pool. Cuando creas discos en el Storage Pool, aprovisionas una cantidad de rendimiento que cubre los requisitos de rendimiento máximo de ese disco. Puedes seguir creando discos en el Storage Pool hasta que las IOPS aprovisionadas totales de todos los discos alcancen la cantidad aprovisionada del Storage Pool.

En un grupo de almacenamiento balanceado de Hyperdisk con rendimiento estándar, las primeras 3,000 IOPS y 140 MiB/s de capacidad de procesamiento de cada disco del grupo de almacenamiento (el rendimiento de referencia) no consumen recursos del grupo de almacenamiento. Cuando creas discos en el Storage Pool, las IOPS y la capacidad de procesamiento que superen los valores de referencia consumen IOPS y capacidad de procesamiento del Storage Pool.

Grupos de almacenamiento de rendimiento avanzado

El aprovisionamiento avanzado del rendimiento es más adecuado para las cargas de trabajo que no tienen tiempos de uso pico altamente correlacionados. Si todas tus cargas de trabajo alcanzan su punto máximo al mismo tiempo, el grupo de almacenamiento de rendimiento avanzado puede alcanzar los límites de rendimiento del grupo de almacenamiento, lo que genera una contención de recursos de rendimiento.

El aprovisionamiento avanzado de IOPS y capacidad de procesamiento te permite compartir un grupo de rendimiento aprovisionado en todos los discos de un Storage Pool. El Storage Pool asigna recursos de rendimiento de forma dinámica a medida que los discos del Storage Pool leen y escriben datos. Solo la cantidad de IOPS y capacidad de procesamiento que usa un disco en el Storage Pool consume el rendimiento del Storage Pool.

Debido a que los Storage Pools de rendimiento avanzado tienen un aprovisionamiento delgado, puedes asignar más IOPS o capacidad de procesamiento a los discos del Storage Pool que los que aprovisionaste para el Storage Pool, hasta el 500% de las IOPS o la capacidad de procesamiento aprovisionadas para el Storage Pool. Por ejemplo, si aprovisionas 100,000 IOPS para un Storage Pool, podrías tener 10 discos en el Storage Pool, cada uno aprovisionado con 50,000 IOPS.

En un Storage Pool de Hyperdisk Balanced con aprovisionamiento de rendimiento avanzado, los discos no tienen un rendimiento de referencia. Cada operación de lectura y escritura de un disco Hyperdisk Balanced en el Storage Pool consume recursos aprovisionados del Storage Pool.

En cualquier momento dado, cuando el rendimiento agregado que usan todos los discos del Storage Pool alcanza la cantidad total de rendimiento aprovisionado para el Storage Pool, los discos pueden competir entre sí por los recursos de rendimiento. Como resultado, los discos no pueden alcanzar los niveles de rendimiento máximos que aprovisionaste para ellos. Cuando se detecta una contención de recursos durante un período prolongado, Compute Engine intenta agregar automáticamente rendimiento al Storage Pool. Cuando uses grupos de almacenamiento de rendimiento avanzado, debes hacer lo siguiente:

  • Supervisa tus grupos de almacenamiento para evitar quedarte sin rendimiento aprovisionado
  • Comprender cómo responde tu carga de trabajo si ocurre

Ejemplo

Supongamos que tienes un Storage Pool de Hyperdisk Balanced con 100,000 IOPS aprovisionadas.

Con el aprovisionamiento de rendimiento estándar, ocurre lo siguiente:

  • Puedes aprovisionar hasta 100,000 IOPS agregadas cuando creas discos Hyperdisk Balanced en el Storage Pool.
  • Se te cobrará por las 100,000 IOPS de rendimiento aprovisionado del Storage Pool de Hyperdisk Balanced.
  • Al igual que los discos creados fuera de un grupo de almacenamiento, los discos Hyperdisk balanceados en los grupos de almacenamiento de rendimiento estándar se aprovisionan automáticamente con hasta 3,000 IOPS de referencia y 140 MiB/s de capacidad de procesamiento de referencia. Este rendimiento de referencia no se considera en el rendimiento aprovisionado del Storage Pool. Solo cuando agregas discos al grupo de almacenamiento con un rendimiento aprovisionado que supera el modelo de referencia, se considera el rendimiento aprovisionado del grupo de almacenamiento, por ejemplo:

    • Un disco aprovisionado con 3,000 IOPS usa 0 IOPS del grupo y el grupo aún tiene 100,000 IOPS aprovisionadas disponibles para otros discos.
    • Un disco aprovisionado con 13,000 IOPS usa 10,000 IOPS del grupo y el grupo tiene 90,000 IOPS aprovisionadas restantes que puedes asignar a otros discos del Storage Pool.

Con el aprovisionamiento de rendimiento avanzado, ocurre lo siguiente:

  • Puedes aprovisionar hasta 500,000 IOPS de rendimiento agregado de Hyperdisk cuando creas discos en el Storage Pool.
  • Se te cobrará por las 100,000 IOPS aprovisionadas por el Storage Pool.
  • Si creas un solo disco (Disk1) en el Storage Pool que tiene 5,000 IOPS, no consumirás ninguna IOPS de las IOPS aprovisionadas del Storage Pool. Sin embargo, la cantidad de IOPS que puedes aprovisionar a los discos nuevos creados en el Storage Pool ahora es de 495,000.
  • Si Disk1 comienza a leer y escribir datos, y si usa su máximo de 5,000 IOPS en un minuto determinado, se consumen 5,000 IOPS de las IOPS aprovisionadas del Storage Pool. Cualquier otro disco que hayas creado en el mismo grupo de almacenamiento puede usar un máximo agregado de 95,000 IOPS en ese mismo minuto sin generar contención.

Tipos de grupos de almacenamiento de Hyperdisk

El tipo de Hyperdisk Storage Pool que creas determina el tipo de discos que puedes crear en el Storage Pool.

  • Grupo de almacenamiento de Hyperdisk Throughput: Cuando creas el grupo de almacenamiento, especificas la capacidad y la capacidad de procesamiento que se deben aprovisionar para el grupo de almacenamiento. Cada disco de Hyperdisk Throughput que creas en el Storage Pool usa parte de la capacidad y la capacidad de procesamiento aprovisionadas.
  • Grupo de almacenamiento de Hyperdisk Balanced: Cuando creas el grupo de almacenamiento, especificas la capacidad, la capacidad de procesamiento y las IOPS que se deben aprovisionar para el grupo de almacenamiento. Cada disco de Hyperdisk Balanced que creas en el Storage Pool con la capacidad y el rendimiento aprovisionados por encima de los valores de referencia usa parte de la capacidad y el rendimiento aprovisionados del Storage Pool.

Grupos de almacenamiento de Hyperdisk Throughput

Puedes usar los grupos de almacenamiento de Hyperdisk Throughput para administrar el uso del disco de Hyperdisk Throughput.

Asistencia de tipo de máquina

Los grupos de almacenamiento de Hyperdisk Throughput son compatibles con la misma serie de máquinas que admite Hyperdisk Throughput. Para obtener una lista de las series de máquinas compatibles, consulta Compatibilidad con tipos de máquinas de Hyperdisk Throughput.

Disponibilidad regional del grupo de almacenamiento de Hyperdisk Throughput

Los grupos de almacenamiento de Hyperdisk Throughput se pueden usar en cualquier zona que ofrezca discos de Hyperdisk Throughput. Para obtener una lista de las regiones disponibles, consulta Disponibilidad regional de Hyperdisk Throughput.

También puedes comprobar las actualizaciones más recientes de las regiones y zonas disponibles con el siguiente comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-throughput"

Grupos de almacenamiento balanceado de Hyperdisk

Puedes usar los grupos de almacenamiento balanceado de Hyperdisk para administrar el uso del disco Hyperdisk balanceado.

En los grupos de almacenamiento balanceado de Hyperdisk con aprovisionamiento de rendimiento estándar, los discos Hyperdisk balanceados solo consumen IOPS y capacidad de procesamiento por encima de los valores de referencia de 3,000 IOPS y 140 MiB/s de capacidad de procesamiento por disco. Por ejemplo:

  • Si aprovisionas un disco Hyperdisk Balanced con 3,000 IOPS y 140 MiB/s de capacidad de procesamiento en un Storage Pool con aprovisionamiento de rendimiento Standard, el disco no consume ninguna IOPS ni capacidad de procesamiento del Storage Pool.
  • Si aprovisionas un disco Hyperdisk Balanced con 4,000 IOPS y 180 MiB/s de capacidad de procesamiento en un Storage Pool con aprovisionamiento de rendimiento Standard, el disco consume 1,000 IOPS y 40 MiB/s de capacidad de procesamiento del Storage Pool.

Asistencia de tipo de máquina

Los grupos de almacenamiento de Hyperdisk Balanced son compatibles con la misma serie de máquinas que admiten Hyperdisk Balanced. Para obtener una lista de las series de máquinas compatibles, consulta Compatibilidad con series de máquinas para Hyperdisk Balanced.

Disponibilidad regional del grupo de almacenamiento de Hyperdisk Balanced

Los grupos de almacenamiento de Hyperdisk Balanced se pueden usar en cualquier zona que ofrezca Hyperdisk Balanced. Para obtener una lista de las regiones disponibles, consulta Disponibilidad regional de Hyperdisk Balanced.

También puedes comprobar las actualizaciones más recientes de las regiones y zonas disponibles con el siguiente comando:

gcloud compute storage-pool-types list --filter="name=hyperdisk-balanced"

Límites para los grupos de almacenamiento

En las siguientes tablas, se enumeran los límites para los diferentes tipos de grupos de almacenamiento.

Grupo de almacenamiento de Hyperdisk Balanced

Límite Valor
Capacidad máxima aprovisionada del grupo de almacenamiento 5 PiB
Capacidad mínima aprovisionada del grupo de almacenamiento 10 TiB
Incrementos de la capacidad de almacenamiento múltiplos de 1 TiB
Cantidad máxima de grupos de almacenamiento de Hyperdisk por proyecto y región 20
Cantidad máxima de discos en un grupo de almacenamiento de Hyperdisk 10,000
IOPS máximas por Storage Pool 4,194,304
Cantidad máxima de IOPS por GiB
  • 30 para el rendimiento estándar
  • 6 para Rendimiento avanzado
IOPS mínimas por Storage Pool
  • 0 para el rendimiento estándar
  • 10,000 para el rendimiento avanzado
Incrementos de IOPS Múltiplos de 10,000
Capacidad de procesamiento máxima por Storage Pool 1 TiB/s
Capacidad de procesamiento máxima por GiB de capacidad 1 MiB/s
Capacidad de procesamiento mínima por Storage Pool 1 GiB/s
Incrementos de la capacidad de procesamiento Múltiplos de 1 GiB/s
Frecuencia de los cambios en la capacidad del grupo de almacenamiento Dos veces en un período de 24 horas
Frecuencia de los cambios en el rendimiento del grupo de almacenamiento Dos veces en un período de 24 horas

Grupo de almacenamiento de capacidad de procesamiento de Hyperdisk

Límite Valor
Capacidad máxima aprovisionada del grupo de almacenamiento 5 PiB
Capacidad mínima aprovisionada del grupo de almacenamiento 10 TiB
Incrementos de la capacidad de almacenamiento múltiplos de 1 TiB
Cantidad máxima de grupos de almacenamiento de Hyperdisk por proyecto y región 20
Cantidad máxima de discos en un grupo de almacenamiento de Hyperdisk 10,000
Capacidad de procesamiento máxima por Storage Pool 18 GiB/s
Capacidad de procesamiento máxima por TiB de capacidad 18 MiB/s
Capacidad de procesamiento mínima por Storage Pool 100 MiB/s
Capacidad de procesamiento mínima por TiB de capacidad 10 MiB/s
Incrementos de la capacidad de procesamiento Múltiplos de 10 MiB/s
Frecuencia de los cambios en la capacidad del grupo de almacenamiento Dos veces en un período de 24 horas
Frecuencia de los cambios en el rendimiento del grupo de almacenamiento Dos veces en un período de 24 horas

Rendimiento

El rendimiento de los discos en un Storage Pool es el mismo que el de los discos que no se crearon en un Storage Pool.

Limitaciones de los grupos de almacenamiento

Los grupos de almacenamiento de Hyperdisk tienen las siguientes limitaciones:

Límites de recursos:

  • Puedes crear un Hyperdisk Storage Pool con hasta 5 PiB de capacidad aprovisionada.
  • Puedes crear un máximo de 5 grupos de almacenamiento por hora.
  • Puedes crear un máximo de 10 grupos de almacenamiento por día.
  • Puedes crear hasta 20 grupos de almacenamiento por proyecto y por región. Este límite se comparte entre los grupos de almacenamiento de Hyperdisk Balanced y los grupos de almacenamiento de Hyperdisk Throughput de un proyecto que se encuentran en la misma región.
  • No puedes cambiar el modelo de aprovisionamiento de un grupo. Por ejemplo, no puedes cambiar un Storage Pool de capacidad estándar a un Storage Pool de capacidad avanzada ni un Storage Pool de rendimiento avanzado a un Storage Pool de rendimiento estándar.
  • Los grupos son recursos zonales.
  • Puedes crear hasta 10,000 discos en un Storage Pool.
  • Puedes usar los grupos de almacenamiento de Hyperdisk solo con Compute Engine. Las instancias de Cloud SQL no pueden usar grupos de almacenamiento de Hyperdisk.
  • Puedes cambiar la capacidad o el rendimiento aprovisionados de un Storage Pool como máximo dos veces en un período de 24 horas.
  • Solo puedes crear discos de Hyperdisk Balanced en un grupo de Hyperdisk Balanced y solo puedes crear discos de Hyperdisk Throughput en un grupo de Hyperdisk Throughput.
  • Debes comunicarte con tu equipo de cuentas para cambiar la capacidad aprovisionada, los IOPS o el rendimiento de un Exapool.
  • Debes comunicarte con tu equipo de cuentas para borrar un Exapool.

Límites de discos en un grupo:

Reservas

Puedes usar Hyperdisk Storage Pool con reservas. Puedes crear una instancia de procesamiento que consuma una reserva y que también use un Hyperdisk en un Storage Pool. Como alternativa, puedes crear la instancia que consume una reserva y, luego, conectar un Hyperdisk que se creó en un Storage Pool a la instancia. Para obtener más información, consulta cómo consumir reservas.

Precios

Los grupos de almacenamiento de Hyperdisk se facturan mensualmente según la capacidad, la capacidad de procesamiento y las IOPS aprovisionadas del grupo de almacenamiento. No se te facturarán las IOPS, la capacidad de procesamiento ni la capacidad aprovisionadas para los discos creados en el Storage Pool.

Con los grupos de almacenamiento de capacidad estándar y rendimiento estándar, la capacidad y el rendimiento aprovisionado se cobran a la misma tarifa que el disco subyacente. Por ejemplo, el precio de la capacidad estándar de un Storage Pool de Hyperdisk Balanced es el mismo que el de la capacidad independiente de discos de Hyperdisk Balanced.

Los grupos de almacenamiento de capacidad avanzada y de rendimiento avanzado tienen un precio más alto debido al aprovisionamiento delgado y la reducción de datos. Incluso con este recargo, los ahorros del aprovisionamiento delgado y la reducción de datos pueden reducir los costos totales de almacenamiento en bloque a través de una mayor eficiencia y uso.

Para obtener más información sobre los precios, consulta Precios de discos.

Descuentos por compromiso de uso con grupos de almacenamiento de Hyperdisk

Los grupos de almacenamiento de Hyperdisk no son aptos para lo siguiente:

  • Descuentos por compromiso de uso basados en recursos (CUD)
  • Descuentos por uso continuo (SUDs)

Próximos pasos