Google Cloud Managed Lustre ofrece diferentes niveles de rendimiento para satisfacer tus requisitos específicos de carga de trabajo y presupuesto. Puedes elegir un nivel que proporcione un rendimiento sostenido y predecible para todo tu sistema de archivos o un nivel dinámico que optimice automáticamente los costos de almacenamiento para conjuntos de datos grandes y parcialmente activos.
Niveles disponibles
En la siguiente tabla, se resumen los niveles de rendimiento disponibles para Managed Lustre.
| Nivel | Capacidad mínima | Capacidad máxima | Tamaño del paso |
|---|---|---|---|
| 1,000 MBps por TiB | 9,000 GiB | 10,008,000 GiB (9.5 PiB) | Para capacidades de almacenamiento de hasta 1,530,000 GiB: 9,000 GiB Para capacidades de almacenamiento más grandes: 72,000 GiB |
| 500 MBps por TiB | 18,000 GiB | 20,016,000 GiB (19.1 PiB) | Para capacidades de almacenamiento de hasta 3,060,000 GiB: 18,000 GiB Para capacidades de almacenamiento más grandes: 144,000 GiB |
| 250 MBps por TiB | 36,000 GiB | 40,032,000 GiB (38.2 PiB) | Para capacidades de almacenamiento de hasta 6,120,000 GiB: 36,000 GiB Para capacidades de almacenamiento más grandes: 288,000 GiB |
| 125 MBps por TiB | 72,000 GiB | 12,240,000 GiB (11.7 PiB) | 72,000 GiB |
| Dinámico (25 MBps por TiB) | 472,000 GiB | 84,016,000 GiB (80.1 PiB) | 472,000 GiB |
Los tamaños de los pasos cambian una vez que el tamaño de la instancia alcanza un umbral específico.
Puedes aumentar la capacidad de almacenamiento de una instancia después de crearla hasta el valor máximo permitido para su nivel de rendimiento y tamaño del paso. Si creas una instancia dentro del rango de tamaño del paso más pequeño para su nivel, no podrás aumentarla más allá del umbral de tamaño del paso. Consulta Limitaciones para aumentar la capacidad para obtener más detalles.
Niveles numerados
Los niveles numerados proporcionan un rendimiento coherente y de alta velocidad. Estos niveles son ideales para cargas de trabajo que exigen una alta capacidad de procesamiento y una baja latencia para cada acceso a los datos.
Eliges un nivel de rendimiento específico cuando creas la instancia, y esa capacidad de procesamiento se entrega de manera coherente para todo tu sistema de archivos. El rendimiento se ajusta de forma lineal con la cantidad de almacenamiento que aprovisionas. Además de la capacidad de procesamiento sin procesar, las IOPS y el rendimiento de los metadatos también se ajustan con la capacidad y la capacidad de procesamiento aprovisionadas de la instancia.
- 1,000 MBps por TiB: Recomendado para cargas de trabajo de alto rendimiento y entrenamiento de IA/AA en las que la capacidad de procesamiento es fundamental.
- 500 MBps por TiB: Para cargas de trabajo exigentes de IA/AA, aplicaciones complejas de HPC y análisis con uso intensivo de datos que requieren una capacidad de procesamiento importante, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada.
- 250 MBps por TiB: Adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA/AA , preprocesamiento de datos y aplicaciones que necesitan un rendimiento mejor que el NFS tradicional, a un precio rentable.
- 125 MBps por TiB: Diseñado para situaciones en las que son clave las grandes capacidades y el acceso paralelo al sistema de archivos. Es bueno para tareas paralelas con menos E/S.
Nivel dinámico
El nivel dinámico es una solución rentable diseñada para manejar conjuntos de datos de IA y HPC en crecimiento mediante la optimización automática del rendimiento en función de los patrones de acceso a los datos. Proporciona un espacio de nombres único y unificado a escala de petabytes, que ofrece acceso de alta velocidad para los datos activos almacenados en una caché de alto rendimiento y, al mismo tiempo, reduce el costo total de propiedad de los conjuntos de datos grandes. La capacidad de procesamiento agregada disponible para la instancia se ajusta a 25 MBps por TiB.
El sistema administra de forma inteligente la ubicación de los datos mediante una política automatizada que ayuda a garantizar que los datos que se usan con frecuencia sigan teniendo un alto rendimiento. Este proceso es transparente para los usuarios y las aplicaciones, que interactúan con el sistema de archivos como un solo punto de activación sin necesidad de migración manual de datos ni sobrecarga de administración.
Ventajas clave
- Costos de almacenamiento reducidos: Disminuye el precio por byte para conjuntos de datos grandes almacenando la mayoría de tus datos en un almacenamiento de volúmenes rentable.
- Espacio de nombres único a escala de PB: Consolida conjuntos de datos masivos y en crecimiento en un solo punto de activación sin necesidad de migrar ni organizar datos de forma manual entre diferentes sistemas de almacenamiento.
- Inteligente y automatizado: Un sistema de almacenamiento en caché transparente a nivel de bloque ayuda a garantizar que el almacenamiento de alto rendimiento se use para los datos más importantes.
- Rendimiento combinado: Obtén una latencia inferior a un milisegundo para los datos activos y una latencia coherente de decenas de milisegundos para las partes del conjunto de datos a las que se accede con menos frecuencia.
Especificaciones detalladas de rendimiento
Sigue las prácticas recomendadas en Consideraciones sobre el rendimiento para ayudar a tus instancias a alcanzar estos números de IOPS y rendimiento de metadatos.
IOPS
Las IOPS máximas se ajustan de forma lineal por TiB de capacidad de instancia aprovisionada.
| Nivel de capacidad de procesamiento | IOPS de lectura (por TiB) | IOPS de escritura (por TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1,450 | 1,400 |
500 MBps per TiB |
2,900 | 2,800 |
1000 MBps per TiB |
5,800 | 5,600 |
Dynamic |
145 | 140 |
Operaciones con metadatos
Las operaciones máximas con metadatos aumentan en pasos según la capacidad.
Cada instancia recibe su primer paso de rendimiento de metadatos en el tamaño mínimo de la instancia (que es más pequeño que el paso de capacidad estándar).
Para las instancias más grandes, el rendimiento aumenta cada vez que la capacidad total supera un múltiplo del tamaño del paso.
| Nivel de rendimiento | Paso de capacidad (GiB) | Estadísticas de archivos agregadas por paso | Creaciones de archivos agregadas por paso | Eliminaciones de archivos agregadas por paso |
|---|---|---|---|---|
| 1,000 MBps por TiB | 72,000 | 410,000 por segundo | 115,000 por segundo | 95,000 por segundo |
| 500 MBps por TiB | 144,000 | |||
| 250 MBps por TiB | 288,000 | |||
| 125 MBps por TiB | 576,000 | |||
| Dinámico | 3,776,000 | 275,000 por segundo | 115,000 por segundo | 130,000 por segundo |
Ejemplo: Para el nivel de 1,000 MBps por TiB, el tamaño del paso de capacidad es de 72,000 GiB. Si creas una instancia de 153,000 GiB, recibirás 3 pasos de rendimiento de metadatos:
- Paso 1: Se otorga en el tamaño mínimo de la instancia.
- Paso 2: Se otorga cuando la capacidad supera los 72,000 GiB.
- Paso 3: Se otorga cuando la capacidad supera los 144,000 GiB.
- Paso 4: No se alcanzó. Se otorga cuando la capacidad supera los 216,000 GiB.
Debido a que 153,000 GiB se encuentra entre los umbrales de 144,000 GiB y 216,000 GiB, la instancia recibe tres pasos de rendimiento: un máximo de 1,230,000 estadísticas de archivos por segundo (3 * 410,000).