Consideraciones de rendimiento

En esta página, se proporciona orientación para configurar tu entorno de Lustre administrado de Google Cloud y obtener el mejor rendimiento.

Especificaciones de rendimiento

Los siguientes números de rendimiento son valores máximos aproximados.

IOPS

Las IOPS máximas se ajustan de forma lineal por TiB de capacidad de instancia aprovisionada.

Nivel de capacidad de procesamiento	IOPS de lectura (por TiB)	IOPS de escritura (por TiB)
125 MBps per TiB	725	700
250 MBps per TiB	1,450	1,400
500 MBps per TiB	2,900	2,800
1000 MBps per TiB	5,800	5,600

Operaciones con metadatos

Aumento máximo de las operaciones de metadatos en pasos por cada 72 GBps de capacidad de procesamiento aprovisionada.

	Estadísticas de archivos	Creación de archivos	Eliminaciones de archivos
Por cada 72 GBps	410,000 por segundo	115,000 por segundo	95,000 por segundo

Rendimiento después de aumentar la capacidad

Aumentar la capacidad de almacenamiento de una instancia existente incrementa su capacidad de procesamiento y sus IOPS máximas, y posiblemente su rendimiento de metadatos.

El rendimiento de la capacidad de procesamiento de lectura mejora gradualmente a medida que se escriben y redistribuyen datos nuevos en el almacenamiento adicional. El rendimiento de la capacidad de procesamiento de escritura aumenta de inmediato.

Nota: Es posible que el rendimiento de los metadatos no aumente si el incremento de la capacidad no generó 72 GB/s adicionales de capacidad de procesamiento aprovisionada.

Unidad de transmisión máxima (MTU) de la red de VPC

Cuando crees tu red de VPC, establecer el valor de mtu (unidad de transmisión máxima o el tamaño del paquete IP más grande que se puede transmitir en esta red) en el valor máximo permitido de 8896 mejora el rendimiento hasta en un 10% en comparación con el valor predeterminado de 1460 bytes.

Puedes ver el valor de MTU actual de tu red con el siguiente comando:

gcloud compute networks describe NETWORK_NAME --format="value(mtu)"

El valor de MTU de una red se puede actualizar después de que se haya creado la red, pero hay consideraciones importantes. Consulta Cambia la MTU de una red para obtener más detalles.

Tipos de máquina de Compute Engine

La capacidad de procesamiento de la red puede verse afectada por el tipo de máquina que elijas. En general, para obtener la mejor capacidad de procesamiento, haz lo siguiente:

• Aumentar el número de CPU virtuales Por lo general, el ancho de banda de salida máximo por instancia es de 2 Gbps por CPU virtual, hasta el máximo del tipo de máquina.
• Selecciona una serie de máquinas que admita límites de entrada y salida más altos. Por ejemplo, las instancias C2 con redes de nivel 1 admiten un ancho de banda de salida de hasta 100 Gbps. Las instancias C3 con redes de nivel 1 admiten hasta 200 Gbps.
• Habilita el rendimiento de redes Tier_1 por VM con tipos de máquinas más grandes.
• Usa la NIC virtual de Google (gVNIC). La gVNIC es la única opción para los tipos de máquinas de la generación 3 y posteriores. La gVNIC es obligatoria cuando se usan redes de nivel 1.

Para obtener información detallada, consulta Ancho de banda de red.

Cómo medir el rendimiento de un solo cliente

Nota: Si mides el rendimiento de un solo cliente con un tipo de máquina de Compute Engine potente (p. ej., c4-standard-192 con herramientas de redes de nivel 1, que admiten hasta 200 Gbps de ancho de banda de salida de redes. Si también usas una instancia de Lustre administrada pequeña, es posible que no puedas utilizar todo el ancho de banda de redes. Una configuración a tan pequeña escala no es común en las cargas de trabajo reales. Si bien es posible configurar el cliente de Compute Engine para que ofrezca más rendimiento, se recomienda usar una instancia de Lustre administrada que sea lo suficientemente grande como para proporcionar al menos el doble de velocidad de procesamiento que el ancho de banda de salida de la red del cliente de Compute Engine.

Para probar el rendimiento de lectura y escritura desde un solo cliente de Compute Engine, usa la herramienta de línea de comandos fio (Flexible I/O tester).

1. Instala fio:

   Rocky 8

   sudo dnf install fio -y
   

   Ubuntu 20.04 y 22.04

   sudo apt update
   sudo install fio
   

2. Ejecuta el comando siguiente:

   fio --ioengine=libaio --filesize=32G --ramp_time=2s \
   --runtime=5m --numjobs=16 --direct=1 --verify=0 --randrepeat=0 \
   --group_reporting --directory=/lustre --buffer_compress_percentage=50 \
   --name=read --blocksize=1m --iodepth=64 --readwrite=read
   

La prueba toma aproximadamente 5 minutos en completarse. Cuando termine, se mostrarán los resultados. Según tu configuración, puedes esperar una capacidad de procesamiento de hasta la velocidad máxima de red de tu VM y miles de IOPS por TiB.