Valores de configuración automatizados para tipos de máquinas de alto rendimiento

En este documento se describe cómo definir automáticamente los valores predeterminados de Cloud Storage FUSE que se usan en los tipos de máquina de Compute Engine de alto rendimiento, que se han diseñado para optimizar el rendimiento de las cargas de trabajo exigentes y de alto rendimiento. Los valores que se definan manualmente en el momento del montaje anularán estos valores predeterminados.

Tipos de máquina

Los valores de configuración se automatizan en los siguientes tipos de máquinas de Compute Engine de alto rendimiento:

Tipo de serie Tipo de máquina
Serie de máquinas A2
a2-megagpu-16g
a2-ultragpu-8g
Serie de máquinas A3
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
Serie de máquinas A4
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e (Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

Valores de configuración automatizados

Cuando se detecta un tipo de máquina compatible, Cloud Storage FUSE aplica automáticamente los siguientes valores de configuración:

Campo del archivo de configuración de Cloud Storage FUSE Opción de CLI de Cloud Storage FUSE Valor de configuración automatizado
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1Si se define esta configuración como -1, el rendimiento mejora significativamente, ya que los archivos se sirven siempre desde la caché. Ten en cuenta que esta configuración omite las comprobaciones de coherencia, lo que puede provocar que se sirvan datos obsoletos. Para obtener información sobre cómo gestionar la coherencia de los datos, consulta el artículo Descripción general del almacenamiento en caché en Cloud Storage FUSE.

Ajuste de rendimiento adicional

Si usas un tipo de máquina de alto rendimiento Google Cloud , se aplicarán automáticamente los valores de configuración que se detallan en esta página. Sin embargo, puedes afinar aún más tu máquina para obtener un rendimiento óptimo con los siguientes métodos:

  • Consulta la guía de prácticas recomendadas para optimizar el rendimiento de Cloud Storage FUSE. En ella se explica cómo usar las funciones y configuraciones clave de Cloud Storage FUSE para conseguir el máximo rendimiento y un rendimiento óptimo.

  • Si ejecutas cargas de trabajo de entrenamiento, servicio o creación de puntos de control y de caché Just-in-Time (JIT) en clústeres de Google Kubernetes Engine que usan GPUs o TPUs de Cloud para acceder a grandes conjuntos de datos en Cloud Storage, puedes optimizar la configuración utilizando archivos YAML preconfigurados para montar tus cubos de Cloud Storage directamente en tus pods de forma más eficiente. Para obtener más información e instrucciones sobre cómo usar archivos YAML de GKE preconfigurados, consulta el artículo Usar archivos YAML de GKE preconfigurados para optimizar el rendimiento de Cloud Storage FUSE.

  • Si ejecutas cargas de trabajo de entrenamiento, servicio o creación de puntos de control con Cloud Storage FUSE, puedes usar el campo profile o la opción de comando --profile para ajustar automáticamente configuraciones específicas de Cloud Storage FUSE y optimizar el rendimiento en función del tipo de carga de trabajo. Para obtener más información, consulta Configuraciones basadas en perfiles para cargas de trabajo de IA/ML.

Siguientes pasos