En este documento, se describe cómo establecer automáticamente los valores predeterminados de Cloud Storage FUSE que se usan para los tipos de máquinas de Compute Engine de alto rendimiento, que están diseñados para optimizar el rendimiento de las cargas de trabajo exigentes y de alto procesamiento. Los valores que se configuran manualmente en el momento del montaje anularán estos valores predeterminados.
Tipos de máquina
Los valores de configuración se automatizan para los siguientes tipos de máquinas de alto rendimiento de Compute Engine:
| Tipo de serie | Tipo de máquina |
|---|---|
| Serie de máquinas A2 | |
a2-megagpu-16g |
|
a2-ultragpu-8g |
|
| Serie de máquinas A3 | |
a3-edgegpu-8g |
|
a3-highgpu-8g |
|
a3-megagpu-8g |
|
a3-ultragpu-8g |
|
| Serie de máquinas A4 | |
4-highgpu-8g-lowmem |
|
| TPU v5e | |
ct5l-hightpu-8t |
|
ct5lp-hightpu-8t |
|
| TPU v5p | |
ct5p-hightpu-4t |
|
ct5p-hightpu-4t-tpu |
|
| TPU v6e (Trillium) | |
ct6e-standard-4t |
|
ct6e-standard-4t-tpu |
|
ct6e-standard-8t |
|
ct6e-standard-8t-tpu |
Valores de configuración automatizados
Cuando se detecta un tipo de máquina compatible, Cloud Storage FUSE aplica automáticamente los siguientes valores de configuración:
| Campo del archivo de configuración de Cloud Storage FUSE | Opción de la CLI de Cloud Storage FUSE | Valor de configuración automatizado |
|---|---|---|
metadata-cache.negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache.ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache.stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
metadata-cache.type-cache-max-size-mb |
--type-cache-max-size-mb |
128 |
implicit-dirs |
--implicit-dirs |
true |
file-system.rename-dir-limit |
--rename-dir-limit |
200000 |
1Establecer este parámetro de configuración en -1 mejora significativamente el rendimiento, ya que siempre se entregan los archivos desde la caché. Ten en cuenta que esta configuración omite las verificaciones de coherencia, lo que puede generar la publicación de datos desactualizados. Para obtener detalles sobre cómo administrar la coherencia de los datos, consulta la Descripción general del almacenamiento en caché en Cloud Storage FUSE.
Ajustes de rendimiento adicionales
Cuando usas un tipo de máquina Google Cloud de alto rendimiento, los valores de configuración que se detallan en esta página se aplican automáticamente. Sin embargo, puedes ajustar aún más la máquina para obtener un rendimiento óptimo con los siguientes métodos:
Usa la guía de prácticas recomendadas para el ajuste del rendimiento para mejorar Cloud Storage FUSE con las funciones y configuraciones clave de Cloud Storage FUSE y lograr el máximo rendimiento y un rendimiento óptimo.
Si ejecutas cargas de trabajo de entrenamiento, de servicio o de creación de puntos de control y de caché Just-in-Time (JIT) en clústeres de Google Kubernetes Engine que usan GPUs de Cloud o Cloud TPU para acceder a grandes conjuntos de datos en Cloud Storage, puedes optimizar tu configuración utilizando archivos YAML preconfigurados para montar tus buckets de Cloud Storage directamente en tus pods de manera más eficiente. Para obtener más información y consultar las instrucciones para usar archivos YAML de GKE preconfigurados, consulta Cómo usar archivos YAML de GKE preconfigurados para optimizar el rendimiento de Cloud Storage FUSE.
Si ejecutas cargas de trabajo de entrenamiento, entrega o creación de puntos de control con Cloud Storage FUSE, puedes usar el campo
profileo la opción de comando--profilepara ajustar automáticamente configuraciones específicas de Cloud Storage FUSE y obtener un rendimiento óptimo según el tipo de carga de trabajo específico. Para obtener más información, consulta Configuraciones basadas en perfiles para cargas de trabajo de IA/AA.
¿Qué sigue?
Obtén información para ajustar Cloud Storage FUSE y obtener un rendimiento óptimo.
Usa un archivo YAML de GKE preconfigurado para establecer las prácticas recomendadas de ajuste.