Cloud Storage FUSE aplica automáticamente valores de configuración predeterminados optimizados cuando se ejecuta en tipos de máquinas de Compute Engine de alto rendimiento, como las series A3, A4 y TPU v6e. Estos valores predeterminados te ayudan a obtener una alta capacidad de procesamiento para cargas de trabajo exigentes sin ajustes manuales. Cualquier valor que establezcas de forma manual en el momento de la activación tiene prioridad.
Tipos de máquina
Los valores de configuración se automatizan para los siguientes tipos de máquinas de Compute Engine de alto rendimiento:
| Tipo de serie | Tipo de máquina |
|---|---|
| Serie de máquinas A2 |
|
| Serie de máquinas A3 |
|
| Serie de máquinas A4 |
|
| Serie de máquinas A4X | |
a4x-highgpu-4g |
|
| TPU v5e |
|
| TPU v5p |
|
| TPU v6e (Trillium) |
|
| TPU 7x (Ironwood) | |
tpu7x-standard-4t |
Valores de configuración automatizados
Cuando se detecta un tipo de máquina compatible, Cloud Storage FUSE aplica de forma automática los siguientes valores de configuración:
| Campo del archivo de configuración de Cloud Storage FUSE | Opción de la CLI de Cloud Storage FUSE | Valor de configuración automatizada |
|---|---|---|
metadata-cache:negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache:ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache:stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
implicit-dirs |
--implicit-dirs |
true |
file-system:rename-dir-limit |
--rename-dir-limit |
200000 |
write:global-max-blocks |
--write-global-max-blocks |
1600 |
1Si estableces este parámetro de configuración en -1, se mejora de forma significativa
el rendimiento, ya que los archivos siempre se entregan desde la caché. Ten en cuenta que esta
configuración omite las verificaciones de coherencia, lo que puede generar que se entreguen
datos desactualizados. Para obtener detalles sobre cómo administrar la coherencia de los datos, consulta
Descripción general del almacenamiento en caché en Cloud Storage FUSE.
Ajuste adicional del rendimiento
Cuando usas un tipo de máquina Google Cloud de alto rendimiento, se aplican automáticamente los valores de configuración que se detallan en esta página. Sin embargo, puedes ajustar aún más tu máquina para obtener un rendimiento óptimo con los siguientes métodos:
Usa la guía de prácticas recomendadas para ajustar el rendimiento y mejorar Cloud Storage FUSE con las funciones y configuraciones clave de Cloud Storage FUSE para lograr la máxima capacidad de procesamiento y un rendimiento óptimo.
Si ejecutas cargas de trabajo de entrenamiento, entrega o almacenamiento en caché de puntos de control y Just in Time (JIT) en clústeres de Google Kubernetes Engine que usan GPU de Cloud o Cloud TPU para acceder a grandes conjuntos de datos en Cloud Storage, puedes optimizar tu configuración con archivos YAML preconfigurados para activar tus buckets de Cloud Storage directamente en tus Pods de manera más eficiente. Para obtener más información y las instrucciones sobre cómo usar archivos YAML de GKE preconfigurados, consulta Usa archivos YAML de GKE preconfigurados para optimizar el rendimiento de Cloud Storage FUSE.
Si ejecutas cargas de trabajo de entrenamiento, entrega o creación de puntos de control con Cloud Storage FUSE, puedes usar el campo
profileo la opción de comando--profilepara ajustar automáticamente parámetros de configuración específicos de Cloud Storage FUSE y obtener un rendimiento óptimo según el tipo de carga de trabajo específico. Para obtener más información, consulta Parámetros de configuración basados en perfiles para cargas de trabajo de IA y AA.
¿Qué sigue?
Obtén información para ajustar Cloud Storage FUSE y obtener un rendimiento óptimo.
Usa un archivo YAML de GKE preconfigurado para establecer las prácticas recomendadas de ajuste.