En este documento, se proporcionan arquitecturas de referencia que muestran cómo puedes usar Cloud Storage FUSE para optimizar el rendimiento de las cargas de trabajo de IA y AA en Google Kubernetes Engine (GKE).
El público objetivo de este documento incluye arquitectos y profesionales técnicos que diseñan, aprovisionan y administran el almacenamiento para sus cargas de trabajo de IA y AA en Google Cloud. En este documento, se supone que comprendes el ciclo de vida, los procesos y las capacidades del AA.
Cloud Storage FUSE es un adaptador de FUSE de código abierto que te permite activar los buckets de Cloud Storage como sistemas de archivos locales. Esta configuración permite que las aplicaciones interactúen sin problemas con los buckets de almacenamiento basados en la nube a través de la semántica estándar del sistema de archivos. Cloud Storage FUSE te permite aprovechar la escalabilidad y la rentabilidad de Cloud Storage.
Arquitectura
Según tus requisitos de rendimiento, disponibilidad y recuperación ante desastres (DR), puedes elegir uno de los siguientes arquetipos de implementación de Google Cloudpara ejecutar tus cargas de trabajo de IA y AA en Google Cloud:
- Regional: Tus aplicaciones se ejecutan de forma independiente en una sola Google Cloud región. Recomendamos este arquetipo de implementación para aplicaciones que no son esenciales, pero que deben ser sólidas contra las interrupciones zonales.
- Multirregional: Tus aplicaciones se ejecutan de forma independiente en dos o más regiones de Google Cloud , en modo activo-activo o activo-pasivo. Este arquetipo de implementación es ideal para admitir situaciones de DR. Recomendamos este arquetipo de implementación para aplicaciones esenciales que necesitan resiliencia contra interrupciones y desastres regionales. Las implementaciones birregionales o multirregionales pueden reducir la latencia y mejorar la capacidad de procesamiento a través de una mayor proximidad de los recursos.
El arquetipo de implementación que elijas informa los productos y las funciones de Google Cloud que necesitas para tu arquitectura. La arquitectura multirregional usa Rapid Cache para aumentar el ancho de banda de la red y proporcionar aciertos de caché zonales con menor latencia en comparación con un bucket regional. Se recomienda Rapid Cache para las cargas de trabajo con mucha actividad de lectura en datos que cambian con poca frecuencia. Rapid Cache ayuda a reducir las tarifas de transferencia de datos en comparación con el costo de leer directamente desde un bucket multirregional. Para evaluar si Rapid Cache es adecuado para tu carga de trabajo, usa el recomendador de Rapid Cache para analizar el uso y el almacenamiento de tus datos.
En las siguientes pestañas, se proporcionan arquitecturas de referencia para los arquetipos de implementación regional y multirregional:
Regional
En el siguiente diagrama, se muestra una arquitectura regional de ejemplo que usa Cloud Storage FUSE para optimizar el rendimiento de los flujos de trabajo de entrenamiento de modelos y entrega de modelos:
Esta arquitectura incluye los siguientes componentes:
- Clúster de GKE: GKE administra los nodos de procesamiento en los que se ejecutan los procesos de entrenamiento y entrega de modelos de IA y AA. GKE administra la infraestructura subyacente de los clústeres de Kubernetes, incluidos el plano de control, los nodos y todos los componentes del sistema.
- Programador de Kubernetes: El plano de control de GKE
programa las cargas de trabajo y administra su ciclo de vida, escalamiento y actualizaciones. El
agente de nodo de Kubernetes (
kubelet), que no se muestra en el diagrama, se comunica con el plano de control. El agentekubeletes responsable de iniciar y ejecutar los contenedores que se programan en los nodos de GKE. Para obtener más información sobre el programador, consulta Organización de IA y AA en GKE. - Red de nube privada virtual (VPC): Todos los recursos de Google Cloud en la arquitectura usan una sola red de VPC. Según tus requisitos, puedes optar por compilar una arquitectura que use varias redes. Para obtener más información sobre cómo configurar una red de VPC para Cloud Storage FUSE, consulta Decide si crear o no varias redes de VPC.
- Cloud Load Balancing: En esta arquitectura, Cloud Load Balancing distribuye de manera eficiente las solicitudes de inferencia entrantes de los usuarios de la aplicación a los contenedores de entrega en el clúster de GKE. Para obtener más información, consulta Información sobre el balanceo de cargas de GKE.
- Unidades de procesamiento gráfico (GPU) o unidades de procesamiento tensorial (TPU): Las GPU y las TPU son aceleradores de máquinas especializados que mejoran el rendimiento de tus cargas de trabajo de IA y AA. Para obtener información sobre cómo elegir un tipo de procesador adecuado, consulta Opciones de acelerador más adelante en este documento.
- Cloud Storage: Cloud Storage proporciona almacenamiento persistente, escalable y rentable para tus cargas de trabajo de IA y AA. Cloud Storage funciona como el repositorio central para tus conjuntos de datos de entrenamiento sin procesar, los puntos de control del modelo y los modelos entrenados finales.
- Cloud Storage FUSE con la caché de archivos habilitada: Cloud Storage FUSE te permite activar un bucket de Cloud Storage como un sistema de archivos local. La caché de archivos en Cloud Storage FUSE es un directorio en la máquina local que almacena los archivos a los que se accede con frecuencia desde tus buckets de Cloud Storage. El controlador CSI de Cloud Storage FUSE administra la integración de Cloud Storage FUSE con la API de Kubernetes para consumir buckets de Cloud Storage como volúmenes.
En las siguientes secciones, se describe el flujo de trabajo en las cargas de trabajo de entrenamiento y entrega de la arquitectura.
Multirregional
En el siguiente diagrama, se muestra un ejemplo de arquitectura multirregional que usa Cloud Storage FUSE y Rapid Cache para optimizar el rendimiento de los flujos de trabajo de entrenamiento y entrega de modelos:
Esta arquitectura incluye los siguientes componentes:
- Clúster de GKE: GKE administra los nodos de procesamiento en los que se ejecutan los procesos de entrenamiento y entrega de modelos de IA y AA. GKE administra la infraestructura subyacente de los clústeres de Kubernetes, incluidos el plano de control, los nodos y todos los componentes del sistema.
- Programador de Kubernetes: El plano de control de GKE
programa las cargas de trabajo y administra su ciclo de vida, escalamiento y actualizaciones. El
agente de nodo de Kubernetes (
kubelet), que no se muestra en el diagrama, se comunica con el plano de control. El agentekubeletes responsable de iniciar y ejecutar los contenedores que se programan en los nodos de GKE. Para obtener más información sobre el programador, consulta Organización de IA y AA en GKE. - Red de VPC: Todos los recursos de Google Cloud en la arquitectura usan una sola red de VPC. Según tus requisitos, puedes optar por compilar una arquitectura que use varias redes. Para obtener más información sobre cómo configurar una red de VPC para Cloud Storage FUSE, consulta Decide si crear o no varias redes de VPC.
- Cloud DNS: En las arquitecturas multirregionales, Cloud DNS dirige el tráfico a los balanceadores de cargas para ayudar a optimizar el rendimiento y la disponibilidad a través del enrutamiento anycast. Las solicitudes se enrutan automáticamente a la ubicación más cercana, lo que reduce la latencia y mejora el rendimiento de las búsquedas de nombres autorizadas para tus usuarios. Para obtener información sobre los principios generales y las prácticas recomendadas, consulta Prácticas recomendadas para Cloud DNS.
- Cloud Load Balancing: En esta arquitectura, Cloud Load Balancing distribuye de manera eficiente las solicitudes de inferencia entrantes de los usuarios de la aplicación a los contenedores de entrega en el clúster de GKE. Para obtener más información, consulta Información sobre el balanceo de cargas de GKE.
- Unidades de procesamiento gráfico (GPU) o unidades de procesamiento tensorial (TPU): Las GPU y las TPU son aceleradores de máquinas especializados que mejoran el rendimiento de tus cargas de trabajo de IA y AA. Para obtener información sobre cómo elegir un tipo de procesador adecuado, consulta Opciones de acelerador más adelante en este documento.
- Cloud Storage: Cloud Storage proporciona almacenamiento persistente, escalable y rentable para tus cargas de trabajo de IA y AA. Cloud Storage funciona como el repositorio central para tus conjuntos de datos de entrenamiento sin procesar, los puntos de control del modelo y los modelos entrenados finales.
- Cloud Storage FUSE: Cloud Storage FUSE te permite activar un bucket de Cloud Storage como un sistema de archivos local. El controlador CSI de Cloud Storage FUSE, que no se muestra en el diagrama, administra la integración de Cloud Storage FUSE con la API de Kubernetes para consumir buckets de Cloud Storage como volúmenes.
- Rapid Cache: Rapid Cache es una función de Cloud Storage que proporciona una caché de solo lectura zonal respaldada por SSD de gran capacidad para los buckets de Cloud Storage. Durante el entrenamiento y la entrega, Rapid Cache te ayuda a reducir las latencias de lectura y lograr una alta capacidad de procesamiento. El límite de ancho de banda de la caché escala con la cantidad de datos almacenados en la caché. Para obtener información sobre las regiones y zonas compatibles, consulta Almacena datos en caché en zonas.
En las siguientes secciones, se describe el flujo de trabajo en las cargas de trabajo de entrenamiento y entrega de la arquitectura.
Carga de trabajo de entrenamiento
En las arquitecturas anteriores, los siguientes son los pasos en el flujo de datos durante el entrenamiento del modelo:
- Carga datos de entrenamiento en Cloud Storage: Los datos de entrenamiento se suben a un bucket de Cloud Storage con espacios de nombres jerárquicos habilitados. Cloud Storage funciona como un repositorio central escalable.
- Carga datos de entrenamiento y ejecuta trabajos de entrenamiento en GKE: El bucket de Cloud Storage que se activa en tus Pods de GKE permite que tus aplicaciones de entrenamiento carguen y accedan a los datos de entrenamiento de manera eficiente con la interfaz de FUSE. Los nodos de GKE ejecutan el proceso de entrenamiento de modelos con la caché de archivos activada como fuente de datos. Tus aplicaciones de entrenamiento envían datos de entrenamiento de forma continua a los aceleradores de máquinas para realizar los cálculos complejos que se requieren para el entrenamiento de modelos. Según los requisitos de tu carga de trabajo, puedes usar GPU o TPU. Para obtener información sobre cómo elegir un tipo de procesador adecuado, consulta Opciones de acelerador más adelante en este documento.
Punto de control y modelo guardado y restablecimiento:
- Guarda puntos de control o el modelo: Durante el entrenamiento, guarda puntos de control de forma asíncrona a intervalos frecuentes en un bucket de Cloud Storage independiente. Los puntos de control capturan el estado del modelo según las métricas o los intervalos que definas.
- Restablece puntos de control o modelos: Cuando tu carga de trabajo de entrenamiento requiera que restablezcas un punto de control o datos del modelo, debes ubicar el recurso que deseas restablecer en Cloud Storage. Puedes usar el punto de control o el modelo restablecidos para reanudar el entrenamiento, ajustar los parámetros o evaluar el rendimiento en un conjunto de validación.
Carga de trabajo de entrega
En las arquitecturas anteriores, los siguientes son los pasos en el flujo de datos durante la entrega del modelo:
- Carga el modelo: Una vez que se completa el entrenamiento, tus Pods cargan el modelo entrenado con Cloud Storage FUSE con las descargas paralelas habilitadas. Las descargas paralelas aceleran la carga del modelo, ya que recuperan las partes del modelo en paralelo desde Cloud Storage. Para reducir de forma significativa los tiempos de carga del modelo, el proceso usa el directorio de caché como un búfer de carga previa.
- Solicitud de inferencia: Los usuarios de la aplicación envían solicitudes de inferencia desde la aplicación de IA y AA a través del servicio de Cloud Load Balancing. Cloud Load Balancing distribuye las solicitudes entrantes entre los contenedores de entrega del clúster de GKE. Esta distribución ayuda a evitar que un solo contenedor se sobrecargue, de modo que las solicitudes se procesen de manera eficiente.
- Entrega de la respuesta: Los nodos procesan la solicitud y generan una predicción. Los contenedores de entrega envían las respuestas a través de Cloud Load Balancing y, luego, a los usuarios de la aplicación.
Productos usados
Las arquitecturas de referencia usan los siguientes productos de Google Cloud :
- Google Kubernetes Engine (GKE): Un servicio de Kubernetes que puedes usar para implementar y operar aplicaciones en contenedores a gran escala con la infraestructura de Google.
- Cloud Storage: Es un almacén de objetos de bajo costo y sin límites para varios tipos de datos. Se puede acceder a los datos desde y hacia Google Cloud, y estos se replican en las ubicaciones para aumentar la redundancia.
- Nube privada virtual (VPC): Es un sistema virtual que proporciona funcionalidad de red global y escalable para tus cargas de trabajo de Google Cloud . La VPC incluye el intercambio de tráfico entre redes de VPC, Private Service Connect, el acceso privado a servicios y la VPC compartida.
- Cloud Load Balancing: Una cartera de balanceadores de cargas escalables, globales y regionales de alto rendimiento.
- Cloud DNS: Es un servicio que proporciona una entrega de DNS resiliente y de baja latencia desde la red mundial de Google.
Caso de uso
Para las cargas de trabajo de IA y AA que requieren una gran capacidad de almacenamiento y acceso a archivos de alto rendimiento, te recomendamos que uses una arquitectura basada en Cloud Storage FUSE. Con una planificación adecuada, puedes lograr una capacidad de procesamiento de más de 1 TB/s con estas arquitecturas. Además, Cloud Storage FUSE te permite aprovechar un repositorio de almacenamiento central que sirve como fuente única de información para todas las etapas del flujo de trabajo de IA y AA. Este enfoque se puede usar para cualquier carga de trabajo, sin importar su escala o tamaño.
Para estas cargas de trabajo, Cloud Storage FUSE proporciona los siguientes beneficios:
- Acceso simplificado a los datos: Accede a los datos de entrenamiento y a los puntos de control con frameworks de IA y AA, como PyTorch, JAX y TensorFlow. El acceso a los datos a través de frameworks de IA y AA elimina la necesidad de refactorizar el código.
- Inicio acelerado: Elimina la necesidad de descargar grandes conjuntos de datos en recursos de procesamiento con Cloud Storage FUSE para acceder directamente a los datos en Cloud Storage. Este acceso directo a los datos genera tiempos de inicio de trabajos más rápidos.
- Rentabilidad: Optimiza los costos con la escalabilidad y la rentabilidad inherentes de Cloud Storage.
Cloud Storage FUSE no es adecuado para cargas de trabajo sensibles a la latencia que contienen archivos de menos de 50 MB o que requieren una latencia de menos de 1 milisegundo para el acceso aleatorio de E/S y metadatos.
Para el entrenamiento con uso intensivo de datos o el punto de control y el reinicio de las cargas de trabajo, considera una alternativa de almacenamiento durante la fase de entrenamiento intensiva de E/S.
Alternativas de diseño
En las siguientes secciones, se presentan enfoques de diseño alternativos que puedes considerar para tu aplicación de IA y AA en Google Cloud.
Alternativa de plataforma
En lugar de alojar el flujo de trabajo de entrenamiento y entrega de modelos en GKE, puedes considerar Compute Engine con Slurm. Slurm es un administrador de recursos y cargas de trabajo de código abierto y altamente configurable. El uso de Compute Engine con Slurm es ideal para el entrenamiento y las simulaciones de modelos a gran escala. Te recomendamos que uses Compute Engine con Slurm si necesitas integrar la propiedad intelectual (PI) de IA y AA de tu empresa en un entorno escalable con la flexibilidad y el control necesarios para optimizar el rendimiento de las cargas de trabajo especializadas. Para obtener más información sobre cómo usar Compute Engine con Slurm, consulta Implementa un clúster de HPC con Slurm.
En Compute Engine, aprovisionas y administras tus máquinas virtuales (VMs), lo que te brinda un control detallado sobre los tipos de instancias, el almacenamiento y las redes. Puedes adaptar tu infraestructura a tus necesidades exactas, incluida la selección de tipos de máquinas de VM específicos. Para obtener información sobre cómo usar las opciones de la línea de comandos de Cloud Storage FUSE en Compute Engine, consulta gcsfuse CLI y archivo de configuración de Cloud Storage FUSE. También puedes usar la familia de máquinas con optimización de acelerador para mejorar el rendimiento de tus cargas de trabajo de IA y AA. Para obtener más información sobre las familias de tipo de máquina que están disponibles en Compute Engine, consulta la guía de comparación y recursos de familias de máquinas.
Slurm ofrece una opción potente para administrar cargas de trabajo de IA y AA, y te permite controlar la configuración y la administración de los recursos de procesamiento. Para usar este enfoque, necesitas experiencia en la administración de Slurm y en la administración de sistemas Linux.
Opciones de acelerador
Los aceleradores de máquinas son procesadores especializados que están diseñados para acelerar los cálculos que se requieren para las cargas de trabajo de IA y AA. Puedes elegir GPU o TPU.
- Los aceleradores de GPU proporcionan un rendimiento excelente para una amplia variedad de tareas, como la renderización de gráficos, el entrenamiento de aprendizaje profundo y la computación científica. Google Cloud tiene una gran variedad de GPU para todo tipo de precios y necesidades de rendimiento. Las GPU suelen incluir SSD locales en cada configuración de máquina, que Cloud Storage FUSE puede usar como un directorio de caché. Para obtener información sobre los modelos y los precios de las GPU, consulta Precios de GPU.
- Las TPU son aceleradores de IA con diseño personalizado que están optimizados para el entrenamiento y la inferencia de grandes modelos de IA. Son ideales para una variedad de casos de uso, como chatbots, generación de código, generación de contenido multimedia, voz sintética, servicios de visión, motores de recomendaciones y modelos de personalización. Para obtener más información sobre los modelos y los precios de las TPU, consulta Precios de TPU.
Alternativas de almacenamiento
Cloud Storage FUSE proporciona un sistema de archivos conveniente que te permite aprovechar la escalabilidad y la rentabilidad de Cloud Storage. Sin embargo, Cloud Storage FUSE no es ideal para cargas de trabajo que exigen baja latencia para lecturas de archivos pequeños o para cargas de trabajo que requieren una solución de almacenamiento completamente compatible con POSIX. Para estos casos de uso, te recomendamos que consideres las siguientes alternativas de almacenamiento:
- Google Cloud Managed Lustre: Es un sistema de archivos paralelo (PFS) persistente y completamente administrado por Google Cloudque se basa en EXAScaler Lustre de DDN. Managed Lustre proporciona una latencia de menos de un milisegundo y una gran cantidad de operaciones de entrada y salida por segundo (IOPS). Managed Lustre es eficaz para migrar cargas de trabajo existentes desde Lustre o de otras soluciones de PFS. Para aumentar el rendimiento durante la creación de puntos de control, considera usar Managed Lustre para aumentar Cloud Storage FUSE con Rapid Cache. Para obtener más información, consulta Optimiza las cargas de trabajo de IA y AA con Google Cloud Managed Lustre.
- Connector for PyTorch: Es un producto de código abierto en Cloud Storage que es ideal para cargas de trabajo que usan PyTorch. Connector for PyTorch optimiza tu carga de trabajo de entrenamiento, ya que transmite datos directamente desde tus buckets de Cloud Storage y elimina la necesidad de almacenamiento intermedio. Este acceso directo y esta optimización proporcionan un rendimiento mucho mejor que las llamadas directas a la API de Cloud Storage para la carga de datos, el entrenamiento y la creación de puntos de control.
Aunque las opciones de almacenamiento alternativas pueden ofrecer ventajas de rendimiento para ciertas cargas de trabajo de IA y AA, es fundamental evaluar tus necesidades de latencia, capacidad de procesamiento y capacidad de almacenamiento.
Para obtener una comparación completa de las opciones de almacenamiento para las cargas de trabajo de IA y AA, consulta Descripción general de los servicios de almacenamiento para cargas de trabajo de IA y AA en AI Hypercomputer.
Consideraciones del diseño
En esta sección, se proporciona orientación sobre las prácticas recomendadas y las consideraciones de diseño para configurar Cloud Storage FUSE en términos de seguridad, confiabilidad, costo y rendimiento. Aunque las recomendaciones que se presentan aquí no son exhaustivas, abordan consideraciones clave para maximizar los beneficios de Cloud Storage FUSE en tu entorno. Según tus necesidades específicas y las características de la carga de trabajo, es posible que debas considerar opciones de configuración y compensaciones adicionales.
En las siguientes recomendaciones de diseño, se destacan las opciones de configuración para definir mejor cómo implementas Cloud Storage FUSE en GKE. La mayoría de las opciones de Cloud Storage FUSE se configuran con opciones de activación. Para obtener más información sobre las opciones de la línea de comandos de Cloud Storage FUSE y cómo usarlas, consulta la siguiente documentación:
- CLI de gcsfuse
- Optimiza de forma manual el controlador de CSI de Cloud Storage FUSE para mejorar el rendimiento
- Automatiza el ajuste de rendimiento con los perfiles de Cloud Storage FUSE.
Para obtener una descripción general de los principios y las recomendaciones de arquitectura específicos de las cargas de trabajo de IA y AA en Google Cloud, consulta la perspectiva de IA y AA en el framework de buena arquitectura.
Security, privacy, and compliance
En esta sección, se describen las consideraciones para tus cargas de trabajo de IA y AA en Google Cloud que cumplen con tus requisitos de seguridad, privacidad y cumplimiento.
Consideraciones sobre GKE
En el modo Autopilot, GKE preconfigura tu clúster y administra los nodos según las prácticas recomendadas de seguridad, lo que te permite enfocarte en la seguridad específica de la carga de trabajo. Para obtener más información, consulta Medidas de seguridad de GKE Autopilot.
Si deseas proporcionar un control de acceso mejorado para tus aplicaciones que se ejecutan en GKE, puedes usar Identity-Aware Proxy (IAP). IAP se integra en el recurso Ingress de GKE y ayuda a restringir el acceso a los usuarios autenticados que tienen el rol de Identity and Access Management (IAM) adecuado. Para obtener más información, consulta la página sobre cómo habilitar IAP para GKE.
De forma predeterminada, tus datos en GKE se encriptan en reposo y en tránsito con Google-owned and Google-managed encryption keys. Como una capa adicional de seguridad para datos sensibles, puedes encriptar datos en la capa de aplicación con una clave que poseas y administres con Cloud Key Management Service. Para obtener más información, consulta Encripta Secrets en la capa de aplicación.
Si usas un clúster de GKE Standard, puedes usar las siguientes capacidades adicionales de encriptación de datos:
- Encripta los datos en uso (es decir, en la memoria) con Confidential Google Kubernetes Engine Nodes. Para obtener más información sobre las funciones, la disponibilidad y las limitaciones de Confidential GKE Nodes, consulta Encripta los datos de cargas de trabajo en uso con Confidential GKE Nodes.
- Si necesitas más control sobre las claves de encriptación que se usan para encriptar el tráfico de Pods entre los nodos de GKE, puedes encriptar los datos en tránsito con las claves que administras. Para obtener más información, consulta Encripta tus datos en tránsito en GKE con claves de encriptación administradas por el usuario.
Consideraciones sobre Cloud Storage
De forma predeterminada, los datos que se almacenan en Cloud Storage se encriptan con Google-owned and Google-managed encryption keys. Si es necesario, puedes usar claves de encriptación administradas por el cliente (CMEK) o tus propias claves que administres con un método de administración externo, como las claves de encriptación proporcionadas por el cliente (CSEK). Para obtener más información, consulta Opciones de encriptación de datos.
Cloud Storage admite dos sistemas para otorgar permiso a los usuarios para acceder a tus buckets y objetos: IAM y las listas de control de acceso (LCA). En la mayoría de los casos, te recomendamos que uses IAM, que te permite otorgar permisos a nivel de proyecto y de bucket. Para obtener más información, consulta Descripción general del control de acceso.
Los datos de entrenamiento que cargas a través de Cloud Storage pueden incluir datos sensibles. Para proteger estos datos, puedes usar Sensitive Data Protection para descubrir, clasificar y desidentificar los datos. Para separar tus cargas de trabajo de entrenamiento y entrega, guarda el modelo y los puntos de control en buckets de Cloud Storage independientes. Este aislamiento ayuda a evitar la exposición accidental de información sensible de tu conjunto de datos de entrenamiento durante la entrega. Para obtener más información, consulta Usa Sensitive Data Protection con Cloud Storage.
Si tienes requisitos de residencia de datos, Cloud Storage puede ayudarte a cumplirlos. Los datos se almacenan o replican dentro de las regiones que especifiques.
Consideraciones sobre Cloud Storage FUSE
Cuando habilitas el almacenamiento en caché, Cloud Storage FUSE almacena archivos persistentes de tu bucket de Cloud Storage en un formato sin encriptar dentro del directorio que especifiques. Cloud Storage expone todos los archivos a cualquier usuario o proceso que tenga acceso al directorio. Para mitigar estos riesgos y mejorar la seguridad, la capa del kernel de FUSE restringe el acceso al sistema de archivos al usuario que activó el sistema. Esta restricción deniega el acceso a otros usuarios, incluido el usuario raíz, incluso si los permisos de inodo son más permisivos.
Sin embargo, hay casos de uso en los que puede ser necesario anular las restricciones de acceso predeterminadas. Por ejemplo, en una carga de trabajo de entrenamiento de IA y AA distribuida
en la que varios nodos necesitan acceder a los puntos de control almacenados en
Cloud Storage y compartirlos, es posible que debas permitir un acceso más amplio. En esos casos,
puedes anular la restricción predeterminada con la opción -o allow_other.
Sin embargo, si amplías el acceso a tus archivos, es posible que
expongas tus datos a usuarios no autorizados.
Por lo tanto, debes tener cuidado cuando uses esta opción.
De forma predeterminada, todos los inodos de un sistema de archivos de Cloud Storage FUSE pertenecen al usuario que activó el sistema de archivos. Aunque estos valores predeterminados pueden ser adecuados para muchos casos, puedes personalizar un contexto de seguridad para tu Pod. Para obtener información sobre cómo personalizar un contexto de seguridad, consulta Seguridad y permisos.
Otras consideraciones de seguridad
Para conocer los principios y las recomendaciones de seguridad específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Seguridad en el framework de arquitectura de Google Cloud.
Confiabilidad
Para mejorar la confiabilidad, Cloud Storage FUSE incorpora reintentos automáticos para controlar posibles interrupciones y mantener la coherencia de los datos. Las solicitudes con errores se reintentan automáticamente con una retirada exponencial en Cloud Storage. La retirada exponencial aumenta de forma gradual el tiempo entre los reintentos. Este mecanismo integrado ayuda a que tu aplicación supere los problemas de red transitorios o la falta de disponibilidad temporal de Cloud Storage.
Aunque Cloud Storage FUSE ofrece muchas ventajas, ten en cuenta lo siguiente:
- Escrituras simultáneas: Cuando varios usuarios intentan modificar un archivo, la operación de última escritura gana tiene prioridad y se pierden todas las operaciones de escritura anteriores. Para mantener la integridad de los datos, te recomendamos que un solo objeto se modifique con una sola fuente en cualquier momento.
- Persistencia de la caché: Cuando desactivas o reinicias tu bucket, las cachés no se conservan. Para evitar posibles problemas de seguridad, después de activar o reiniciar el bucket, es fundamental que borres de forma manual el directorio de la caché de archivos.
- Procesos con cachés dedicadas: Aunque Cloud Storage FUSE admite el acceso simultáneo para un procesamiento paralelo eficiente, es importante recordar que las cachés son específicas de cada proceso de Cloud Storage FUSE. Por lo tanto, diferentes procesos de Cloud Storage FUSE que se ejecutan en las mismas máquinas o en máquinas diferentes no deben usar el mismo directorio de caché.
Otras consideraciones de confiabilidad
Para conocer los principios y las recomendaciones de confiabilidad específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Confiabilidad en el framework de arquitectura de Google Cloud.
Optimización de costos
En esta sección, se proporciona orientación para ayudarte a optimizar el costo de configurar y operar tu flujo de trabajo de IA y AA en Google Cloud.
Consideraciones sobre GKE
En el modo Autopilot, GKE optimiza la eficiencia de la infraestructura de tu clúster según los requisitos de la carga de trabajo. Para controlar los costos, no necesitas supervisar constantemente el uso de los recursos ni administrar la capacidad.
Si puedes predecir el uso de CPU, memoria y almacenamiento efímero de tu clúster de Autopilot, puedes obtener descuentos por compromiso de uso. Para reducir el costo de ejecución de tu aplicación, puedes usar las VMs Spot para tus nodos de GKE. Las VMs Spot tienen un precio menor que las VMs estándar, pero no proporcionan garantía de disponibilidad.
Para optimizar el costo y el rendimiento a través de una administración eficiente, usa el Dynamic Workload Scheduler. Dynamic Workload Scheduler es un administrador de recursos y programador de trabajos que te ayuda a mejorar el acceso a los recursos de IA y AA. El programador dinámico de cargas de trabajo programa todos tus aceleradores de forma simultánea y puede ejecutarse durante las horas de menor demanda con una administración de capacidad de aceleradores definida. Con la programación estratégica de trabajos, Dynamic Workload Scheduler ayuda a maximizar el uso de aceleradores, reducir el tiempo de inactividad y, en última instancia, optimizar tu gasto en la nube.
Si quieres obtener más información sobre la orientación para optimizar costos, consulta Prácticas recomendadas para ejecutar aplicaciones de Kubernetes con optimización de costos en GKE.
Consideraciones sobre Cloud Storage
Tus necesidades de almacenamiento de IA y AA pueden ser dinámicas. Por ejemplo, es posible que necesites una capacidad de almacenamiento significativa para tus datos de entrenamiento, pero tu requisito de capacidad disminuye para la entrega, en la que almacenas principalmente datos del modelo y puntos de control. Para controlar los costos, te recomendamos que habilites la administración del ciclo de vida de los objetos y la Clase automática.
La administración del ciclo de vida de los objetos te permite mover automáticamente los datos más antiguos o sin usar a clases de almacenamiento más económicas o, incluso, borrar los datos, según las reglas que establezcas.
La función Autoclass traslada los datos automáticamente entre las clases de almacenamiento según tus patrones de acceso. Esta función ayuda a equilibrar el rendimiento y el costo.
Consideraciones sobre Cloud Storage FUSE
Se aplican los cargos estándar de Cloud Storage por el almacenamiento, las operaciones de metadatos y el tráfico de red que generan tus actividades de FUSE. No se aplican costos adicionales por usar Cloud Storage FUSE. Para obtener más información de las operaciones comunes de Cloud Storage FUSE y cómo se asignan a las operaciones de Cloud Storage, consulta la asignación de operaciones.
Para optimizar los costos de tu directorio de caché, puedes usar la capacidad de la máquina aprovisionada existente, incluidos los SSD locales, los discos persistentes o los datos en memoria para los sistemas de archivos temporales. Cuando usas la capacidad de la máquina existente, puedes evitar incurrir en cargos por recursos de almacenamiento adicionales. Además, maximizar los aciertos de caché puede reducir significativamente los costos de Cloud Storage, ya que los datos entregados de forma local no generan cargos operativos ni por transferencia de datos.
Si usas
perfiles de Cloud Storage FUSE en GKE,
cada perfil ejecuta un análisis en segundo plano de tu bucket o subdirectorio cada siete
días de forma predeterminada. Este análisis genera cargos operativos de clase A de Cloud Storage por enumerar objetos. Además, el perfil gcsfusecsi-serving habilita automáticamente
Rapid Cache, lo que genera
cargos por Rapid Cache.
Para obtener más información sobre los cargos, consulta Precios de Cloud Storage.
Otras consideraciones de costos
Para conocer los principios y las recomendaciones de optimización de costos específicos de las cargas de trabajo de IA y AA, consulta Perspectiva de IA y AA: Optimización de costos en el framework de buena arquitectura.
Optimización del rendimiento
Cloud Storage FUSE está diseñado para proporcionar acceso eficiente a los datos en Cloud Storage para tus cargas de trabajo de IA y AA. Sin embargo, las solicitudes frecuentes de metadatos pueden reducir el rendimiento, en especial en clústeres de gran escala. Para obtener más información sobre cómo mejorar el rendimiento, consulta la siguiente documentación:
- Optimiza de forma manual el controlador de CSI de Cloud Storage FUSE para mejorar el rendimiento
- Automatiza el ajuste de rendimiento con los perfiles de Cloud Storage FUSE
- Prácticas recomendadas para ajustar el rendimiento de Cloud Storage FUSE.
Para optimizar el rendimiento, considera los siguientes parámetros de configuración:
- Automatiza el ajuste de rendimiento con perfiles y valores predeterminados de tipo de máquina:
En lugar de configurar de forma manual las opciones de activación individuales, puedes usar
parámetros de configuración basados en perfiles de Cloud Storage FUSE
para aplicar parámetros preconfigurados para las cargas de trabajo de IA y AA. En
GKE, también puedes usar
perfiles de Cloud Storage FUSE en GKE
con
StorageClassespreinstalado. Además, Cloud Storage FUSE aplica automáticamente la configuración predeterminada optimizada para tipos de máquinas de alto rendimiento. - Habilita los espacios de nombres jerárquicos: Para mejorar el acceso a los datos y la organización, crea buckets de Cloud Storage con espacios de nombres jerárquicos habilitados. Los espacios de nombres jerárquicos te permiten organizar los datos en una estructura de sistema de archivos, lo que mejora el rendimiento, ayuda a mantener la coherencia y simplifica la administración de las cargas de trabajo de IA y AA. Los espacios de nombres jerárquicos permiten QPS iniciales más altas y cambios de nombre de directorio atómicos rápidos.
- Habilita el almacenamiento en caché de archivos: El almacenamiento en caché de archivos acelera el acceso repetido a
los datos de entrenamiento con un directorio de nodos local para almacenar en caché los archivos que se leen
con frecuencia. Entregar lecturas repetidas desde un medio de caché reduce la latencia y
minimiza las operaciones de vuelta a Cloud Storage. En los tipos de máquinas con GPU
que tienen una SSD local, se usa automáticamente el directorio de la SSD local. Para los tipos de máquinas
que no incluyen SSD locales, como las TPU, puedes usar un
directorio de disco RAM,
como
/tmpfs. - Aumenta los valores de la caché de metadatos: Cloud Storage FUSE usa una caché de estadísticas para almacenar metadatos de objetos y la información de tipo de archivo y directorio, lo que mejora el rendimiento de las operaciones relacionadas con las búsquedas de metadatos.
- Prepropaga la caché de metadatos: La función de carga previa de metadatos permite
que el controlador CSI de Cloud Storage FUSE cargue de forma proactiva los metadatos pertinentes sobre
los objetos de tu bucket de Cloud Storage en las cachés de Cloud Storage FUSE. Este enfoque reduce las llamadas a Cloud Storage y es
especialmente beneficioso para las aplicaciones que acceden a conjuntos de datos grandes que tienen
muchos archivos, como las cargas de trabajo de entrenamiento de IA y AA. Para evitar interrupciones en la carga de trabajo, aumenta el límite de memoria del archivo adicional
gke-gcsfuse-metadata-prefetch. - Habilita el almacenamiento en caché de listas: El almacenamiento en caché de listas optimiza la creación de listas de directorios y archivos. Es especialmente beneficioso para las cargas de trabajo de entrenamiento de IA y AA, que suelen implicar el acceso y la creación de listas de directorios completos de forma repetida. El almacenamiento en caché de listas proporciona procesos de entrenamiento muy eficientes, ya que reduce la necesidad de acceder de forma repetida a las listas de directorios en la memoria de tu computadora.
Habilita las descargas paralelas: Las descargas paralelas aceleran la carga inicial del modelo recuperando varios fragmentos de forma simultánea en la caché de archivos local. Habilitar las descargas paralelas genera una carga de modelos más rápida y una mejor capacidad de respuesta durante la entrega. Cloud Storage FUSE habilita de forma automática las descargas paralelas cuando habilitas el almacenamiento en caché de archivos.
El perfil de entrega de Cloud Storage FUSE inhabilita la caché de archivos local para las cargas de trabajo que cargan modelos en la memoria de la GPU o TPU una vez y usa lecturas con búfer con Rapid Cache en la misma región. Usa la caché de archivos local con descargas paralelas cuando tu clúster de GKE y el bucket de Cloud Storage estén en regiones diferentes.
Habilita las escrituras de transmisión: Las escrituras de transmisión suben escrituras secuenciales para archivos nuevos, como puntos de control de modelos, directamente a Cloud Storage a medida que se escriben los datos, sin almacenar todo el archivo en un directorio temporal local primero. La versión más reciente de Cloud Storage FUSE habilita las escrituras de transmisión de forma predeterminada.
Configura recursos de contenedor sidecar de GKE: Para evitar que las restricciones de recursos obstaculicen el rendimiento o para anular un
LimitRangede espacio de nombres, puedes configurar los recursos del contenedor de sidecar.Activación de solo lectura: Debido a que las cargas de trabajo de entrenamiento suelen necesitar solo leer datos, configura el punto de activación como de solo lectura para obtener un rendimiento óptimo, en especial cuando usas el almacenamiento en caché de archivos. Esta configuración también ayuda a maximizar los beneficios de las optimizaciones en clústeres de gran escala y ayuda a evitar posibles inconsistencias en los datos.
Otras consideraciones sobre el rendimiento
Para conocer los principios y las recomendaciones de optimización del rendimiento específicos de las cargas de trabajo de IA y ML, consulta Perspectiva de IA y ML: Optimización del rendimiento en Well-Architected Framework.
¿Qué sigue?
- Más información:
- Descripción general de Cloud Storage FUSE.
- Acerca del controlador de CSI de Cloud Storage FUSE para GKE.
- Prácticas recomendadas para ajustar el rendimiento de Cloud Storage FUSE.
- Optimiza de forma manual el controlador de CSI de Cloud Storage FUSE para mejorar el rendimiento.
- Automatiza el ajuste de rendimiento con los perfiles de Cloud Storage FUSE.
- Descripción general de los servicios de almacenamiento para cargas de trabajo de IA y AA en AI Hypercomputer.
- Implementa lo siguiente:
- Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora Cloud Architecture Center.
Colaboradores
Autor: Samantha He | Escritora técnica
Otros colaboradores:
- Dean HildeBrand | Director técnico, oficina del director de Tecnología
- Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
- Marco Abela | Gerente de producto
- Sean Derrington | Gerente de grupo de productos, Almacenamiento