Las cargas de trabajo de inteligencia artificial (IA), aprendizaje automático (AA) y computación de alto rendimiento (HPC) a menudo requieren que crees una imagen personalizada que incluya paquetes de software adicionales y esté optimizada para un rendimiento óptimo. Ahora puedes usar Advanced Compute Images para configurar un entorno optimizado para tus cargas de trabajo de IA/AA o HPC.
Las imágenes de Advanced Compute proporcionan una pila de imágenes estandarizada para la infraestructura de IA/AA y HPC. Estas imágenes pueden eliminar la necesidad de compilar manualmente tus propias imágenes personalizadas para cargas de trabajo de IA/AA y HPC.
Beneficios
Las Advanced Compute Images proporcionan los siguientes beneficios:
- Instancias de procesamiento listas para cargas de trabajo de IA/AA o HPC de forma predeterminada No es necesario ajustar el rendimiento de forma manual, administrar los reinicios de instancias, instalar agentes de Slurm ni mantenerse al día con las últimas Google Cloud actualizaciones para las cargas de trabajo de IA/AA o HPC estrechamente acopladas.
- Rendimiento coherente y reproducible. La estandarización de imágenes te brinda un rendimiento coherente y reproducible a nivel de la aplicación.
Funciones de las Advanced Compute Images
Las imágenes de Advanced Compute contienen varias capas de configuraciones para admitir la ejecución de cargas de trabajo de IA/AA y HPC.
- Configuraciones del sistema operativo: Incluye la inhabilitación de las actualizaciones automáticas, la configuración de ulimits optimizados para HPC, el ajuste de los parámetros sysctl del kernel y la configuración de parámetros de seguridad como SELinux.
- Ajuste de red: Contiene las secuencias de comandos necesarias para el ajuste de red, como la habilitación del servicio de múltiples filas.
- Google Cloud integration: Instala y configura Google Cloud CLI y el Agente de operaciones.
- Herramientas de contenedores: Instala y configura todo el software relacionado con contenedores, incluidos los siguientes elementos:
- Docker
- NVIDIA Container Toolkit (versión 1.19.0-1)
- NVIDIA Enroot
- NVIDIA Pyxis
- NVIDIA: Instala las siguientes herramientas:
- Versión NVIDIA CUDA Toolkit 13.0
- NVIDIA Data Center GPU Manager (DCGM), versión 4
- NVIDIA Fabric Manager
- Complemento de NCCL/gIB
MPI: Instala las bibliotecas de la interfaz de paso de mensajes (MPI). Instala Open MPI en imágenes basadas en Ubuntu y en Rocky Linux. En el caso de las imágenes basadas en Rocky Linux, también puedes instalar y configurar la biblioteca de Intel MPI con una secuencia de comandos preinstalada:
sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
Slurm: Instala los componentes principales necesarios para crear un nodo de clúster de Slurm, incluidos los siguientes:
- Objetos binarios de Slurm (versión 25.11)
- Munge para la autenticación
- PMIx para la administración de procesos
- Biblioteca de tokens web JSON (JWT) (
libjwt)
Clientes del sistema de archivos: Instala herramientas del cliente para acceder a varios sistemas de archivos, como Cloud Storage FUSE, utilidades de NFS (
nfs-utils) y el cliente de Lustre.Herramientas para desarrolladores: Instala cadenas de herramientas y utilidades comunes de desarrollo y depuración, como las siguientes:
Administración del entorno: Instala y configura herramientas de administración del entorno, principalmente Lmod, y configura las secuencias de comandos de perfil necesarias para que el comando del módulo esté disponible para los usuarios.
RDMA: Instala controladores y paquetes de acceso directo a memoria remota (RDMA) en imágenes de CPU (basadas en Rocky Linux), incluidos los siguientes:
rdma-corey bibliotecas de desarrollolibfabricperftestkmod-idpf-irdma: Controlador RDMA de Intel Ethernet para tipos de máquinas optimizados para procesamiento compatibles- Utilidades de
infiniband-diags,libibverbsylibrdmacm
Hardware y familias de imágenes compatibles
La ACI admite dos plataformas de hardware principales:
CPU (HPC): Admiten cargas de trabajo de CPU y tienen las siguientes características:
- Están optimizados para cargas de trabajo de procesamiento intensivo.
- Compatibilidad con Rocky Linux 9
- Incluyen controladores y utilidades de RDMA para admitir Cloud RDMA
- Incluyen bibliotecas de MPI preintegradas, como Open MPI y la biblioteca Intel MPI configurable.
GPU (IA/AA/HPC): Admiten cargas de trabajo de GPU y tienen las siguientes características:
- Están optimizadas para los aceleradores de NVIDIA
- Se agregó compatibilidad con Ubuntu LTS 22.04 y Ubuntu LTS 24.04
- Vienen con controladores CUDA y NVIDIA preintegrados
- Incluye controladores y utilidades de RDMA para admitir MRDMA para la comunicación de GPU a GPU
- Son adecuados para cargas de trabajo de IA, AA o HPC.
- ¿Se instalan las imágenes predeterminadas cuando implementas plantillas de clúster de Slurm para los tipos de máquinas A4X, A4 y A3 Ultra en Cluster Toolkit?
| Hardware | SO | Organizador | Funciones | Arquitectura | Serie de máquinas compatible | Familia de imágenes |
|---|---|---|---|---|---|---|
| CPU | Rocky Linux 9 | ninguno |
|
AMD x86_64 | C2D, H3 y H4D | aci-cpu-rocky-linux-9-amd64 |
| CPU | Rocky Linux 8 | ninguno |
|
AMD x86_64 | C2D, H3 y H4D | aci-cpu-rocky-linux-8-amd64 |
| CPU | Rocky Linux 9 | Slurm 25.11 |
|
AMD x86_64 | C2D, H3 y H4D | aci-cpu-rocky-linux-9-slurm-2511-amd64 |
| GPU | LTS de Ubuntu 24.04 | Slurm 25.11 |
|
AMD x86_64 | A3 Ultra y A4 | aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 |
| GPU | LTS de Ubuntu 24.04 | Slurm 25.11 |
|
ARM64 | A4X | aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-arm64 |
| GPU | LTS de Ubuntu 24.04 | Slurm 26.05 |
|
AMD x86_64 | A3 Ultra y A4 | aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-amd64 |
| GPU | LTS de Ubuntu 24.04 | Slurm 26.05 |
|
ARM64 | A4X | aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-arm64 |
| GPU | LTS de Ubuntu 24.04 | ninguno |
|
AMD x86_64 | A3 Ultra y A4 | aci-gpu-u2404-cuda-130-nvidia-580-amd64 |
| GPU | LTS de Ubuntu 22.04 | Slurm 25.11 |
|
AMD x86_64 | A3 Ultra y A4 | aci-gpu-u2204-slurm-2511-cuda-130-nvidia-580-amd64 |
| GPU | LTS de Ubuntu 22.04 | ninguno |
|
AMD x86_64 | A3 Ultra y A4 | aci-gpu-u2204-cuda-130-nvidia-580-amd64 |
Paquetes preinstalados (o RPM)
Las imágenes de Advanced Compute incluyen una variedad de herramientas, bibliotecas, controladores y paquetes preinstalados. Para ver una lista de lo que está instalado en cualquier imagen, consulta el archivo de manifiesto de esa imagen.
Puedes encontrar el archivo de manifiesto en /usr/share/google/manifest.txt.
Fases del ciclo de vida y asistencia de la familia de imágenes
Todas las familias de imágenes de procesamiento avanzadas siguen un ciclo de vida estandarizado para garantizar la seguridad, la estabilidad y los programas de mantenimiento predecibles. Durante cada fase del ciclo de vida, una familia de imágenes tiene uno de los siguientes estados de compatibilidad:
- Compatible:
- Recibe actualizaciones de seguridad y correcciones de errores importantes
- Se ofrece asistencia a través de la Atención al cliente de Cloud.
- Se puede usar para crear instancias de procesamiento.
- No compatible:
- Ya no recibe actualizaciones de seguridad críticas ni correcciones de errores.
- No hay funciones nuevas.
- No se admite a través de la Atención al cliente de Cloud.
- No se puede usar para crear instancias de procesamiento.
El ciclo de vida de una familia de imágenes de Advanced Compute consta de cuatro fases:
| Fase del ciclo de vida | Estado de compatibilidad | Descripción y efecto |
|---|---|---|
| Activo | Admitido | Se recomienda para las implementaciones nuevas. La familia de imágenes se admite por completo durante 12 meses después de la fecha de lanzamiento. Recibe actualizaciones de seguridad críticas y correcciones de errores. |
| Obsoleto (fecha de EOS) | No compatible | Te recomendamos que migres a una familia de imágenes compatible. Durante aproximadamente seis meses después de que finaliza la fase activa, la familia de imágenes deja de estar disponible. No se lanzan funciones ni parches nuevos. Aparecen advertencias en la consola de Google Cloud y en Google Cloud CLI cuando creas instancias que usan esta familia de imágenes. |
| Obsoleto | No compatible | Una vez que finaliza la fase de baja, la familia de imágenes queda obsoleta. Ya no puedes crear instancias de procesamiento con esta familia de imágenes. Las instancias de procesamiento existentes siguen ejecutándose, pero existe el riesgo de incompatibilidad con el controlador de Slurm. |
| Eliminación | No compatible | Tres meses después de que una familia de imágenes quede obsoleta, se borra de forma permanente el recurso de imagen subyacente de las imágenes de Advanced Compute Images. Las instancias de procesamiento existentes siguen ejecutándose, pero corren el riesgo de ser incompatibles con el controlador de Slurm y de tener vulnerabilidades. |
Para obtener información sobre las fechas exactas de fin de la compatibilidad de una familia de imágenes, consulta Hardware y familias de imágenes compatibles.
Precios
Las imágenes de Compute avanzadas están disponibles sin costo adicional. Dado que las imágenes de Advanced Compute se ejecutan en Compute Engine, es posible que se generen cargos por los recursos de Compute Engine, como CPUs virtuales, GPUs, TPUs, discos y memoria. Para obtener más información, consulta los precios de Compute Engine.
¿Qué sigue?
- Crea una instancia con Advanced Compute Images
Aprende a implementar planos de clústeres de Slurm listos para usar con imágenes de Advanced Compute: