Las cargas de trabajo de inteligencia artificial (IA), aprendizaje automático (AA) y computación de alto rendimiento (HPC) suelen requerir que crees una imagen personalizada que incluya paquetes de software adicionales y que esté ajustada para un rendimiento óptimo. Ahora puedes usar Advanced Compute Images para configurar un entorno optimizado para tus cargas de trabajo de IA/AA o HPC.
Advanced Compute Images proporciona una pila de imágenes estandarizada para la infraestructura de IA/AA y HPC. Estas imágenes pueden eliminar la necesidad de compilar manualmente tus propias imágenes personalizadas para cargas de trabajo de IA/AA y HPC.
Beneficios
Las imágenes de Advanced Compute Images proporcionan los siguientes beneficios:
- Instancias de procesamiento listas para cargas de trabajo de IA/AA o HPC de forma predeterminada. No es necesario ajustar el rendimiento de forma manual, administrar los reinicios de las instancias, instalar agentes de Slurm ni mantenerse al día con las actualizaciones más recientes de Google Cloud para las cargas de trabajo de IA/AA o HPC con acoplamiento alto.
- Rendimiento coherente y reproducible. La estandarización de imágenes te brinda un rendimiento coherente y reproducible a nivel de la aplicación.
Funciones de Advanced Compute Images
Las imágenes de Advanced Compute Images contienen varias capas de configuración para admitir la ejecución de cargas de trabajo de IA/AA y HPC.
- Configuraciones del sistema operativo: Incluye inhabilitar las actualizaciones automáticas, establecer ulimits optimizados para HPC, ajustar los parámetros sysctl del kernel y establecer la configuración de seguridad, como SELinux.
- Ajuste de red: Contiene las secuencias de comandos necesarias para el ajuste de red, como la habilitación del servicio de varias colas.
- Integración deGoogle Cloud : Instala y configura Google Cloud CLI y el Agente de operaciones.
- Herramientas de contenedor: Instala y configura todo el software relacionado con contenedores,
incluido lo siguiente:
- Docker
- NVIDIA Container Toolkit (versión 1.19.0-1)
- NVIDIA Enroot
- NVIDIA Pyxis
- NVIDIA: Instala las siguientes herramientas:
- Versión 13.0 o 13.2 del kit de herramientas de NVIDIA CUDA
- Controladores de NVIDIA (versión 580 o 595)
- Administrador de GPU del centro de datos de NVIDIA (DCGM) versión 4
- NVIDIA Fabric Manager
- Complemento de NCCL/gIB
MPI: Instala las bibliotecas de la interfaz de paso de mensajes (MPI). Instala Open MPI en imágenes basadas en Ubuntu y Rocky Linux. Para las imágenes basadas en Rocky Linux, también puedes instalar y configurar la biblioteca de Intel MPI con una secuencia de comandos preinstalada:
sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
Slurm: Instala los componentes principales necesarios para crear un nodo de clúster de Slurm, incluidos los siguientes:
- Objetos binarios de Slurm (versión 25.11 o 26.05)
- Munge para la autenticación
- PMIx para la administración de procesos
- Biblioteca de token web JSON (JWT) (
libjwt)
Clientes del sistema de archivos: Instala herramientas del cliente para acceder a varios sistemas de archivos, como Cloud Storage FUSE, utilidades de NFS (
nfs-utils) y el cliente de Lustre.Herramientas para desarrolladores: Instala cadenas de herramientas y utilidades comunes de desarrollo y depuración, como las siguientes:
Administración del entorno: Instala y configura herramientas de administración del entorno, principalmente Lmod, y configura las secuencias de comandos de perfil necesarias para que el comando del módulo esté disponible para los usuarios.
RDMA: Instala controladores y paquetes de acceso directo a la memoria remoto (RDMA) en imágenes de CPU (basadas en Rocky Linux), incluidas las siguientes:
rdma-corey bibliotecas de desarrollolibfabricperftestkmod-idpf-irdma: Controlador de RDMA de Intel Ethernet para los tipos de máquinas optimizados para procesamiento compatibles- Utilidades de
infiniband-diags,libibverbsylibrdmacm
Hardware y familias de imágenes compatibles
ACI admite tres plataformas de hardware principales:
CPU (HPC): Admiten cargas de trabajo de CPU y tienen las siguientes características:
- Están optimizados para cargas de trabajo de procesamiento intensivo.
- Compatibilidad con Rocky Linux 8 y Rocky Linux 9
- Incluyen controladores CUDA 13.2 y NVIDIA 595 preintegrados
- Incluyen controladores y utilidades de RDMA para admitir Cloud RDMA.
- Incluyen bibliotecas de MPI preintegradas, como Open MPI e Intel MPI configurable.
GPU (IA/AA/HPC): Admiten cargas de trabajo de GPU y tienen las siguientes características:
- Están optimizados para los aceleradores de NVIDIA.
- Compatibilidad con Ubuntu LTS 22.04 y Ubuntu LTS 24.04
- Incluyen controladores CUDA y NVIDIA preintegrados.
- Incluye controladores y utilidades de RDMA para admitir MRDMA en la comunicación de GPU a GPU
- Son adecuadas para cargas de trabajo de IA, AA o HPC.
- Son las imágenes predeterminadas que se instalan cuando implementas esquemas de clústeres de Slurm para los tipos de máquinas A4X, A4 y A3 Ultra en Cluster Toolkit.
TPU (IA/AA/HPC): Admiten cargas de trabajo de TPU y tienen las siguientes características:
- Diseñado para usarse con instancias de TPU v7x
- Optimizado para los aceleradores de Cloud TPU de Google
- Compatibilidad con Ubuntu LTS 24.04
- Incluye los paquetes necesarios para ejecutar Docker, Cloud Storage FUSE, el cliente de Lustre, gcloud CLI y el Agente de operaciones.
Advanced Compute Images para instancias de GPU
En la siguiente tabla, se enumeran las imágenes de Advanced Compute Images diseñadas para cargas de trabajo que usan aceleradores de GPU.
| Hardware | SO | Organizador | Funciones | Arquitectura | Serie de máquinas compatible | Familia de imágenes |
|---|---|---|---|---|---|---|
| GPU | Ubuntu LTS 24.04 | Slurm 25.11 |
|
AMD x86_64 | A3 Ultra, A4 | aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 |
| GPU | Ubuntu LTS 24.04 | Slurm 25.11 |
|
ARM64 | A4X | aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-arm64 |
| GPU | Ubuntu LTS 24.04 | Slurm 26.05 |
|
AMD x86_64 | A3 Ultra, A4 | aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-amd64 |
| GPU | Ubuntu LTS 24.04 | Slurm 26.05 |
|
ARM64 | A4X | aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-arm64 |
| GPU | Ubuntu LTS 24.04 | ninguno |
|
AMD x86_64 | A3 Ultra, A4 | aci-gpu-u2404-cuda-130-nvidia-580-amd64 |
| GPU | Ubuntu LTS 22.04 | Slurm 25.11 |
|
AMD x86_64 | A3 Ultra, A4 | aci-gpu-u2204-slurm-2511-cuda-130-nvidia-580-amd64 |
| GPU | Ubuntu LTS 22.04 | ninguno |
|
AMD x86_64 | A3 Ultra, A4 | aci-gpu-u2204-cuda-130-nvidia-580-amd64 |
Advanced Compute Images para instancias de CPU
En la siguiente tabla, se enumeran las imágenes de Advanced Compute Images diseñadas para cargas de trabajo basadas en CPU.
| Hardware | SO | Organizador | Funciones | Arquitectura | Serie de máquinas compatible | Familia de imágenes |
|---|---|---|---|---|---|---|
| CPU | Rocky Linux 9 | ninguno |
|
Intel y AMD x86_64 | C2D, H3, H4D | aci-cpu-rocky-linux-9-amd64 |
| CPU | Rocky Linux 8 | ninguno |
|
Intel y AMD x86_64 | C2D, H3, H4D | aci-cpu-rocky-linux-8-amd64 |
| CPU | Rocky Linux 9 | Slurm 26.05 |
|
Intel o AMD x86_64 | C2D, H3, H4D | aci-cpu-rocky-linux-9-slurm-2605-amd64 |
| CPU | Rocky Linux 8 | Slurm 26.05 |
|
Intel o AMD x86_64 | C2D, H3, H4D | aci-cpu-rocky-linux-8-slurm-2605-amd64 |
Advanced Compute Images para instancias de TPU
En la siguiente tabla, se enumeran las imágenes de Advanced Compute Images diseñadas para cargas de trabajo que usan aceleradores de TPU.
| Hardware | SO | Organizador | Funciones | Arquitectura | Serie de máquinas compatible | Familia de imágenes |
|---|---|---|---|---|---|---|
| TPU | Ubuntu LTS 24.04 | Slurm 26.05 |
|
AMD x86_64 | TPU v7x | ubuntu-accel-2404-amd64-tpu-tpu7x |
Paquetes preinstalados (o RPM)
Las imágenes de Advanced Compute Images incluyen una variedad de herramientas, bibliotecas, controladores y paquetes preinstalados. Para ver una lista de lo que se instaló en cualquier imagen, consulta el archivo de manifiesto de esa imagen.
Puedes encontrar el archivo de manifiesto en /usr/share/google/manifest.txt.
Fases del ciclo de vida de la familia de imágenes y asistencia
Todas las familias de Advanced Compute Images siguen un ciclo de vida estandarizado para garantizar la seguridad, la estabilidad y los programas de mantenimiento predecibles. Durante cada fase del ciclo de vida, una familia de imágenes tiene uno de los siguientes estados de asistencia:
- Compatibles:
- Recibe actualizaciones de seguridad y correcciones de errores críticas
- Se admite a través de la Atención al cliente de Cloud.
- Se puede usar para crear instancias de procesamiento.
- No admitido:
- Ya no recibe actualizaciones de seguridad críticas ni correcciones de errores.
- No hay funciones nuevas.
- No se admite a través de la Atención al cliente.
- No se puede usar para crear instancias de procesamiento.
El ciclo de vida de una familia de Advanced Compute Images consta de cuatro fases:
| Fase del ciclo de vida | Estado de compatibilidad | Descripción y efecto |
|---|---|---|
| Activo | Admitido | Se recomienda para implementaciones nuevas. Durante los 12 meses posteriores a la fecha de lanzamiento, la familia de imágenes es totalmente compatible. Recibe actualizaciones de seguridad críticas y correcciones de errores. |
| Obsoleto (fecha de EOS) | No compatible | Te recomendamos que migres a una familia de imágenes compatible. Durante aproximadamente seis meses después de que finaliza la fase activa, la familia de imágenes queda obsoleta. No se lanzan funciones ni parches nuevos. Google Cloud Aparecen advertencias de la consola y de gcloud CLI cuando creas instancias que usan esta familia de imágenes. |
| Obsoleto | No compatible | Una vez que finaliza la fase de baja, la familia de imágenes se vuelve obsoleta. Ya no puedes crear instancias de procesamiento con esta familia de imágenes. Las instancias de procesamiento existentes siguen ejecutándose, pero corren el riesgo de incompatibilidad con el controlador de Slurm. |
| Eliminación | No compatible | Tres meses después de que una familia de imágenes se vuelve obsoleta, el recurso de imagen de Advanced Compute Images subyacente se borra de forma permanente. Las instancias de procesamiento existentes siguen ejecutándose, pero corren el riesgo de incompatibilidad con el controlador de Slurm y de vulnerabilidades. |
Para obtener información sobre las fechas exactas de finalización de la asistencia para una familia de imágenes, consulta Hardware y familias de imágenes compatibles.
Precios
Las imágenes de Advanced Compute Images están disponibles sin costo adicional. Debido a que las imágenes de Advanced Compute Images se ejecutan en Compute Engine, es posible que se generen cargos por los recursos de Compute Engine, como CPUs virtuales, GPUs, TPUs, discos y memoria. Para obtener más información, consulta los precios de Compute Engine.
¿Qué sigue?
- Crea una instancia con Advanced Compute Images
Aprende a implementar esquemas de clústeres de Slurm listos para usar con Advanced Compute Images: