Übersicht über Advanced Compute Images

Für Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC) müssen Sie häufig ein benutzerdefiniertes Image erstellen, das zusätzliche Softwarepakete enthält und für eine optimale Leistung optimiert ist. Sie können jetzt Advanced Compute Images verwenden, um eine optimierte Umgebung für Ihre KI-/ML- oder HPC-Arbeitslasten einzurichten.

Advanced Compute Images bieten einen standardisierten Image-Stack für KI-/ML- und HPC-Infrastruktur. Mit diesen Images müssen Sie keine eigenen benutzerdefinierten Images für KI-/ML- und HPC-Arbeitslasten mehr manuell erstellen.

Vorteile

Advanced Compute Images bieten folgende Vorteile:

  • Compute-Instanzen, die standardmäßig für KI-/ML- oder HPC-Arbeitslasten bereit sind. Sie müssen die Leistung nicht manuell optimieren, Instanzneustarts verwalten, Slurm-Agents installieren oder die neuesten Google Cloud Updates für eng gekoppelte KI/ML- oder HPC-Arbeitslasten auf dem neuesten Stand halten.
  • Konsistente, reproduzierbare Leistung: Die Image-Standardisierung sorgt für eine konsistente, reproduzierbare Leistung auf Anwendungsebene.

Funktionen von Advanced Compute Images

Advanced Compute Images enthalten mehrere Konfigurationsebenen, um die Ausführung von KI-/ML- und HPC-Arbeitslasten zu unterstützen.

  • Betriebssystemkonfigurationen: Dazu gehören das Deaktivieren automatischer Updates, das Festlegen von HPC-optimierten ulimits, das Optimieren von Kernel-sysctl-Parametern und das Konfigurieren von Sicherheitseinstellungen wie SELinux.
  • Netzwerkoptimierung: Enthält die erforderlichen Skripts für die Netzwerkoptimierung, z. B. zum Aktivieren des Multi-Queue-Dienstes.
  • Google Cloud -Integration: Installiert und konfiguriert die Google Cloud CLI und den Ops-Agent.
  • Container-Tools: Installiert und konfiguriert die gesamte containerbezogene Software, einschließlich:
  • NVIDIA: Installiert die folgenden Tools:

  • MPI: Installiert die MPI-Bibliotheken (Message Passing Interface). Installiert Open MPI sowohl auf Ubuntu- als auch auf Rocky Linux-basierten Images. Für Rocky Linux-basierte Images können Sie die Intel MPI-Bibliothek auch mit einem vorinstallierten Script installieren und konfigurieren:

    sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI

  • Slurm: Installiert die Kernkomponenten, die zum Erstellen eines Slurm-Clusterknotens erforderlich sind, darunter:

    • Slurm-Binärdateien (Version 25.11 oder 26.05)
    • Munge für die Authentifizierung
    • PMIx für die Prozessverwaltung
    • JSON-Webtoken (JWT)-Bibliothek (libjwt)

  • Dateisystem-Clients: Installiert clientseitige Tools für den Zugriff auf verschiedene Dateisysteme, z. B. Cloud Storage FUSE, NFS-Dienstprogramme (nfs-utils) und den Lustre-Client.

  • Entwicklertools: Installiert gängige Toolchains und Dienstprogramme für Entwicklung und Fehlerbehebung, z. B.:

  • Umgebungsverwaltung: Installiert und konfiguriert Tools zur Umgebungsverwaltung, hauptsächlich Lmod, und richtet die erforderlichen Profilskripts ein, um den Modulbefehl für Nutzer verfügbar zu machen.

  • RDMA: Installiert RDMA-Treiber (Remote Direct Memory Access) und -Pakete auf CPU-Images (Rocky Linux-basiert), einschließlich:

    • rdma-core und Entwicklungsbibliotheken
    • libfabric
    • perftest
    • kmod-idpf-irdma: Intel Ethernet RDMA-Treiber für unterstützte computing-optimierte Maschinentypen
    • infiniband-diags, libibverbs und librdmacm Dienstprogramme

Unterstützte Hardware und Image-Familien

ACI unterstützt drei primäre Hardwareplattformen:

  • CPU (HPC): Unterstützt CPU-Arbeitslasten und hat die folgenden Merkmale:

    • Sind für rechenintensive Arbeitslasten optimiert
    • Unterstützung für Rocky Linux 8 und Rocky Linux 9
    • Mit vorintegrierten CUDA 13.2- und NVIDIA 595-Treibern
    • Enthalten RDMA-Treiber und ‑Dienstprogramme zur Unterstützung von Cloud RDMA
    • Enthalten vorintegrierte MPI-Bibliotheken, einschließlich Open MPI und konfigurierbarem Intel MPI

  • GPU (KI/ML/HPC): Unterstützen GPU-Arbeitslasten und haben die folgenden Merkmale:

    • Sind für NVIDIA-Beschleuniger optimiert
    • Unterstützung für Ubuntu LTS 22.04 und Ubuntu LTS 24.04
    • Vorintegrierte CUDA- und NVIDIA-Treiber
    • RDMA-Treiber und -Dienstprogramme zur Unterstützung von MRDMA für die GPU-zu-GPU-Kommunikation einbeziehen
    • Für KI-, ML- oder HPC-Arbeitslasten geeignet
    • Sind die Standard-Images, die installiert werden, wenn Sie Slurm-Cluster-Blueprints für A4X-, A4- und A3 Ultra-Maschinentypen im Cluster Toolkit bereitstellen.

  • TPU (KI/ML/HPC): Unterstützen TPU-Arbeitslasten und haben die folgenden Merkmale:

    • Für die Verwendung mit TPU v7x-Instanzen entwickelt
    • Optimiert für die Cloud TPU-Beschleuniger von Google
    • Unterstützung für Ubuntu LTS 24.04
    • Fügen Sie die erforderlichen Pakete zum Ausführen von Docker, Cloud Storage FUSE, Lustre-Client, gcloud CLI und dem Ops-Agent hinzu.

Advanced Compute Images für GPU-Instanzen

In der folgenden Tabelle sind die Advanced Compute Images aufgeführt, die für Arbeitslasten mit GPU-Beschleunigern entwickelt wurden.

Hardware Betriebssystem Orchestrator Features Architektur Unterstützte Maschinenserien Image-Familie
GPU Ubuntu LTS 24.04 Slurm 25.11
  • CUDA 13.0
  • NVIDIA 580
 AMD x86_64 A3 Ultra, A4 aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64
GPU Ubuntu LTS 24.04 Slurm 25.11
  • CUDA 13.0
  • NVIDIA 580
 Arm64 A4X aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-arm64
GPU Ubuntu LTS 24.04 Slurm 26.05
  • CUDA 13.2
  • NVIDIA 595
 AMD x86_64 A3 Ultra, A4 aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-amd64
GPU Ubuntu LTS 24.04 Slurm 26.05
  • CUDA 13.2
  • NVIDIA 595
 Arm64 A4X aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-arm64
GPU Ubuntu LTS 24.04 Keine
  • CUDA 13.0
  • NVIDIA 580
 AMD x86_64 A3 Ultra, A4 aci-gpu-u2404-cuda-130-nvidia-580-amd64
GPU Ubuntu LTS 22.04 Slurm 25.11
  • CUDA 13.0
  • NVIDIA 580
 AMD x86_64 A3 Ultra, A4 aci-gpu-u2204-slurm-2511-cuda-130-nvidia-580-amd64
GPU Ubuntu LTS 22.04 Keine
  • CUDA 13.0
  • NVIDIA 580
 AMD x86_64 A3 Ultra, A4 aci-gpu-u2204-cuda-130-nvidia-580-amd64

Advanced Compute Images für CPU-Instanzen

In der folgenden Tabelle sind die Advanced Compute Images aufgeführt, die für CPU-basierte Arbeitslasten entwickelt wurden.

Hardware Betriebssystem Orchestrator Features Architektur Unterstützte Maschinenserien Image-Familie
CPU Rocky Linux 9 Keine
  • RDMA
  • OpenMPI,IntelMPI
  • CUDA 13.2
  • NVIDIA 595
 Intel und AMD x86_64 C2D, H3, H4D aci-cpu-rocky-linux-9-amd64
CPU Rocky Linux 8 Keine
  • RDMA
  • OpenMPI,IntelMPI
  • CUDA 13.2
  • NVIDIA 595
 Intel und AMD x86_64 C2D, H3, H4D aci-cpu-rocky-linux-8-amd64
CPU Rocky Linux 9 Slurm 26.05
  • RDMA
  • MPI
  • CUDA 13.2
  • NVIDIA 595
 Intel oder AMD x86_64 C2D, H3, H4D aci-cpu-rocky-linux-9-slurm-2605-amd64
CPU Rocky Linux 8 Slurm 26.05
  • RDMA
  • MPI
  • CUDA 13.2
  • NVIDIA 595
 Intel oder AMD x86_64 C2D, H3, H4D aci-cpu-rocky-linux-8-slurm-2605-amd64

Advanced Compute Images für TPU-Instanzen

In der folgenden Tabelle sind die Advanced Compute Images aufgeführt, die für Arbeitslasten mit TPU-Beschleunigern entwickelt wurden.

Hardware Betriebssystem Orchestrator Features Architektur Unterstützte Maschinenserien Image-Familie
TPU Ubuntu LTS 24.04 Slurm 26.05
  • NVIDIA Pyxis
  • Cloud Storage FUSE
  • Lustre-Client, gcloud CLI, Ops-Agent-Unterstützung
 AMD x86_64 TPU v7x ubuntu-accel-2404-amd64-tpu-tpu7x

Vorinstallierte Pakete (oder RPMs)

Advanced Compute Images enthalten eine Vielzahl von vorinstallierten Tools, Bibliotheken, Treibern und Paketen. Eine Liste der für ein Image installierten Elemente finden Sie in der Manifestdatei für dieses Image.

Die Manifestdatei finden Sie unter /usr/share/google/manifest.txt.

Lebenszyklusphasen und Support für Image-Familien

Alle Advanced Compute Images-Familien folgen einem standardisierten Lebenszyklus, um Sicherheit, Stabilität und vorhersehbare Wartungspläne zu gewährleisten. In jeder Phase des Lebenszyklus hat eine Image-Familie einen der folgenden Supportstatus:

  • Unterstützt:
    • Erhält wichtige Sicherheitsupdates und Fehlerkorrekturen
    • Unterstützt durch Cloud Customer Care.
    • Kann zum Erstellen von Compute-Instanzen verwendet werden.
  • Nicht unterstützt:
    • Es erhält keine wichtigen Sicherheitsupdates oder Fehlerkorrekturen mehr.
    • Keine neuen Funktionen.
    • Nicht über den Kundendienst unterstützt.
    • Kann nicht zum Erstellen von Compute-Instanzen verwendet werden.

Der Lebenszyklus einer Advanced Compute Images-Familie besteht aus vier Phasen:

Lebenszyklus-Phase Unterstützt? Beschreibung und Auswirkungen
Aktiv Unterstützt Für neue Bereitstellungen empfohlen. Die Image-Familie wird 12 Monate nach dem Releasedatum vollständig unterstützt. Erhält wichtige Sicherheitsupdates und Fehlerkorrekturen.
Eingestellt (EOS-Datum) Nicht unterstützt Wir empfehlen, zu einer unterstützten Image-Familie zu migrieren. Etwa sechs Monate nach dem Ende der aktiven Phase wird die Image-Familie verworfen. Es werden keine neuen Funktionen oder Patches veröffentlicht. Google Cloud -Console- und gcloud CLI-Warnungen werden angezeigt, wenn Sie Instanzen erstellen, die diese Image-Familie verwenden.
Veraltet Nicht unterstützt Nach dem Ende der Phase „Verworfen“ wird die Image-Familie eingestellt. Sie können mit dieser Image-Familie keine Compute-Instanzen mehr erstellen. Vorhandene Compute-Instanzen werden weiterhin ausgeführt, es besteht jedoch das Risiko einer Inkompatibilität mit dem Slurm-Controller.
Löschen Nicht unterstützt Drei Monate, nachdem eine Image-Familie veraltet ist, wird die zugrunde liegende Advanced Compute Images-Image-Ressource endgültig gelöscht. Vorhandene Compute-Instanzen werden weiterhin ausgeführt, es besteht jedoch das Risiko von Inkompatibilität mit dem Slurm-Controller und von Sicherheitslücken.

Informationen zu den genauen Daten für das Ende des Supports für eine Image-Familie finden Sie unter Unterstützte Hardware und Image-Familien.

Preise

Advanced Compute Images sind ohne zusätzliche Kosten verfügbar. Da Advanced Compute Images in der Compute Engine ausgeführt werden, können Gebühren für Compute Engine-Ressourcen wie vCPUs, GPUs, TPUs, Laufwerke und Arbeitsspeicher anfallen. Weitere Informationen finden Sie unter Preise für Compute Engine.

Nächste Schritte