Esecuzione di istanze con acceleratori GPU

Questa pagina descrive come utilizzare gli acceleratori hardware delle unità di elaborazione grafica (GPU) NVIDIA sulle istanze di macchine virtuali (VM) Container-Optimized OS.

Panoramica

Utilizzando Compute Engine, puoi creare istanze VM che eseguono Container-Optimized OS con GPU collegate. Quando esegui GPU su Compute Engine, puoi utilizzare solo due famiglie di macchine: ottimizzate per l'acceleratore e per uso generico N1.

  • Per i tipi di macchine ottimizzate per l'acceleratore, ogni tipo di macchina ha un modello specifico di GPU NVIDIA collegato.

    • Ai tipi di macchine A4 ottimizzate per l'acceleratore, GPU NVIDIA B200 sono collegate.
    • Ai tipi di macchine A3 Ultra ottimizzate per l'acceleratore, GPU NVIDIA H200 da 141 GB sono collegate.
    • Ai tipi di macchine A3 ottimizzate per l'acceleratore, GPU NVIDIA H100 da 80 GB sono collegate.
    • Ai tipi di macchine A2 ottimizzate per l'acceleratore, GPU NVIDIA A100 sono collegate. Sono disponibili sia nelle opzioni A100 da 40 GB che A100 da 80 GB.
    • Ai tipi di macchine G2 ottimizzate per l'acceleratore, GPU NVIDIA L4 sono collegate.

  • Per i tipi di macchine per uso generico N1, puoi collegare le seguenti GPU:

Le GPU forniscono potenza di calcolo per eseguire attività di deep learning come il riconoscimento delle immagini e l'elaborazione del linguaggio naturale, nonché altre attività a elevato utilizzo di risorse di calcolo come la transcodifica video e l'elaborazione delle immagini.

Google Cloud offre un'esperienza fluida per l'esecuzione dei carichi di lavoro GPU all'interno dei container sulle istanze VM Container-Optimized OS, in modo da poter usufruire di altre funzionalità di Container-Optimized OS come sicurezza e affidabilità.

Per saperne di più sui casi d'uso delle GPU, consulta Cloud GPU.

Per scoprire come utilizzare le GPU su Google Kubernetes Engine (GKE), consulta Esecuzione di GPU su GKE.

Requisiti

L'esecuzione di GPU sulle istanze VM Container-Optimized OS presenta i seguenti requisiti:

  • Immagini Container-Optimized OS x86: solo le immagini Container-Optimized OS basate su x86 supportano l'esecuzione di GPU. Le immagini Container-Optimized OS basate su Arm non supportano la funzionalità.

  • Versione di Container-Optimized OS: per eseguire GPU sulle istanze VM Container-Optimized OS, il traguardo di rilascio di Container-Optimized OS deve essere un traguardo LTS e il numero del traguardo deve essere 85 o superiore.

  • Quota di GPU: prima di poter creare istanze VM Container-Optimized OS con GPU, devi disporre della quota di GPU di Compute Engine nella zona scelta. Per assicurarti di disporre di una quota di GPU sufficiente nel tuo progetto, consulta Quote nella Google Cloud console.

    Se hai bisogno di una quota di GPU aggiuntiva, devi richiederla nella Google Cloud console. Se hai un account di fatturazione stabilito, il tuo progetto riceve automaticamente la quota di GPU dopo l'invio della richiesta di quota.

  • Driver GPU NVIDIA: devi installare autonomamente i driver GPU NVIDIA sulle istanze VM Container-Optimized OS. Questa sezione spiega come installare i driver sulle istanze VM Container-Optimized OS.

Crea una VM

Le sezioni seguenti spiegano come eseguire le GPU sulle VM Container-Optimized OS.

Innanzitutto, devi disporre di un'istanza VM Container-Optimized OS con GPU. Il metodo utilizzato per creare una VM dipende dal modello di GPU selezionato.

Puoi anche aggiungere GPU alle istanze VM Container-Optimized OS esistenti.

Quando crei le VM, ricordati di scegliere immagini o famiglie di immagini dal progetto di immagini cos-cloud.

Per controllare tutte le GPU collegate alle istanze VM Container-Optimized OS correnti, esegui il seguente comando:

gcloud compute instances describe INSTANCE_NAME \
    --project=PROJECT_ID \
    --zone ZONE \
    --format="value(guestAccelerators)"

Sostituisci quanto segue:

  • INSTANCE_NAME: il nome della nuova istanza VM.
  • PROJECT_ID: l'ID progetto.
  • zone: la zona dell'istanza VM.

Installa i driver di dispositivo GPU NVIDIA

Dopo aver creato un'istanza con una o più GPU, il sistema richiede i driver di dispositivo per consentire alle applicazioni di accedere al dispositivo. Questa guida illustra i modi per installare i driver proprietari NVIDIA sulle istanze VM Container-Optimized OS.

Container-Optimized OS fornisce un'utilità integrata cos-extensions per semplificare la procedura di installazione dei driver NVIDIA. Eseguendo l'utilità, gli utenti accettano il Contratto di licenza NVIDIA.

Identifica le versioni dei driver GPU

Ogni versione dell'immagine Container-Optimized OS ha un elenco di versioni dei driver GPU NVIDIA supportate per ogni tipo di GPU, insieme a un driver predefinito per ogni tipo. Per un elenco completo delle versioni supportate, consulta le note di rilascio dei principali traguardi LTS di Container-Optimized OS.

Puoi anche controllare tutte le versioni dei driver GPU supportate dalla GPU sull'istanza VM Container-Optimized OS eseguendo il seguente comando:

sudo cos-extensions list

Identifica la versione del toolkit CUDA richiesta

Se le tue applicazioni utilizzano CUDA, installa il toolkit CUDA di NVIDIA nei container. Ogni versione di CUDA richiede una versione minima del driver GPU o una versione successiva. Per controllare la versione minima del driver GPU richiesta per la tua versione di CUDA, consulta Toolkit CUDA e versioni dei driver compatibili. Assicurati che la versione di Container-Optimized OS che stai utilizzando abbia la versione del driver GPU corretta per la versione di CUDA che stai utilizzando.

Installa il driver

Puoi installare le GPU utilizzando i comandi della shell, gli script di avvio o cloud-init. Tutti e tre i metodi utilizzano il comando sudo cos-extensions install gpu per installare il driver GPU predefinito per la versione LTS di Container-Optimized OS.

Shell

Dopo aver eseguito la connessione alle istanze VM Container-Optimized OS, puoi eseguire manualmente il seguente comando per installare i driver:

sudo cos-extensions install gpu

Script di avvio

Puoi anche installare i driver GPU tramite gli script di avvio. Puoi fornire lo script di avvio quando crei istanze VM o applicare lo script alle istanze VM in esecuzione e poi riavviare le VM. In questo modo puoi installare i driver senza connetterti alle VM. Inoltre, assicura che i driver GPU siano configurati a ogni riavvio della VM.

Di seguito è riportato un esempio di script di avvio per installare i driver:

#! /bin/bash

sudo cos-extensions install gpu

Cloud-init

Cloud-init è simile agli script di avvio, ma più potente. L'esempio seguente mostra come installare il driver GPU tramite cloud-init:

#cloud-config

runcmd:
  - cos-extensions install gpu

L'utilizzo di cloud-init consente di specificare le dipendenze in modo che le applicazioni GPU vengano eseguite solo dopo l'installazione del driver. Per maggiori dettagli, consulta la sezione Esecuzione end-to-end: esecuzione di un'applicazione GPU su Container-Optimized OS.

Per saperne di più su come utilizzare cloud-init sulle istanze VM Container-Optimized OS, consulta la pagina Creazione e configurazione delle istanze.

In alcuni casi, il driver predefinito incluso in Container-Optimized OS non soddisfa i requisiti minimi del driver del toolkit CUDA o del modello di GPU. Consulta la sezione Versioni dei driver NVIDIA richieste per i requisiti di versione per tipi specifici di GPU.

Per installare una versione specifica del driver GPU, esegui il seguente comando:

sudo cos-extensions install gpu -- -version=DRIVER_VERSION

Sostituisci DRIVER_VERSION con una delle seguenti opzioni:

  • default: installa il driver predefinito designato dalla release di Container-Optimized OS. Questa versione riceve correzioni di bug e aggiornamenti di sicurezza.
  • latest: installa il driver più recente disponibile nella release di Container-Optimized OS. Tieni presente che questa operazione potrebbe introdurre modifiche alla compatibilità a causa di potenziali aggiornamenti della versione principale nelle release di COS.
  • Versione completa: utilizza questa opzione per eseguire il pinning a una versione specifica per i carichi di lavoro sensibili alle modifiche dei driver. Ad esempio, specifica la versione 535.183.01.
  • Branch del driver NVIDIA: installa il driver stabile più recente all'interno di un branch NVIDIA specifico per rimanere aggiornato con gli aggiornamenti di sicurezza e le correzioni di bug all'interno di quel branch. Ad esempio, specifica il branch R535. Questa opzione è disponibile a partire da cos-gpu-installer:v2.2.1.

Per visualizzare le versioni disponibili per ciascuna di queste opzioni, esegui il comando per identificare le versioni dei driver GPU.

Passa i parametri ai moduli kernel

Puoi passare parametri specifici al modulo kernel NVIDIA durante l'installazione utilizzando il flag --module-arg. Questo flag è utile per attivare o disattivare determinate funzionalità dei driver. Il flag può essere utilizzato più volte per passare più argomenti.

Ad esempio, su una VM COS, puoi utilizzare il seguente comando per installare il driver NVIDIA e caricare il modulo kernel nvidia.ko con il parametro NVreg_EnableGpuFirmware=0.

sudo cos-extensions install gpu -- --module-arg nvidia.NVreg_EnableGpuFirmware=0

Precarica il driver

Puoi precaricare il driver GPU sull'istanza Container-Optimized OS anche quando non è collegato alcun dispositivo GPU. Questa operazione è utile per preparare gli ambienti o testare le configurazioni prima di collegare l'hardware GPU fisico.

Per precaricare il driver GPU, esegui il seguente comando:

sudo cos-extensions install gpu -- -no-verify -target-gpu=GPU_DEVICE

Questo comando è supportato a partire da cos-gpu-installer:v2.3.0. Si applicano i seguenti flag:

  • -no-verify: scarica e prepara i file dei driver, ma salta il caricamento del modulo kernel e la verifica dell'installazione.

  • -target-gpu: specifica il dispositivo GPU per assicurarsi che il driver corretto sia precaricato, evitando problemi di compatibilità quando il dispositivo GPU viene collegato in un secondo momento. Sostituisci GPU_DEVICE con un modello di GPU specifico (ad esempio,NVIDIA_L4) elencato nella panoramica. Se -target-gpu non è specificato, verrà precaricato il driver GPU predefinito.

Verifica l'installazione

Puoi eseguire i seguenti comandi sulle istanze VM Container-Optimized OS per verificare manualmente l'installazione dei driver GPU. L'output del comando mostra le informazioni sui dispositivi GPU, come lo stato dei dispositivi e la versione del driver.

# Make the driver installation path executable by re-mounting it.
sudo mount --bind /var/lib/nvidia /var/lib/nvidia
sudo mount -o remount,exec /var/lib/nvidia
/var/lib/nvidia/bin/nvidia-smi

Configura i container per utilizzare le GPU

Dopo aver installato i driver GPU, puoi configurare i container per utilizzare le GPU. L'esempio seguente mostra come eseguire un'applicazione CUDA in un container Docker che utilizza /dev/nvidia0:

docker run \
  --volume /var/lib/nvidia/lib64:/usr/local/nvidia/lib64 \
  --volume /var/lib/nvidia/bin:/usr/local/nvidia/bin \
  --device /dev/nvidia0:/dev/nvidia0 \
  --device /dev/nvidia-uvm:/dev/nvidia-uvm \
  --device /dev/nvidiactl:/dev/nvidiactl \
  registry.k8s.io/cuda-vector-add:v0.1

Puoi eseguire i container tramite cloud-init per specificare la dipendenza tra l'installazione dei driver e i container. Per maggiori dettagli, consulta la sezione Esecuzione end-to-end: esecuzione di un'applicazione GPU su Container-Optimized OS.

Esecuzione end-to-end: esecuzione di un'applicazione GPU su Container-Optimized OS

L'esempio end-to-end seguente mostra come utilizzare cloud-init per configurare le istanze VM Container-Optimized OS che eseguono il provisioning di un container di applicazioni GPU myapp:latest dopo l'installazione del driver GPU:

#cloud-config

users:
- name: myuser
  uid: 2000

write_files:
  - path: /etc/systemd/system/install-gpu.service
    permissions: 0644
    owner: root
    content: |
      [Unit]
      Description=Install GPU drivers
      Wants=gcr-online.target docker.socket
      After=gcr-online.target docker.socket

      [Service]
      User=root
      Type=oneshot
      ExecStart=cos-extensions install gpu
      StandardOutput=journal+console
      StandardError=journal+console
  - path: /etc/systemd/system/myapp.service
    permissions: 0644
    owner: root
    content: |
      [Unit]
      Description=Run a myapp GPU application container
      Requires=install-gpu.service
      After=install-gpu.service

      [Service]
      User=root
      Type=oneshot
      RemainAfterExit=true
      ExecStart=/usr/bin/docker run --rm -u 2000 --name=myapp --device /dev/nvidia0:/dev/nvidia0 myapp:latest
      StandardOutput=journal+console
      StandardError=journal+console

runcmd:
  - systemctl daemon-reload
  - systemctl start install-gpu.service
  - systemctl start myapp.service

Informazioni sulle librerie NVIDIA CUDA-X

CUDA® è la piattaforma di calcolo parallelo e il modello di programmazione di NVIDIA's per le GPU. Per utilizzare le applicazioni CUDA, le librerie devono essere presenti in nell'immagine che stai utilizzando. Puoi eseguire una delle seguenti operazioni per aggiungere le librerie NVIDIA CUDA-X:

  • Utilizza un'immagine con le librerie NVIDIA CUDA-X preinstallate. Ad esempio, puoi utilizzare i Deep Learning Containers di Google. Questi container preinstallano i framework, le librerie NVIDIA CUDA-X e gli strumenti di data science principali. In alternativa, l'immagine CUDA di NVIDIA contiene solo le librerie NVIDIA CUDA-X.

  • Crea e utilizza la tua immagine. In questo caso, includi /usr/local/cuda-XX.X/lib64, che contiene le librerie NVIDIA CUDA-X, e /usr/local/nvidia/lib64, che contiene i driver di dispositivo NVIDIA, nella variabile di ambiente LD_LIBRARY_PATH. Per /usr/local/cuda-XX.X/lib64, il nome della directory dipende dalla versione dell'immagine utilizzata. Ad esempio, le librerie NVIDIA CUDA-X e le utilità di debug nei container Docker possono trovarsi rispettivamente in /usr/local/cuda-11.0/lib64 e /usr/local/nvidia/bin.

Sicurezza

Come altri moduli kernel su Container-Optimized OS, i driver GPU sono firmati e verificati crittograficamente da chiavi integrate nel kernel di Container-Optimized OS. A differenza di alcune altre distribuzioni, Container-Optimized OS non consente agli utenti di registrare la chiave del proprietario della macchina (MOK) e di utilizzare le chiavi per firmare i moduli kernel personalizzati. Questo per garantire l'integrità del kernel di Container-Optimized OS e ridurre la superficie di attacco.

Limitazioni

Limitazioni della versione di Container-Optimized OS

Solo il traguardo di rilascio LTS 85 e versioni successive di Container-Optimized OS supportano l' cos-extensions utilità menzionata nella sezione Installazione dei driver di dispositivo GPU NVIDIA. Per i traguardi di rilascio di Container-Optimized OS precedenti, utilizza lo cos-gpu-installer strumento open source per installare manualmente i driver GPU.

Limitazioni delle istanze VM

Le istanze VM con GPU hanno limitazioni specifiche che le fanno comportare in modo diverso rispetto ad altri tipi di istanze. Per ulteriori informazioni, consulta la pagina Limitazioni delle GPU di Compute Engine.

Quota e disponibilità

Le GPU sono disponibili in regioni e zone specifiche. Quando richiedi la quota di GPU, tieni conto delle regioni in cui intendi eseguire le istanze VM Container-Optimized OS.

Per un elenco completo delle regioni e delle zone applicabili, consulta GPU su Compute Engine. Puoi anche visualizzare le GPU disponibili nella tua zona utilizzando Google Cloud CLI.

gcloud compute accelerator-types list

Prezzi

Per informazioni sui prezzi delle GPU, consulta la pagina Prezzi di Compute Engine.

Supporto

Ogni versione di rilascio di Container-Optimized OS ha almeno una versione del driver GPU NVIDIA supportata. Il team di Container-Optimized OS qualifica i driver GPU supportati rispetto alla versione di Container-Optimized OS prima del rilascio per assicurarsi che siano compatibili. Di tanto in tanto potrebbero essere rese disponibili nuove versioni dei driver GPU NVIDIA. Alcune versioni dei driver GPU non saranno idonee per Container-Optimized OS e la sequenza temporale di qualificazione non è garantita.

Quando il team di Container-Optimized OS rilascia una nuova versione su un traguardo di rilascio cerchiamo di supportare la versione più recente del driver GPU sul branch del driver corrispondente. In questo modo, le vulnerabilità CVE rilevate nei driver GPU vengono corrette il prima possibile.

Se un cliente di Container-Optimized OS identifica un problema correlato ai driver GPU NVIDIA, deve collaborare direttamente con NVIDIA per ricevere assistenza. Se il problema non è specifico del driver, gli utenti possono aprire una richiesta con l'assistenza clienti Google Cloud.

Passaggi successivi