Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Supporto GPU per i pool di worker

Questa pagina descrive la configurazione della GPU per i worker pool di Cloud Run. Google fornisce GPU NVIDIA RTX PRO 6000 Blackwell con 96 GB di memoria GPU (VRAM) e GPU NVIDIA L4 con 24 GB di memoria GPU (VRAM), che è separata dalla memoria dell'istanza.

Importante: se utilizzi LLM con la funzionalità GPU di Cloud Run, assicurati di consultare Best practice: workerpool Cloud Run con GPU.

La GPU su Cloud Run è completamente gestita, senza bisogno di driver o librerie aggiuntivi. La funzionalità GPU offre disponibilità on demand senza necessità di prenotazioni, in modo simile al funzionamento di CPU on demand e memoria on demand in Cloud Run.

Le istanze Cloud Run con una GPU NVIDIA RTX PRO 6000 Blackwell o L4 con driver preinstallati vengono avviate in circa 5 secondi, dopodiché i processi in esecuzione nel container possono iniziare a utilizzare la GPU.

Puoi configurare una GPU per istanza Cloud Run. Se utilizzi container sidecar, tieni presente che la GPU può essere collegata a un solo container.

Tipi di GPU supportati

Cloud Run supporta due tipi di GPU:

GPU NVIDIA RTX PRO 6000 Blackwell con la versione attuale del driver NVIDIA: 580.x.x (13.0). Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi utilizzare un minimo di 20 CPU e 80 GiB di memoria.
GPU L4 con la versione attuale del driver NVIDIA: 535.x.x (12.2). Per le GPU L4, devi utilizzare un minimo di 4 CPU e 16 GiB di memoria.

Aree geografiche supportate

Le seguenti regioni sono supportate dalla GPU NVIDIA RTX PRO 6000 Blackwell:

asia-southeast1 (Singapore).
asia-south2 (Delhi, India).
europe-west4 (Paesi Bassi) Bassi livelli di CO₂
us-central1 (Iowa) Bassi livelli di CO₂

La GPU L4 supporta le seguenti regioni:

asia-southeast1 (Singapore)
asia-south1 (Mumbai) . Questa regione è disponibile solo su invito. Se ti interessa questa regione, contatta il team del tuo Account Google.
europe-west1 (Belgio) Bassi livelli di CO₂
europe-west4 (Paesi Bassi) Bassi livelli di CO₂
us-central1 (Iowa) Bassi livelli di CO₂ . L'ulteriore scalabilità delle risorse in questa regione potrebbe richiedere una richiesta di aumento della quota. Se ti interessa questa regione, contatta il team del tuo Account Google.
us-east4 (Virginia del Nord) . L'ulteriore scalabilità delle risorse in questa regione potrebbe richiedere una richiesta di aumento della quota. Se ti interessa questa regione, contatta il team del tuo Account Google.

Impatto sui prezzi

Per informazioni dettagliate sui prezzi delle GPU, consulta Prezzi di Cloud Run. Tieni presente i seguenti requisiti e considerazioni:

Esiste una differenza di costo tra la ridondanza delle GPU a livello di zona e quella non a livello di zona. Per i dettagli sui prezzi delle GPU, consulta Prezzi di Cloud Run.
I pool di worker GPU non possono essere scalati automaticamente. Ti viene addebitato un importo per la GPU anche se non esegue alcun processo e finché l'istanza GPU del pool di worker è in esecuzione.
Il prezzo di CPU e memoria per i pool di worker è diverso da quello di servizi e job. Tuttavia, lo SKU GPU ha lo stesso prezzo di servizi e job.
Le configurazioni di CPU e memoria della risorsa.
La GPU viene fatturata per l'intera durata del ciclo di vita dell'istanza.

Opzioni di ridondanza a livello di zona della GPU

Per impostazione predefinita, Cloud Run esegue il deployment del pool di worker in più zone all'interno di una regione. Questa architettura offre resilienza intrinseca: se una zona subisce un'interruzione, Cloud Run indirizza automaticamente il traffico dalla zona interessata alle zone integre all'interno della stessa regione.

Quando lavori con le risorse GPU, tieni presente che queste hanno vincoli di capacità specifici. Durante un'interruzione di servizio a livello di zona, il meccanismo di failover standard per i carichi di lavoro GPU si basa sulla disponibilità di una capacità GPU inutilizzata sufficiente nelle zone integre rimanenti. A causa della natura vincolata delle GPU, questa capacità potrebbe non essere sempre disponibile.

Per aumentare la disponibilità dei pool di worker con accelerazione GPU durante le interruzioni di servizio nella zona, puoi configurare la ridondanza a livello di zona specificamente per le GPU:

Ridondanza a livello di zona attivata (impostazione predefinita): Cloud Run riserva la capacità della GPU per il tuo pool di worker in più zone. Ciò aumenta significativamente la probabilità che il pool di worker possa gestire correttamente il traffico reindirizzato da una zona interessata, offrendo una maggiore affidabilità durante gli errori a livello di zona con un costo aggiuntivo per secondo-GPU.
Ridondanza a livello di zona disattivata: Cloud Run tenta il failover per i carichi di lavoro GPU nel miglior modo possibile. Il traffico viene indirizzato ad altre zone solo se in quel momento è disponibile una capacità GPU sufficiente. Questa opzione non garantisce la capacità riservata per gli scenari di failover, ma comporta un costo inferiore per secondo-GPU.

SLA

L'SLA per la GPU Cloud Run dipende dal fatto che il pool di worker utilizzi l'opzione di ridondanza a livello di zona o non a livello di zona. Per maggiori dettagli, consulta la pagina SLA.

Richiedi un aumento della quota

La quota per le GPU nvidia-rtx-pro-6000 di Cloud Run viene concessa in milligPU. Ai progetti che utilizzano per la prima volta la GPU nvidia-rtx-pro-6000 in una regione verrà concessa automaticamente una quota di 3000 milliGPU (ridondanza a livello di zona disattivata) al momento della creazione del primo deployment. Equivale a 3 GPU. Ai progetti che utilizzano le GPU di Cloud Run nvidia-l4 in una regione per la prima volta viene concessa automaticamente una quota di 3 GPU (ridondanza zonale disattivata) quando viene creato il primo deployment.

Se hai bisogno di GPU Cloud Run aggiuntive, devi richiedere un aumento della quota per il tuo pool di worker Cloud Run. Utilizza i link forniti nei seguenti pulsanti per richiedere la quota di cui hai bisogno.

Quota necessaria	Link alla quota
GPU NVIDIA RTX PRO 6000 Blackwell con ridondanza zonale disattivata (prezzo inferiore)	Richiedi una quota di GPU senza ridondanza a livello di zona
GPU NVIDIA RTX PRO 6000 Blackwell con ridondanza zonale attivata (prezzo più alto)	Richiedi una quota di GPU con ridondanza a livello di zona
GPU L4 con ridondanza zonale disattivata (prezzo inferiore)	Richiedi una quota di GPU senza ridondanza a livello di zona
GPU L4 con ridondanza zonale attivata (prezzo più alto)	Richiedi una quota di GPU con ridondanza a livello di zona

Per ulteriori informazioni sulla richiesta di aumenti di quota, vedi Come aumentare la quota.

Prima di iniziare

Il seguente elenco descrive i requisiti e le limitazioni per l'utilizzo delle GPU in Cloud Run:

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Abilitare l'API Cloud Run.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.
Abilitare l'API

Richiedi la quota necessaria.
Consulta Best practice per le GPU: pool di worker Cloud Run con GPU per suggerimenti sulla creazione dell'immagine container e sul caricamento di modelli di grandi dimensioni.
Assicurati che il pool di worker Cloud Run abbia le seguenti configurazioni:

Configura le impostazioni di fatturazione in modo che la fatturazione sia basata sulle istanze. Tieni presente che i pool di worker impostati per la fatturazione basata sulle istanze possono comunque scalare a zero.
Per la GPU NVIDIA RTX PRO 6000 Blackwell, configura un minimo di 20 CPU e un minimo di 80 GiB di memoria.
Per la GPU L4, configura un minimo di 4 CPU per il pool di worker, con 8 CPU consigliate, e un minimo di 16 GiB di memoria, con 32 GiB consigliati.
Determina e imposta una concorrenza massima ottimale per l'utilizzo della GPU.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per configurare ed eseguire il deployment dei pool di worker Cloud Run, chiedi all'amministratore di concederti i seguenti ruoli IAM per i workerpool:

Cloud Run Developer (roles/run.developer): il pool di worker Cloud Run
Service Account User (roles/iam.serviceAccountUser): l'identità di servizio

Per un elenco di ruoli e autorizzazioni IAM associati a Cloud Run, consulta Ruoli IAM di Cloud Run e Autorizzazioni IAM di Cloud Run. Se il tuo pool di worker Cloud Run interagisce con le APIGoogle Cloud , come le librerie client Cloud, consulta la guida alla configurazione dell'identità del servizio. Per saperne di più sulla concessione dei ruoli, consulta Autorizzazioni di deployment e Gestisci l'accesso.

Configura un pool di worker Cloud Run con GPU

Qualsiasi modifica alla configurazione comporta la creazione di una nuova revisione. Anche le revisioni successive riceveranno automaticamente questa impostazione di configurazione, a meno che tu non apporti aggiornamenti espliciti per modificarla.

Puoi utilizzare la console Google Cloud , Google Cloud CLI o YAML per configurare la GPU.

Console

Nella console Google Cloud , vai a Cloud Run:

Vai a Cloud Run
Seleziona Worker pool dal menu di navigazione di Cloud Run e fai clic su Esegui il deployment del container per configurare un nuovo worker pool. Se stai configurando un worker pool esistente, fai clic sul worker pool e poi su Modifica ed esegui il deployment della nuova revisione.
Se stai configurando un nuovo pool di worker, compila la pagina delle impostazioni iniziali del pool di worker, poi fai clic su Contenitori, Networking, sicurezza per espandere la pagina di configurazione del pool di worker.
Fai clic sulla scheda Contenitore.
- Configura CPU, memoria, concorrenza, ambiente di esecuzione e probe di avvio seguendo i consigli riportati nella sezione Prima di iniziare.
- Seleziona la casella di controllo GPU, quindi seleziona il tipo di GPU dal menu Tipo di GPU e il numero di GPU dal menu Numero di GPU.
- Per impostazione predefinita, la ridondanza di zona è attiva. Per modificare l'impostazione attuale, seleziona la casella di controllo GPU per visualizzare le opzioni di Ridondanza GPU.
Fai clic su Crea o Esegui il deployment.

gcloud

Per creare un pool di worker abilitato per la GPU, utilizza il comando gcloud run worker-pools deploy:

  gcloud run worker-pools deploy WORKER_POOL \
    --image IMAGE_URL \
    --gpu 1

Sostituisci quanto segue:

WORKER_POOL: il nome del pool di worker Cloud Run.
IMAGE_URL: un riferimento all'immagine container che contiene il pool di worker, ad esempio us-docker.pkg.dev/cloudrun/container/worker-pool:latest.

Per aggiornare la configurazione della GPU per un pool di worker, utilizza il comando gcloud run worker-pools update:

  gcloud run worker-pools update WORKER_POOL \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --GPU_ZONAL_REDUNDANCY

Sostituisci quanto segue:

WORKER_POOL: il nome del pool di worker Cloud Run.
IMAGE_URL: un riferimento all'immagine container che contiene il pool di worker, ad esempio us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
CPU: il numero di CPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 20 CPU. Per la GPU NVIDIA L4, devi specificare almeno 4 CPU.
MEMORY: la quantità di memoria. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 80Gi (80 GiB). Per la GPU NVIDIA L4, devi specificare almeno 16Gi (16 GiB).
GPU_NUMBER: il valore 1 (uno). Se non è specificato, ma è presente un valore GPU_TYPE, il valore predefinito è 1.
GPU_TYPE: il tipo di GPU. GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 L minuscola, non il valore numerico quattordici).
GPU_ZONAL_REDUNDANCY: no-gpu-zonal-redundancy per disattivare la ridondanza di zona o gpu-zonal-redundancy per attivarla.

YAML

Se stai creando un nuovo pool di worker, salta questo passaggio. Se stai aggiornando un pool di worker esistente, scarica la relativa configurazione YAML:
```
gcloud run worker-pools describe WORKER_POOL --format export > workerpool.yaml
```
Aggiorna l'attributo nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator::
```
apiVersion: run.googleapis.com/v1
kind: WorkerPool
metadata:
  name: WORKER_POOL
spec:
  template:
    metadata:
      annotations:
        run.googleapis.com/gpu-zonal-redundancy-disabled: 'GPU_ZONAL_REDUNDANCY'
    spec:
      containers:
      - image: IMAGE_URL
        resources:
          limits:
            cpu: 'CPU'
            memory: 'MEMORY'
            nvidia.com/gpu: '1'
      nodeSelector:
        run.googleapis.com/accelerator: GPU_TYPE
```
Sostituisci quanto segue:
- WORKER_POOL: il nome del pool di worker Cloud Run.
- IMAGE_URL: un riferimento all'immagine container che contiene il pool di worker, ad esempio us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
- CPU: il numero di CPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 20 CPU. Per la GPU L4, devi specificare almeno 4 CPU.
- MEMORY: la quantità di memoria. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 80Gi (80 GiB). Per la GPU L4, devi specificare almeno 16Gi (16 GiB).
- GPU_TYPE: il tipo di GPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 L minuscola, non il valore numerico quattordici).
- GPU_ZONAL_REDUNDANCY: false per attivare la ridondanza zonale della GPU o true per disattivarla.
Crea o aggiorna il pool di worker utilizzando il seguente comando:
```
gcloud run worker-pools replace workerpool.yaml
```

Terraform

Per scoprire come applicare o rimuovere una configurazione Terraform, consulta Comandi Terraform di base.

resource "google_cloud_run_v2_worker_pool" "default" {
  provider = google-beta
  name     = "WORKER_POOL"
  location = "REGION"

  template {
    gpu_zonal_redundancy_disabled = "GPU_ZONAL_REDUNDANCY"
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Sostituisci quanto segue:

WORKER_POOL: il nome del pool di worker Cloud Run.
GPU_ZONAL_REDUNDANCY: false per attivare la ridondanza zonale della GPU o true per disattivarla.
IMAGE_URL: un riferimento all'immagine container che contiene il pool di worker, ad esempio us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
CPU: il numero di CPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 20 CPU. Per la GPU NVIDIA L4, devi specificare almeno 4 CPU.
MEMORY: la quantità di memoria. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 80Gi (80 GiB). Per la GPU NVIDIA L4, devi specificare almeno 16Gi (16 GiB).
GPU_TYPE: il tipo di GPU. GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 L minuscola, non il valore numerico quattordici).

Impostare una directory di lavoro

La directory di lavoro è la posizione in cui il container esegue i comandi e gli argomenti. Puoi specificare una directory di lavoro personalizzata per il processo del container durante il deployment di un servizio nuovo o esistente. Se non specificata, viene utilizzata la directory di lavoro predefinita dell'immagine del container. Per reimpostare questo campo sul valore predefinito, trasmetti una stringa vuota o rimuovi il campo.

Ad esempio:

YAML

Se stai creando un nuovo pool di worker, salta questo passaggio. Se stai aggiornando un pool di worker esistente, scarica la relativa configurazione YAML:
```
gcloud run worker-pools describe WORKER_POOL --format export > workerpool.yaml
```
Aggiorna l'attributo workingDir::
```
apiVersion: run.googleapis.com/v1
kind: WorkerPool
metadata:
  name: WORKER_POOL
spec:
  template:
    metadata:
      annotations:
        run.googleapis.com/launch-stage: BETA
        run.googleapis.com/gpu-zonal-redundancy-disabled: 'GPU_ZONAL_REDUNDANCY'
    spec:
      containers:
      - image: IMAGE_URL
        resources:
          limits:
            cpu: 'CPU'
            memory: 'MEMORY'
            nvidia.com/gpu: '1'
        workingDir: WORKING_DIR
      nodeSelector:
        run.googleapis.com/accelerator: GPU_TYPE
```
Sostituisci quanto segue:
- WORKER_POOL: il nome del pool di worker Cloud Run.
- IMAGE_URL: un riferimento all'immagine container che contiene il pool di worker, ad esempio us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
- CPU: il numero di CPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 20 CPU. Per la GPU L4, devi specificare almeno 4 CPU.
- MEMORY: la quantità di memoria. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 80Gi (80 GiB). Per la GPU L4, devi specificare almeno 16Gi (16 GiB).
- WORKING_DIR: (facoltativo) la directory di lavoro del container. Se non specificato, verrà utilizzato il valore predefinito del runtime del container, che potrebbe essere configurato nell'immagine container.
- GPU_TYPE: il tipo di GPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 L minuscola, non il valore numerico quattordici).
- GPU_ZONAL_REDUNDANCY: false per attivare la ridondanza zonale della GPU o true per disattivarla.
Crea o aggiorna il pool di worker utilizzando il seguente comando:
```
gcloud run worker-pools replace workerpool.yaml
```

Terraform

Aggiungi quanto segue a una risorsa google_cloud_run_v2_worker_pool nella configurazione Terraform:

resource "google_cloud_run_v2_worker_pool" "default" {
  provider = google-beta
  name     = "WORKER_POOL"
  location = "REGION"

  template {
    gpu_zonal_redundancy_disabled = "GPU_ZONAL_REDUNDANCY"
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
        working_dir = WORKING_DIR
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Sostituisci quanto segue:

WORKER_POOL: il nome del pool di worker Cloud Run.
GPU_ZONAL_REDUNDANCY: false per attivare la ridondanza zonale della GPU o true per disattivarla.
IMAGE_URL: un riferimento all'immagine container che contiene il pool di worker, ad esempio us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
CPU: il numero di CPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 20 CPU. Per la GPU NVIDIA L4, devi specificare almeno 4 CPU.
MEMORY: la quantità di memoria. Per la GPU NVIDIA RTX PRO 6000 Blackwell, devi specificare almeno 80Gi (80 GiB). Per la GPU NVIDIA L4, devi specificare almeno 16Gi (16 GiB).
WORKING_DIR: (facoltativo) la directory di lavoro del container. Se non specificato, verrà utilizzato il valore predefinito del runtime del container, che potrebbe essere configurato nell'immagine container.
GPU_TYPE: il tipo di GPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 L minuscola, non il valore numerico quattordici).

Visualizza le impostazioni della GPU

Per visualizzare le impostazioni GPU attuali per il tuo pool di worker Cloud Run:

Console

Nella console Google Cloud , vai alla pagina dei pool di worker Cloud Run:

Vai ai pool di worker Cloud Run
Fai clic sul pool di worker che ti interessa per aprire la pagina Dettagli pool di worker.
Fai clic su Modifica ed esegui il deployment di una nuova revisione.
Individua l'impostazione GPU nei dettagli della configurazione.

gcloud

Utilizza il seguente comando:

gcloud run worker-pools describe WORKER_POOL

Individua l'impostazione GPU nella configurazione restituita.

Rimuovi GPU

Puoi rimuovere la GPU utilizzando la console Google Cloud , Google Cloud CLI o YAML.

Console

Nella console Google Cloud , vai a Cloud Run:

Vai a Cloud Run
Seleziona Worker pool dal menu di navigazione di Cloud Run e fai clic su Esegui il deployment del container per configurare un nuovo worker pool. Se stai configurando un worker pool esistente, fai clic sul worker pool, quindi su Modifica ed esegui il deployment della nuova revisione.
Se stai configurando un nuovo pool di worker, compila la pagina delle impostazioni iniziali del pool di worker, poi fai clic su Contenitori, Networking, sicurezza per espandere la pagina di configurazione del pool di worker.
Fai clic sulla scheda Contenitore.

immagine

Deseleziona la casella di controllo GPU.

Fai clic su Crea o Esegui il deployment.

gcloud

Per rimuovere la GPU, imposta il numero di GPU su 0:

  gcloud run worker-pools update WORKER_POOL --gpu 0

Sostituisci WORKER_POOL con il nome del tuo pool di worker Cloud Run.

YAML

Se stai creando un nuovo pool di worker, salta questo passaggio. Se stai aggiornando un pool di worker esistente, scarica la relativa configurazione YAML:
```
gcloud run worker-pools describe WORKER_POOL --format export > workerpool.yaml
```
Elimina le righe nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator: GPU_TYPE.
Crea o aggiorna il pool di worker utilizzando il seguente comando:
```
gcloud run worker-pools replace workerpool.yaml
```

Librerie dei driver

Per impostazione predefinita, tutte le librerie dei driver GPU NVIDIA RTX PRO 6000 Blackwell e NVIDIA L4 sono montate in /usr/local/nvidia/lib64. Cloud Run aggiunge automaticamente questo percorso alla variabile di ambiente LD_LIBRARY_PATH (ovvero ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) del container con la GPU. In questo modo, il linker dinamico può trovare le librerie dei driver NVIDIA. Il linker cerca e risolve i percorsi nell'ordine in cui li elenchi nella variabile di ambiente LD_LIBRARY_PATH. Qualsiasi valore specificato in questa variabile ha la precedenza sul percorso predefinito delle librerie dei driver Cloud Run /usr/local/nvidia/lib64.

Se vuoi utilizzare una versione di CUDA superiore alla 12.2, il modo più semplice è fare affidamento a un'immagine di base NVIDIA più recente con i pacchetti di compatibilità futura già installati. Un'altra opzione è installare manualmente i pacchetti di compatibilità futura NVIDIA e aggiungerli a LD_LIBRARY_PATH. Consulta la matrice di compatibilità di NVIDIA per determinare quali versioni di CUDA sono compatibili con la versione del driver NVIDIA fornita.

Supporto GPU per i pool di worker Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Tipi di GPU supportati

Aree geografiche supportate

Impatto sui prezzi

Opzioni di ridondanza a livello di zona della GPU

SLA

Richiedi un aumento della quota

Prima di iniziare

Ruoli obbligatori

Configura un pool di worker Cloud Run con GPU

Console

gcloud

YAML

Terraform

Impostare una directory di lavoro

YAML

Terraform

Visualizza le impostazioni della GPU

Console

gcloud

Rimuovi GPU

Console

gcloud

YAML

Librerie dei driver

Supporto GPU per i pool di worker