Auf dieser Seite wird die GPU-Konfiguration für Ihre Cloud Run-Dienste beschrieben. GPUs eignen sich gut für KI-Inferenz-Arbeitslasten wie Large Language Models (LLMs) oder andere rechenintensive, KI-unabhängige Anwendungsfälle wie Videotranscodierung und 3D-Rendering. Google bietet NVIDIA RTX PRO 6000 Blackwell-GPUs mit 96 GB GPU-Speicher (VRAM) und NVIDIA L4-GPUs mit 24 GB GPU-Speicher (VRAM), der vom Instanzspeicher getrennt ist.
Die GPU in Cloud Run ist vollständig verwaltet. Es sind keine zusätzlichen Treiber oder Bibliotheken erforderlich. Die GPU-Funktion bietet On-Demand-Verfügbarkeit ohne erforderliche Reservierungen, ähnlich wie bei On-Demand-CPUs und On-Demand-Arbeitsspeicher in Cloud Run. Instanzen eines Cloud Run-Dienstes, der für die Verwendung von GPUs konfiguriert wurde, können bei Nichtverwendung auf null herunterskaliert werden, um Kosten zu sparen.
Cloud Run-Instanzen mit einer angehängten NVIDIA RTX PRO 6000 Blackwell-GPU oder L4-GPU mit vorinstallierten Treibern starten in etwa 5 Sekunden. Ab diesem Zeitpunkt können die in Ihrem Container ausgeführten Prozesse die GPU verwenden.
Sie können eine GPU pro Cloud Run-Instanz konfigurieren. Wenn Sie Sidecar-Container verwenden, beachten Sie, dass die GPU nur an einen Container angehängt werden kann.
Unterstützte GPU-Typen
Cloud Run unterstützt zwei Arten von GPUs:
- NVIDIA RTX PRO 6000 Blackwell-GPU mit der aktuellen NVIDIA-Treiberversion: 580.x.x (13.0). Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 20 CPUs und 80 GiB Arbeitsspeicher verwenden.
- L4-GPU mit der aktuellen NVIDIA-Treiberversion: 580.x.x (13.0). Für L4-GPUs müssen Sie mindestens 4 CPUs und 16 GiB Arbeitsspeicher verwenden.
Unterstützte Regionen
Die folgenden Regionen werden von der NVIDIA RTX PRO 6000 Blackwell-GPU unterstützt:
asia-southeast1(Singapur)asia-south2(Delhi, Indien)europe-west4(Niederlande)
Niedriger CO2-Ausstoß
us-central1(Iowa) Niedriger CO2-Ausstoß
Die folgenden Regionen werden von der L4-GPU unterstützt:
asia-southeast1(Singapur)asia-south1(Mumbai) . Diese Region ist nur auf Einladung verfügbar. Wenden Sie sich an Ihr Google-Konten-Team, wenn Sie an dieser Region interessiert sind.europe-west1(Belgien) Niedriger CO2-Ausstoß
europe-west4(Niederlande) Niedriger CO2-Ausstoß
us-central1(Iowa) Niedriger CO2-Ausstoß
. Für eine zusätzliche Ressourcenskalierung in dieser Region ist möglicherweise eine Anfrage zur Kontingenterhöhung erforderlich. Wenden Sie sich an Ihr Google Konten-Team, wenn Sie an dieser Region interessiert sind. us-east4(Northern Virginia) . Für eine zusätzliche Ressourcenskalierung in dieser Region ist möglicherweise eine Anfrage zur Kontingenterhöhung erforderlich. Wenden Sie sich an Ihr Google Konten-Team, wenn Sie an dieser Region interessiert sind.
Auswirkungen auf die Kosten
Weitere Informationen zu GPU-Preisen finden Sie unter Cloud Run-Preise. Beachten Sie die folgenden Anforderungen und Überlegungen:
- Es fallen keine Gebühren pro Anfrage an. Sie müssen die instanzbasierte Abrechnung verwenden, um die GPU-Funktion zu nutzen. Mindestinstanzen werden auch im Inaktivitätsstatus zum vollen Preis berechnet.
- Es gibt einen Kostenunterschied zwischen zonaler GPU-Redundanz und nicht zonaler Redundanz. Weitere Informationen zu den GPU-Preisen finden Sie unter Cloud Run – Preise.
- Wenn Sie einen Cloud Run-Dienst oder eine Cloud Run-Funktion aus Quellcode mit aktivierten GPUs bereitstellen, verwendet Cloud Run den Maschinentyp
e2-highcpu-8anstelle des Standardmaschinentypse2-standard-2, um Ihren Quellcode zu erstellen. Der größere Maschinentyp bietet eine höhere CPU-Unterstützung und eine höhere Netzwerkbandbreite, was zu schnelleren Build-Zeiten führt. - Die CPU- und Arbeitsspeicherkonfigurationen Ihrer Ressource.
- Die GPU wird für die gesamte Dauer des Instanzlebenszyklus in Rechnung gestellt.
Optionen für zonale GPU-Redundanz
Standardmäßig stellt Cloud Run Ihren Dienst in mehreren Zonen innerhalb einer Region bereit. Diese Architektur bietet inhärente Ausfallsicherheit: Wenn es in einer Zone zu einem Ausfall kommt, leitet Cloud Run den Traffic automatisch von der betroffenen Zone zu fehlerfreien Zonen in derselben Region um.
Beachten Sie bei der Arbeit mit GPU-Ressourcen, dass für GPU-Ressourcen bestimmte Kapazitätsbeschränkungen gelten. Bei einem zonalen Ausfall ist der Standard-Failover-Mechanismus für GPU-Arbeitslasten davon abhängig, dass in den verbleibenden fehlerfreien Zonen genügend ungenutzte GPU-Kapazität verfügbar ist. Aufgrund der begrenzten Verfügbarkeit von GPUs ist diese Kapazität möglicherweise nicht immer verfügbar.
Wenn Sie die Verfügbarkeit Ihrer GPU-beschleunigten Dienste bei zonalen Ausfällen erhöhen möchten, können Sie die zonale Redundanz speziell für GPUs konfigurieren:
Zonale Redundanz aktiviert (Standard): Cloud Run reserviert GPU-Kapazität für Ihren Dienst in mehreren Zonen. Dadurch erhöht sich die Wahrscheinlichkeit, dass Ihr Dienst Traffic, der von einer betroffenen Zone umgeleitet wird, erfolgreich verarbeiten kann. Dies bietet eine höhere Zuverlässigkeit bei zonalen Ausfällen, verursacht jedoch zusätzliche Kosten pro GPU-Sekunde.
Zonale Redundanz deaktiviert: Cloud Run versucht, ein Failover für GPU-Arbeitslasten auf Best-Effort-Basis durchzuführen. Der Traffic wird nur dann an andere Zonen weitergeleitet, wenn zu diesem Zeitpunkt genügend GPU-Kapazität verfügbar ist. Bei dieser Option wird keine reservierte Kapazität für Failover-Szenarien garantiert, aber die Kosten pro GPU-Sekunde sind niedriger.
SLA
Das SLA für Cloud Run mit GPU hängt davon ab, ob der Dienst die Option für zonale Redundanz oder nicht zonale Redundanz verwendet. Weitere Informationen finden Sie auf der SLA-Seite.
Kontingenterhöhung anfordern
Das Kontingent für die Cloud Run-nvidia-rtx-pro-6000-GPU wird in Milli-GPUs gewährt.
Projekten, die zum ersten Mal eine nvidia-rtx-pro-6000-GPU in einer Region verwenden, wird automatisch ein Kontingent von 3.000 MilliGPU (zonale Redundanz deaktiviert) gewährt, wenn die erste Bereitstellung erstellt wird. Dies entspricht 3 GPUs. Projekten, die zum ersten Mal Cloud Run-nvidia-l4-GPUs in einer Region verwenden, wird automatisch ein GPU-Kontingent von 3 GPUs (zonale Redundanz deaktiviert) zugewiesen, wenn die erste Bereitstellung erstellt wird.
Wenn Sie zusätzliche Cloud Run-GPUs benötigen, müssen Sie eine Kontingenterhöhung für Ihren Cloud Run-Dienst anfordern. Verwenden Sie die Links in den folgenden Schaltflächen, um das benötigte Kontingent anzufordern.
| Kontingent erforderlich | Link zum Kontingent |
|---|---|
| NVIDIA RTX PRO 6000 Blackwell-GPU mit deaktivierter zonaler Redundanz (niedrigerer Preis) | GPU-Kontingent ohne zonale Redundanz anfordern |
| NVIDIA RTX PRO 6000 Blackwell-GPU mit aktivierter zonaler Redundanz (höherer Preis) | GPU-Kontingent mit zonaler Redundanz anfordern |
| L4-GPU mit deaktivierter zonaler Redundanz (niedrigerer Preis) | GPU-Kontingent ohne zonale Redundanz anfordern |
| L4-GPU mit aktivierter zonaler Redundanz (höherer Preis) | GPU-Kontingent mit zonaler Redundanz anfordern |
Weitere Informationen zum Anfordern von Kontingenterhöhungen finden Sie unter Kontingent erhöhen.
Hinweis
In der folgenden Liste werden die Anforderungen und Einschränkungen für die Verwendung von GPUs in Cloud Run beschrieben:
- Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Aktivieren Sie die Cloud Run API, falls sie noch nicht aktiviert ist.
Erforderliche Rollen zum Aktivieren von APIs
Zum Aktivieren von APIs benötigen Sie die Berechtigung
serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen- Erforderliches Kontingent anfordern
- Empfehlungen zum Erstellen Ihres Container-Images und zum Laden großer Modelle finden Sie unter Best Practices: KI-Inferenz in Cloud Run mit GPUs.
- Ihr Cloud Run-Dienst muss die folgenden Konfigurationen haben:
- Konfigurieren Sie die Abrechnungseinstellungen für die instanzbasierte Abrechnung. Beachten Sie, dass Dienste, für die die instanzbasierte Abrechnung festgelegt ist, trotzdem auf null skalieren können.
- Konfigurieren Sie für die NVIDIA RTX PRO 6000 Blackwell-GPU mindestens 20 CPUs und mindestens 80 GiB Arbeitsspeicher.
- Konfigurieren Sie für die L4-GPU mindestens 4 CPUs für Ihren Dienst (8 CPUs werden empfohlen) und mindestens 16 GiB Arbeitsspeicher (32 GiB werden empfohlen).
- Ermitteln Sie eine optimale maximale Gleichzeitigkeit für die GPU-Nutzung und legen Sie sie fest.
- Die maximale Anzahl von Instanzen muss unter dem zulässigen GPU-Kontingent pro Projekt und Region liegen. Weitere Informationen finden Sie unter GPUs und maximale Instanzen.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Dienste zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Konfigurieren und Bereitstellen von Cloud Run-Diensten benötigen:
- Cloud Run-Entwickler (
roles/run.developer) - der Cloud Run-Dienst - Dienstkontonutzer (
roles/iam.serviceAccountUser) – die Dienstidentität
Wenn Sie einen Dienst oder eine Funktion aus dem Quellcode bereitstellen, müssen Ihnen auch zusätzliche Rollen für Ihr Projekt und Ihr Cloud Build-Dienstkonto zugewiesen sein.
Eine Liste der IAM-Rollen und -Berechtigungen im Zusammenhang mit Cloud Run finden Sie unter IAM-Rollen für Cloud Run und IAM-Berechtigungen für Cloud Run. Wenn Ihr Cloud Run-Dienst mitGoogle Cloud -APIs wie Cloud-Clientbibliotheken verknüpft ist, lesen Sie die Konfigurationsanleitung für Dienstidentitäten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Bereitstellungsberechtigungen und Zugriff verwalten.
Cloud Run-Dienst mit GPU konfigurieren
Jede Konfigurationsänderung führt zur Erstellung einer neuen Überarbeitung. Für nachfolgende Überarbeitungen gilt automatisch dieselbe Konfigurationseinstellung, sofern Sie sie nicht explizit aktualisieren.
Sie können die Google Cloud Console, die Google Cloud CLI oder YAML verwenden, um die GPU zu konfigurieren.
Console
Rufen Sie in der Google Cloud Console Cloud Run auf:
Wählen Sie im Cloud Run-Navigationsmenü die Option Dienste aus:
Wenn Sie einen neuen Dienst konfigurieren, klicken Sie auf Container bereitstellen und füllen Sie die Seite mit den anfänglichen Diensteinstellungen aus. Klicken Sie dann auf Container, Netzwerk, Sicherheit, um die Seite zur Dienstkonfiguration zu maximieren.
Wenn Sie einen vorhandenen Dienst konfigurieren, klicken Sie auf den Dienst.
Klicken Sie auf den Tab Container.
Konfigurieren Sie CPU, Arbeitsspeicher, Nebenläufigkeit, Ausführungsumgebung und Startprüfung gemäß den Empfehlungen unter Vorbereitung.
Aktivieren Sie das Kästchen GPU und wählen Sie dann in den entsprechenden Menüs den GPU-Typ und die Anzahl der GPUs aus.
Die zonale Redundanz ist für neue Dienste standardmäßig aktiviert. Wenn Sie das Kästchen GPU aktivieren, werden die Optionen für die GPU-Redundanz angezeigt.
- Wenn Sie die zonale Redundanz deaktivieren möchten, wählen Sie Keine zonale Redundanz aus.
- Wählen Sie Zonale Redundanz aus, um die zonale Redundanz zu aktivieren.
Klicken Sie auf Erstellen, um einen neuen Dienst zu erstellen. Klicken Sie auf Unterschied ansehen und erneut bereitstellen und dann auf Änderungen bereitstellen, um einen vorhandenen Dienst zu aktualisieren.
gcloud
Verwenden Sie den Befehl gcloud run deploy, um einen Dienst mit aktivierter GPU zu erstellen:
So stellen Sie einen Container bereit:
gcloud run deploy SERVICE \ --image IMAGE_URL \ --gpu 1
Ersetzen Sie Folgendes:
- SERVICE: Der Name Ihres Cloud Run-Dienstes.
IMAGE_URL: ein Verweis auf das Container-Image, z. B.us-docker.pkg.dev/cloudrun/container/hello:latestWenn Sie Artifact Registry verwenden, muss das Repository REPO_NAME bereits erstellt sein. Die URL hat das FormatLOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG.
So stellen Sie aus Quellcode bereit:
gcloud run deploy SERVICE \ --source . \ --gpu 1
Verwenden Sie den Befehl gcloud run services update, um die GPU-Konfiguration für einen Dienst zu aktualisieren. So aktualisieren Sie beispielsweise einen vorhandenen Dienst, der ein Container-Image angibt:
gcloud run services update SERVICE \ --image IMAGE_URL \ --cpu CPU \ --memory MEMORY \ --no-cpu-throttling \ --gpu GPU_NUMBER \ --gpu-type GPU_TYPE \ --max-instances MAX_INSTANCE --GPU_ZONAL_REDUNDANCY
Ersetzen Sie Folgendes:
- SERVICE: Der Name Ihres Cloud Run-Dienstes.
IMAGE_URL: ein Verweis auf das Container-Image, z. B.us-docker.pkg.dev/cloudrun/container/hello:latestWenn Sie Artifact Registry verwenden, muss das Repository REPO_NAME bereits erstellt sein. Die URL hat das FormatLOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG.- CPU: die Anzahl der CPUs. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens
20CPU angeben. Für L4-GPUs müssen Sie mindestens4CPU angeben. - MEMORY: die Größe des Arbeitsspeichers. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens
80Gi(80 GiB) angeben. Für L4-GPUs müssen Sie mindestens16Gi(16 GiB) angeben. - GPU_NUMBER: den Wert
1(eins). Wenn dieser Wert nicht angegeben ist, aber ein GPU_TYPE vorhanden ist, ist der Standardwert1. - GPU_TYPE: Der GPU-Typ. NVIDIA RTX PRO 6000 Blackwell-GPU: Geben Sie
nvidia-rtx-pro-6000ein. Geben Sie für L4-GPU den Wertnvidia-l4ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn). - MAX_INSTANCE: die maximale Anzahl von Instanzen. Diese Anzahl darf das für Ihr Projekt zugewiesene GPU-Kontingent nicht überschreiten.
- GPU_ZONAL_REDUNDANCY:
no-gpu-zonal-redundancy, um die zonale Redundanz zu deaktivieren, odergpu-zonal-redundancy, um die zonale Redundanz zu aktivieren.
YAML
Wenn Sie einen neuen Dienst erstellen, überspringen Sie diesen Schritt. Wenn Sie einen vorhandenen Dienst aktualisieren, laden Sie die zugehörige YAML-Konfiguration herunter:
gcloud run services describe SERVICE --format export > service.yaml
Aktualisieren Sie das Attribut
nvidia.com/gpu:undnodeSelector::
run.googleapis.com/accelerator:apiVersion: serving.knative.dev/v1 kind: Service metadata: name: SERVICE spec: template: metadata: annotations: autoscaling.knative.dev/maxScale: 'MAX_INSTANCE' run.googleapis.com/cpu-throttling: 'false' run.googleapis.com/gpu-zonal-redundancy-disabled: 'GPU_ZONAL_REDUNDANCY' spec: containers: - image: IMAGE_URL ports: - containerPort: CONTAINER_PORT name: http1 resources: limits: cpu: 'CPU' memory: 'MEMORY' nvidia.com/gpu: '1' # Optional: use a longer startup probe to allow long starting containers startupProbe: failureThreshold: 1800 periodSeconds: 1 tcpSocket: port: CONTAINER_PORT timeoutSeconds: 1 nodeSelector: run.googleapis.com/accelerator: GPU_TYPE
Ersetzen Sie Folgendes:
- SERVICE: Der Name Ihres Cloud Run-Dienstes.
IMAGE_URL: ein Verweis auf das Container-Image, z. B.us-docker.pkg.dev/cloudrun/container/hello:latestWenn Sie Artifact Registry verwenden, muss das Repository REPO_NAME bereits erstellt sein. Die URL hat das FormatLOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG.- CONTAINER_PORT: der für Ihren Dienst festgelegte Containerport.
- CPU: die Anzahl der CPUs. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens
20CPU angeben. Für L4-GPUs müssen Sie mindestens4CPU angeben. - MEMORY: die Größe des Arbeitsspeichers. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens
80Gi(80 GiB) angeben. Für L4-GPUs müssen Sie mindestens16Gi(16 GiB) angeben. - GPU_TYPE: Der GPU-Typ. NVIDIA RTX PRO 6000 Blackwell-GPU: Geben Sie
nvidia-rtx-pro-6000ein. Geben Sie für L4-GPU den Wertnvidia-l4ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn). - MAX_INSTANCE: die maximale Anzahl von Instanzen. Diese Anzahl darf das für Ihr Projekt zugewiesene GPU-Kontingent nicht überschreiten.
- GPU_ZONAL_REDUNDANCY:
false, um die zonale GPU-Redundanz zu aktivieren, odertrue, um sie zu deaktivieren.
Erstellen oder aktualisieren Sie den Dienst mit dem folgenden Befehl:
gcloud run services replace service.yaml
Der Befehl
gcloud run services replaceverwendet standardmäßig die Dateiservice.yaml, falls vorhanden.
Terraform
Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.
Fügen Sie einergoogle_cloud_run_v2_service-Ressource in Ihrer Terraform-Konfiguration Folgendes hinzu:resource "google_cloud_run_v2_service" "default" {
provider = google-beta
name = "SERVICE"
location = "europe-west1"
template {
gpu_zonal_redundancy_disabled = "GPU_ZONAL_REDUNDANCY"
containers {
image = "IMAGE_URL"
resources {
limits = {
"cpu" = "CPU"
"memory" = "MEMORY"
"nvidia.com/gpu" = "1"
}
}
}
node_selector {
accelerator = "GPU_TYPE"
}
}
}
Ersetzen Sie Folgendes:
- SERVICE: Der Name Ihres Cloud Run-Dienstes.
- GPU_ZONAL_REDUNDANCY:
false, um die zonale GPU-Redundanz zu aktivieren, odertrue, um sie zu deaktivieren. IMAGE_URL: ein Verweis auf das Container-Image, z. B.us-docker.pkg.dev/cloudrun/container/hello:latestWenn Sie Artifact Registry verwenden, muss das Repository REPO_NAME bereits erstellt sein. Die URL hat das FormatLOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG.- CPU: die Anzahl der CPUs. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens
20CPU angeben. Für L4-GPUs müssen Sie mindestens4CPU angeben. - MEMORY: die Größe des Arbeitsspeichers. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens
80Gi(80 GiB) angeben. Für L4-GPUs müssen Sie mindestens16Gi(16 GiB) angeben. - GPU_TYPE: Der GPU-Typ. Geben Sie für die NVIDIA RTX PRO 6000 Blackwell-GPU
nvidia-rtx-pro-6000ein. Geben Sie für L4-GPU den Wertnvidia-l4ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).
GPU-Einstellungen aufrufen
So rufen Sie die aktuellen GPU-Einstellungen für Ihren Cloud Run-Dienst auf:
Console
Wechseln Sie in der Google Cloud Console zur Seite Cloud Run-Dienste:
Klicken Sie auf den gewünschten Dienst, um die Seite Dienstdetails zu öffnen.
Klicken Sie auf den Tab Container, um die Einstellungen aufzurufen.
gcloud
Verwenden Sie den folgenden Befehl:
gcloud run services describe SERVICE
Suchen Sie in der zurückgegebenen Konfiguration nach der GPU-Einstellung.
GPU entfernen
Sie können GPUs über die Google Cloud Console, die Google Cloud CLI oder YAML entfernen.
Console
Rufen Sie in der Google Cloud Console Cloud Run auf:
Wählen Sie im Cloud Run-Navigationsmenü die Option Dienste aus:
Wenn Sie einen neuen Dienst konfigurieren, klicken Sie auf Container bereitstellen und füllen Sie die Seite mit den anfänglichen Diensteinstellungen aus. Klicken Sie dann auf Container, Netzwerk, Sicherheit, um die Seite zur Dienstkonfiguration zu maximieren.
Wenn Sie einen vorhandenen Dienst konfigurieren, klicken Sie auf den Dienst.
Klicken Sie auf den Tab Container.
Heben Sie die Auswahl des Kästchens „GPU“ auf.
Klicken Sie auf Erstellen, um einen neuen Dienst zu erstellen. Klicken Sie auf Unterschied ansehen und erneut bereitstellen und dann auf Änderungen bereitstellen, um einen vorhandenen Dienst zu aktualisieren.
gcloud
Wenn Sie GPUs entfernen möchten, legen Sie die Anzahl der GPUs mit dem Befehl gcloud run services update auf 0 fest:
gcloud run services update SERVICE --gpu 0
Ersetzen Sie SERVICE durch den Namen Ihres Cloud Run-Dienstes.
YAML
Wenn Sie einen neuen Dienst erstellen, überspringen Sie diesen Schritt. Wenn Sie einen vorhandenen Dienst aktualisieren, laden Sie die zugehörige YAML-Konfiguration herunter:
gcloud run services describe SERVICE --format export > service.yaml
Löschen Sie die Zeilen
nvidia.com/gpu:undnodeSelector: run.googleapis.com/accelerator: GPU_TYPE.Erstellen oder aktualisieren Sie den Dienst mit dem folgenden Befehl:
gcloud run services replace service.yaml
Der Befehl
gcloud run services replaceverwendet standardmäßig die Dateiservice.yaml, falls vorhanden.
Treiberbibliotheken
Standardmäßig werden alle NVIDIA RTX PRO 6000 Blackwell-GPU- und NVIDIA L4-GPU-Treiberbibliotheken unter /usr/local/nvidia/lib64 bereitgestellt. Cloud Run hängt diesen Pfad automatisch an die Umgebungsvariable LD_LIBRARY_PATH (d.h. ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) des Containers mit der GPU an. Dadurch kann der dynamische Linker die NVIDIA-Treiberbibliotheken finden. Der Linker sucht und löst Pfade in der Reihenfolge auf, die Sie in der Umgebungsvariable LD_LIBRARY_PATH angeben. Alle Werte, die Sie in dieser Variable angeben, haben Vorrang vor dem Standardpfad für Cloud Run-Treiberbibliotheken /usr/local/nvidia/lib64.
Wenn Sie eine CUDA-Version höher als 13.0 verwenden möchten, ist es am einfachsten, von einem neueren NVIDIA-Basis-Image abzuhängen, auf dem bereits Pakete für die Aufwärtskompatibilität installiert sind. Eine weitere Möglichkeit besteht darin, die NVIDIA-Pakete für die Aufwärtskompatibilität manuell zu installieren und sie zu LD_LIBRARY_PATH hinzuzufügen. Sehen Sie sich die Kompatibilitätsmatrix von NVIDIA an, um zu ermitteln, welche CUDA-Versionen mit der bereitgestellten NVIDIA-Treiberversion aufwärtskompatibel sind.
GPUs und maximale Anzahl von Instanzen
Die Anzahl der Instanzen mit GPUs ist auf zwei Arten begrenzt:
- Mit der Einstellung Maximale Instanzen wird die Anzahl der Instanzen pro Dienst begrenzt. Dieser Wert darf nicht höher sein als das GPU-Kontingent pro Projekt und Region.
- Das Kontingent an GPUs, die pro Projekt und Region zulässig sind. Dadurch wird die Anzahl der Instanzen über verschiedene Dienste hinweg in derselben Region begrenzt.
Nächste Schritte
Anleitungen finden Sie unter KI-Inferenz in Cloud Run mit GPUs ausführen.