Configura GPUs para trabajos de Cloud Run

En esta página, se describe la configuración de GPU para tus trabajos de Cloud Run. Las GPU funcionan bien para las cargas de trabajo de IA, como el entrenamiento de modelos de lenguaje grandes (LLM) con tus frameworks preferidos, la realización de inferencias por lotes o sin conexión en LLM y el control de otras tareas con gran demanda de procesamiento, como el procesamiento de videos y la renderización de gráficos como trabajos en segundo plano. Google proporciona la GPU NVIDIA RTX PRO 6000 Blackwell con 96 GB de memoria de GPU (VRAM) y las GPU NVIDIA L4 con 24 GB de memoria de GPU (VRAM), que es independiente de la memoria de la instancia.

La GPU en Cloud Run está completamente administrada, sin necesidad de controladores ni bibliotecas adicionales. La función de GPU ofrece disponibilidad a pedido sin necesidad de reservas, similar a la forma en que funcionan la CPU y la memoria a pedido en Cloud Run.

Las instancias de Cloud Run con una GPU NVIDIA RTX PRO 6000 Blackwell o una GPU L4 conectada con controladores preinstalados comienzan en aproximadamente 5 segundos, momento en los que los procesos que se ejecutan en tu contenedor pueden comenzar a usar la GPU.

Puedes configurar una GPU por instancia de Cloud Run. Si usas contenedores secundarios, ten en cuenta que la GPU solo se puede conectar a un contenedor.

Tipos de GPU compatibles

Cloud Run admite dos tipos de GPU:

  • GPU NVIDIA RTX PRO 6000 Blackwell con la versión actual del controlador de NVIDIA: 580.x.x (13.0). Para la GPU NVIDIA RTX PRO 6000 Blackwell, debes usar un mínimo de 20 CPU y 80 GiB de memoria.
  • GPU L4 con la versión actual del controlador de NVIDIA: 580.x.x (13.0). Para las GPU L4, debes usar un mínimo de 4 CPU y 16 GiB de memoria.

Regiones admitidas

La GPU NVIDIA RTX PRO 6000 Blackwell admite las siguientes regiones:

La GPU L4 admite las siguientes regiones:

  • asia-southeast1 (Singapur)
  • asia-south1 (Bombay) . Esta región solo está disponible por invitación. Comunícate con tu equipo de Cuentas de Google si te interesa esta región.
  • europe-west1 (Bélgica) ícono de hoja Bajo nivel de CO2
  • europe-west4 (Países Bajos) ícono de hoja Bajo nivel de CO2
  • us-central1 (Iowa) ícono de hoja Bajo nivel de CO2 . Es posible que el escalamiento de recursos adicionales en esta región requiera una solicitud de aumento de cuota. Comunícate con tu equipo de Cuentas de Google si te interesa esta región.
  • us-east4 (Virginia del Norte) . Es posible que el escalamiento de recursos adicionales en esta región requiera una solicitud de aumento de cuota. Comunícate con tu equipo de Cuentas de Google si te interesa esta región.

Impacto en los precios

Consulta los precios de Cloud Run para obtener detalles sobre los precios de las GPU. Ten en cuenta los siguientes requisitos y consideraciones:

  • Las GPU para trabajos siguen los precios sin redundancia zonal.
  • La configuración de CPU y memoria de tu recurso.
  • La GPU se factura por la duración completa del ciclo de vida de la instancia.

Redundancia no zonal de GPU

La función de trabajos de Cloud Run proporciona compatibilidad con la redundancia no zonal solo para las instancias habilitadas para GPU. Con la redundancia no zonal habilitada, Cloud Run intenta realizar la conmutación por error para los trabajos habilitados para GPU de la mejor manera posible. Cloud Run enruta las ejecuciones de trabajos a otras zonas solo si hay suficiente capacidad de GPU disponible en ese momento. Esta opción no garantiza la capacidad reservada para situaciones de conmutación por error, pero genera un costo más bajo por segundo de GPU.

Consulta Configura un trabajo de Cloud Run con GPU para obtener detalles sobre cómo habilitar la redundancia no zonal.

Solicita un aumento de la cuota

La cuota para las GPU de Cloud Run nvidia-rtx-pro-6000 se otorga en mili-GPU. A los proyectos que usen GPUs nvidia-rtx-pro-6000 en una región por primera vez, se les otorgará automáticamente una cuota de 3,000 milliGPUs (con la redundancia zonal desactivada) cuando se cree la primera implementación. Esto equivale a 3 GPU. A los proyectos que usan GPUs de Cloud Run nvidia-l4 en una región por primera vez, se les otorga automáticamente una cuota de 3 GPUs (con la redundancia zonal desactivada) cuando se crea la primera implementación.

Ten en cuenta que este otorgamiento automático de cuota está sujeto a disponibilidad según tu capacidad de CPU y memoria. Esto limita la cantidad de GPUs que podrían estar activas en todos los servicios, trabajos y grupos de trabajadores del proyecto en cualquier momento.

Si necesitas GPUs de Cloud Run adicionales para los trabajos, solicita un aumento de cuota.

Antes de comenzar

En la siguiente lista, se describen los requisitos y las limitaciones que se aplican cuando se usan GPUs en Cloud Run:

  1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Habilita la API de Cloud Run si aún no está habilitada.

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén información para otorgar roles.

    Habilitar la API

  7. Consulta Prácticas recomendadas: Trabajos de Cloud Run con GPU para optimizar el rendimiento cuando usas trabajos de Cloud Run con GPU.

Roles obligatorios

Para obtener los permisos que necesitas para configurar los trabajos de Cloud Run, pídele a tu administrador que te otorgue los siguientes roles de IAM en los trabajos:

  • Desarrollador de Cloud Run (roles/run.developer): el trabajo de Cloud Run
  • Usuario de la cuenta de servicio (roles/iam.serviceAccountUser): la identidad del servicio

Para obtener una lista de los roles y los permisos de IAM asociados con Cloud Run, consulta los roles de IAM de Cloud Run y los permisos de IAM de Cloud Run. Si tu trabajo de Cloud Run interactúa con las APIs deGoogle Cloud , como las bibliotecas cliente de Cloud, consulta la guía de configuración de identidades del servicio. Para obtener más información sobre cómo otorgar roles, consulta los permisos de implementación y cómo administrar el acceso.

Configura un trabajo de Cloud Run para usar GPUs

Puedes configurar un trabajo de Cloud Run para que use GPUs con la consola deGoogle Cloud , gcloud CLI o YAML:

Console

  1. En la consola de Google Cloud , ve a la página de Cloud Run:

    Ir a Cloud Run

  2. Selecciona Trabajos en el menú de navegación de Cloud Run:

    1. Si creas un trabajo nuevo, haz clic en Implementar contenedor para completar la página de configuración inicial del trabajo.

    2. Si quieres configurar un trabajo existente, selecciónalo y, luego, haz clic en Ver y editar la configuración del trabajo.

  3. Haz clic en Contenedores, Conexiones, Seguridad para expandir la página de propiedades del trabajo.

  4. En la pestaña Contenedores, configura la memoria y la CPU según los requisitos de Tipos de GPU compatibles.

  5. Selecciona la casilla de verificación GPU.

  6. Selecciona el tipo de GPU en el menú Tipo de GPU y la cantidad de GPU en el menú Cantidad de GPU.

  7. Haz clic en Crear o Actualizar.

gcloud

Para habilitar la redundancia no zonal, debes especificar --no-gpu-zonal-redundancy. Esto es necesario para usar la GPU con trabajos.

  • Para crear un trabajo con las GPU habilitadas, ejecuta el siguiente comando:

    gcloud run jobs create JOB \
  --image=IMAGE_URL \
  --gpu=1 \
  --no-gpu-zonal-redundancy

    Reemplaza lo siguiente:

    • JOB por el nombre del trabajo de Cloud Run.
    • IMAGE_URL: Es una referencia a la imagen del contenedor, por ejemplo, us-docker.pkg.dev/cloudrun/container/job:latest.

  • Para actualizar la configuración de GPU de un trabajo existente, ejecuta el siguiente comando:

    gcloud run jobs update JOB \
  --image IMAGE_URL \
  --cpu CPU \
  --memory MEMORY \
  --gpu GPU_NUMBER \
  --gpu-type GPU_TYPE \
  --parallelism PARALLELISM \
  --no-gpu-zonal-redundancy

    Reemplaza lo siguiente:

    • JOB por el nombre del trabajo de Cloud Run.
    • IMAGE_URL: Es una referencia a la imagen del contenedor, por ejemplo, us-docker.pkg.dev/cloudrun/container/job:latest.
    • CPU: es la cantidad de CPU. Para la GPU NVIDIA RTX PRO 6000 Blackwell, debes especificar al menos 20 CPU. Para la GPU L4, debes especificar al menos 4 CPU.
    • MEMORY: Es la cantidad de memoria. Para la GPU NVIDIA RTX PRO 6000 Blackwell, debes especificar al menos 80Gi (80 GiB). Para la GPU L4, debes especificar al menos 16Gi (16 GiB).
    • GPU_NUMBER: el valor 1 (uno). Si no se especifica, pero hay un GPU_TYPE presente, el valor predeterminado es 1.
    • GPU_TYPE es el tipo de GPU. Para la GPU NVIDIA RTX PRO 6000 Blackwell, ingresa nvidia-rtx-pro-6000. Para la GPU L4, ingresa nvidia-l4 (nvidia-L4 con "L" minúscula, no el valor numérico catorce).
    • PARALLELISM: Es un valor entero menor que el valor más bajo de los límites de cuota aplicables que asignaste para tu proyecto.

YAML

Debes configurar la anotación run.googleapis.com/gpu-zonal-redundancy-disabled: como true. Esto habilita la redundancia no zonal, que es necesaria para las GPU de los trabajos.

  1. Si creas un trabajo nuevo, omite este paso. Si actualizas un trabajo existente, descarga su configuración de YAML:

    gcloud run jobs describe JOB --format export > job.yaml

  2. Actualiza el atributo nvidia.com/gpu, annotations: run.googleapis.com/launch-stage para la etapa de lanzamiento y nodeSelector:
    run.googleapis.com/accelerator    :

    apiVersion: run.googleapis.com/v1
kind: Job
metadata:
  name: JOB
  labels:
    cloud.googleapis.com/location: REGION
spec:
  template:
    metadata:
      annotations:
        run.googleapis.com/gpu-zonal-redundancy-disabled: 'true'
    spec:
      template:
        spec:
          containers:
          - image: IMAGE_URL
            limits:
              cpu: 'CPU'
              memory: 'MEMORY'
              nvidia.com/gpu: 'GPU_NUMBER'
          nodeSelector:
            run.googleapis.com/accelerator: GPU_TYPE

    Reemplaza lo siguiente:

    • JOB por el nombre del trabajo de Cloud Run.
    • REGION: La Google Cloud región Por ejemplo, europe-west1.
    • IMAGE_URL: Es una referencia a la imagen del contenedor, por ejemplo, us-docker.pkg.dev/cloudrun/container/job:latest.
    • CPU: Es la cantidad de CPU. Para la GPU NVIDIA RTX PRO 6000 Blackwell, debes especificar al menos 20 CPU. Para la GPU L4, debes especificar al menos 4 CPU.
    • MEMORY: Es la cantidad de memoria. Para la GPU NVIDIA RTX PRO 6000 Blackwell, debes especificar al menos 80Gi (80 GiB). Para la GPU L4, debes especificar al menos 16Gi (16 GiB).
    • GPU_NUMBER: el valor 1 (uno) porque solo se admite adjuntar una GPU por instancia de Cloud Run.
    • GPU_TYPE es el tipo de GPU. Para la GPU NVIDIA RTX PRO 6000 Blackwell, ingresa nvidia-rtx-pro-6000. Para la GPU L4, ingresa el valor nvidia-l4 (nvidia-L4 con "L" minúscula, no el valor numérico catorce).

  3. Crea o actualiza el servicio con el siguiente comando:

    gcloud run jobs replace job.yaml

    El comando gcloud run jobs replace usa de forma predeterminada el archivo job.yaml si está presente.

Visualiza la configuración de GPU

Para ver la configuración actual de GPU de tu trabajo de Cloud Run, usa la consola de Google Cloud o Google Cloud CLI:

Console

  1. En la consola de Google Cloud , ve a la página de trabajos de Cloud Run:

    Ir a Trabajos de Cloud Run

  2. Haz clic en el trabajo para abrir la página Detalles del trabajo.

  3. Haz clic en Ver y editar la configuración del trabajo.

  4. Ubica la configuración de la GPU en los detalles de configuración.

gcloud

  1. Ejecuta el comando siguiente:

    gcloud run jobs describe JOB

  2. Busca el parámetro de configuración de GPU en la configuración que se muestra.

Desconecta recursos de GPU de un trabajo

Puedes desconectar recursos de GPU de un trabajo con la consola de Google Cloud , la gcloud CLI o YAML:

Console

  1. En la consola de Google Cloud , ve a la página de Cloud Run:

    Ir a Cloud Run

  2. Selecciona Trabajos en el menú de navegación de Cloud Run:

    1. Si creas un trabajo nuevo, haz clic en Implementar contenedor para completar la página de configuración inicial del trabajo.

    2. Si quieres configurar un trabajo existente, selecciónalo y, luego, haz clic en Ver y editar la configuración del trabajo.

  3. Haz clic en Contenedores, Conexiones, Seguridad para expandir la página de propiedades del trabajo.

  4. En la pestaña Contenedores, desmarca la casilla de verificación GPU.

  5. Haz clic en Actualizar.

gcloud

Para desconectar los recursos de GPU de tu trabajo de Cloud Run, establece la cantidad de GPU en 0 con el comando gcloud run jobs update:

gcloud run jobs update JOB --gpu 0

Reemplaza JOB por el nombre del trabajo de Cloud Run.

YAML

  1. Si creas un trabajo nuevo, omite este paso. Si actualizas un trabajo existente, descarga su configuración de YAML:

    gcloud run jobs describe JOB --format export > job.yaml

  2. Borra las líneas nvidia.com/gpu:, run.googleapis.com/gpu-zonal-redundancy-disabled: 'true' y nodeSelector:
    run.googleapis.com/accelerator: GPU_TYPE    .

  3. Crea o actualiza el servicio con el siguiente comando:

    gcloud run jobs replace job.yaml

    El comando gcloud run jobs replace usa de forma predeterminada el archivo job.yaml si está presente.

Bibliotecas de controladores

De forma predeterminada, todas las bibliotecas de controladores de GPU NVIDIA RTX PRO 6000 Blackwell y GPU NVIDIA L4 se activan en /usr/local/nvidia/lib64. Cloud Run agrega automáticamente esta ruta a la variable de entorno LD_LIBRARY_PATH (es decir, ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) del contenedor con la GPU. Esto permite que el vinculador dinámico encuentre las bibliotecas de controladores de NVIDIA. El vinculador busca y resuelve rutas de acceso en el orden que indicas en la variable de entorno LD_LIBRARY_PATH. Cualquier valor que especifiques en esta variable tiene prioridad sobre la ruta predeterminada de las bibliotecas de controladores de Cloud Run /usr/local/nvidia/lib64.

Si quieres usar una versión de CUDA superior a 13.0, la forma más fácil es depender de una imagen base de NVIDIA más reciente con paquetes de retrocompatibilidad ya instalados. Otra opción es instalar de forma manual los paquetes de compatibilidad con versiones posteriores de NVIDIA y agregarlos a LD_LIBRARY_PATH. Consulta la matriz de compatibilidad de NVIDIA para determinar qué versiones de CUDA son compatibles con la versión del controlador de NVIDIA proporcionada.

Acerca de las GPU y el paralelismo

Si ejecutas tareas paralelas en una ejecución de trabajo, determina y establece el valor de paralelismo en un valor inferior a la cuota de GPU sin redundancia zonal asignada para tu proyecto. Para solicitar un aumento de cuota, consulta Cómo aumentar la cuota. Las tareas de GPU se inician lo más rápido posible y alcanzan un máximo que varía según la cuota de GPU que asignaste para el proyecto y la región seleccionada. Las implementaciones de Cloud Run fallan si estableces el paralelismo en un valor superior al límite de la cuota de GPU.

Para calcular la cuota de GPU que usa tu trabajo por ejecución, multiplica la cantidad de GPU por tarea de trabajo por el valor de paralelismo. Por ejemplo, si tienes una cuota de GPU de 10 y implementas tu trabajo de Cloud Run con --gpu=1, --parallelism=10, tu trabajo consumirá toda la cuota de 10 GPU. Como alternativa, si implementas con --gpu=1, --parallelism=20, las implementaciones fallarán.

Para obtener más información, consulta Prácticas recomendadas: Trabajos de Cloud Run con GPUs.

¿Qué sigue?

Consulta Ejecuta la inferencia de IA en Cloud Run con GPUs para ver instructivos.