Configura un disco efímero para trabajos de Cloud Run

Cloud Run proporciona un volumen de disco efímero que persiste solo durante la duración de la instancia. Esta función te permite especificar la cantidad de disco que necesitas y la ubicación para activarlo. Luego, Cloud Run asignará esa cantidad de disco a tu recurso.

Los discos se aprovisionan automáticamente, se preformatean a ext4 y se encriptan con claves específicas de la instancia durante el inicio. El disco efímero crea tu volumen para que cualquier usuario pueda leer o escribir en él. Debido a que el almacenamiento es efímero, todos los datos se borran de forma permanente cuando se cierra la instancia. Esto incluye los cierres causados por lo siguiente:

  • Fallas de instancias
  • Finalización de tareas de trabajo (éxito o fracaso)

Los discos están dedicados a una instancia específica y no se comparten entre otras instancias. Tienes control sobre la estructura del sistema de archivos con un punto de activación configurable para cada volumen.

Antes de cerrar una instancia, Cloud Run envía una señal SIGTERM a todos los contenedores de una instancia, lo que indica el inicio de un período de 10 segundos antes de que se produzca el cierre real, momento en el que Cloud Run envía una señal SIGKILL. Puedes usar esta ventana de 10 segundos para realizar operaciones de limpieza, como una ronda final de copia del contenido del disco al almacenamiento persistente.

Casos de uso

Puedes usar el disco efímero para lo siguiente:

  • Cargas de trabajo de procesamiento de datos: Cuando procesas archivos de datos grandes en Cloud Run, por lo general, almacenas todo el archivo en la memoria o coordinas su división en partes más pequeñas. Con el almacenamiento efímero, no necesitarás pagar grandes cantidades de memoria para hacer una copia local temporal de tus datos. También podrás procesar conjuntos de datos más grandes.
  • Almacenamiento en caché: En los casos de uso de entrega web, el almacenamiento de datos en caché en el disco en lugar de recuperarlos del almacenamiento remoto puede optimizar la latencia de tu aplicación.

Límites de almacenamiento y de instancias

Se aplican los siguientes límites:

  • Límite de almacenamiento de instancias: De forma predeterminada, cada instancia está limitada a 10 GB de espacio total. Si es necesario, solicita un aumento de cuota.
  • Límite de volumen de instancias: Cada instancia está limitada a un máximo de 10 volúmenes.
  • Límite de proyecto: De forma predeterminada, cada proyecto está limitado a 100 GB por región. Si es necesario, solicita un aumento de cuota.

Solicita un aumento de la cuota

Los proyectos que usan un disco efímero de Cloud Run en una región por primera vez reciben automáticamente 10 GB por instancia, por límite de región y 100 GB por proyecto, por límite de región.

Si necesitas capacidad adicional, debes solicitar un aumento de cuota para tu trabajo de Cloud Run. Usa los vínculos que se proporcionan en los siguientes botones para solicitar la cuota que necesitas.

Cuota actual Vínculo de cuota
10 GB por instancia Solicita una cuota mayor por instancia
100 GB por proyecto Solicita una cuota mayor por proyecto

Para obtener más información sobre cómo solicitar aumentos de cuota, consulta Cómo aumentar la cuota.

Limitaciones

Se aplica la siguiente limitación:

  • El disco efímero solo está disponible en el entorno de ejecución de segunda generación. De forma predeterminada, los trabajos de Cloud Run usan el entorno de ejecución de segunda generación.
  • No se admite la migración en vivo. Esto significa que los trabajos de Cloud Run serán menos confiables, en especial los trabajos de larga duración.

Rutas no permitidas

Cloud Run no te permite activar un volumen en /dev, /proc y /sys, ni en sus subdirectorios.

Regiones admitidas

El disco efímero está disponible en todas las regiones de nivel 1. Si usas GPUs, el disco efímero está disponible en todas las regiones que admiten GPUs.

Antes de comenzar

  1. Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Instala e inicializa gcloud CLI.
  7. Actualiza los componentes, como se indica a continuación:
    gcloud components update
  8. Revisa la página de precios de Cloud Run para obtener información sobre la CPU, la memoria y la salida de red. El tamaño total del disco aprovisionado y la vida útil de la instancia que lo usa contribuyen a tu costo.

Roles obligatorios

Para obtener los permisos que necesitas para configurar un disco efímero, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener una lista de los roles y los permisos de IAM asociados con Cloud Run, consulta los roles de IAM de Cloud Run y los permisos de IAM de Cloud Run. Si tu trabajo de Cloud Run interactúa con Google Cloud las APIs, como las bibliotecas cliente de Cloud, consulta la guía de configuración de identidades del servicio. Para obtener más información sobre cómo otorgar roles, consulta permisos de implementación y administra el acceso.

Crea y activa un disco efímero

Puedes crear y activar un disco efímero con la Google Cloud consola de, Google Cloud CLI, YAML o Terraform:

Console

  1. En la Google Cloud consola de, ve a la página Trabajos de Cloud Run:

    Ir a Cloud Run

  2. Haz clic en Implementar contenedor para completar la página de configuración de trabajo inicial. Si quieres configurar un trabajo existente, selecciona el trabajo y, luego, haz clic en Ver y editar la configuración del trabajo.

  3. Haz clic en Contenedores, Conexiones, Seguridad para expandir la página de propiedades del trabajo.

  4. Haz clic en la pestaña Contenedor.

    • En Recursos:
      • Selecciona Disco efímero.
      • Especifica el tamaño del disco efímero en el menú.
      • Ingresa la ruta de activación.
  5. Haz clic en Crear o Actualizar.

gcloud

Para agregar un volumen y activarlo, sigue estos pasos:

gcloud beta run jobs update JOB \
    --add-volume=name=VOLUME_NAME,type=ephemeral-disk,size=SIZE \
    --add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH

Reemplaza lo siguiente:

  • JOB: el nombre de tu trabajo.
  • VOLUME_NAME: el nombre que deseas darle a tu volumen.
  • SIZE: el tamaño del disco, por ejemplo, 100Gi. El tamaño debe ser de al menos 10Gi para los volúmenes ephemeral-disk.
  • MOUNT_PATH: la ruta de acceso relativa en la que activarás el volumen, por ejemplo, /mnt/my-volume.

YAML

  1. Si creas un trabajo nuevo, omite este paso. Si actualizas un trabajo existente, descarga su configuración de YAML:

    gcloud run jobs describe JOB_NAME --format export > job.yaml
  2. Configura el archivo YAML:

    apiVersion: run.googleapis.com/v1
    kind: Job
    metadata:
      name: JOB
      labels:
        cloud.googleapis.com/location: REGION
      annotations:
        run.googleapis.com/launch-stage: BETA
    spec:
      template:
        spec:
          template:
            spec:
              volumes:
              - name: VOLUME_NAME
                emptyDir:
                  medium: Disk
                  sizeLimit: SIZE
              containers:
              - image: IMAGE_URL
                volumeMounts:
                - name: VOLUME_NAME
                  mountPath: MOUNT_PATH
    

    Reemplaza lo siguiente:

    • JOB: el nombre de tu trabajo.
    • REGION: La Google Cloud región.
    • IMAGE_URL: una referencia a la imagen del contenedor, por ejemplo, us-docker.pkg.dev/cloudrun/container/job:latest.
    • VOLUME_NAME: el nombre que deseas darle a tu volumen.
    • MOUNT_PATH: la ruta de acceso relativa en la que activarás el volumen, por ejemplo, /mnt/my-volume.
    • SIZE: el tamaño del disco, por ejemplo, 100Gi. El tamaño debe ser de al menos 10Gi para los volúmenes ephemeral-disk.
  3. Crea o actualiza el servicio con el siguiente comando:

    gcloud run jobs replace job.yaml

    El comando gcloud run jobs replace usa de forma predeterminada el archivo job.yaml si está presente.

Terraform

Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform.

Agrega lo siguiente a un google_cloud_run_v2_job recurso en la configuración de Terraform:
  resource "google_cloud_run_v2_job" "default" {
    name     = "JOB"
    location = "REGION"
    deletion_protection = "true"
    launch_stage = "BETA"
    template {
      template {
        containers {
          image = "IMAGE_URL"
      volume_mounts {
        name = "VOLUME_NAME"
        mount_path = "MOUNT_PATH"
      }
        }
        volumes {
          name = "VOLUME_NAME"
      empty_dir {
        medium = "DISK"
        size_limit = "SIZE"
      }
        }
      }
    }
    lifecycle {
      ignore_changes = [
        launch_stage,
      ]
    }
  }

Reemplaza lo siguiente:

  • JOB: el nombre de tu trabajo.
  • REGION: La Google Cloud región.
  • IMAGE_URL: una referencia a la imagen del contenedor, por ejemplo, us-docker.pkg.dev/cloudrun/container/job:latest.
  • VOLUME_NAME: el nombre que deseas darle a tu volumen.
  • MOUNT_PATH: la ruta de acceso relativa en la que activarás el volumen, por ejemplo, /mnt/my-volume.
  • SIZE: el tamaño del disco, por ejemplo, 100Gi. El tamaño debe ser de al menos 10Gi para los volúmenes ephemeral-disk.

Leer y escribir en un volumen

Si usas la función de activación de volúmenes de Cloud Run, accedes a un volumen activado con las mismas bibliotecas en tu lenguaje de programación que usas para leer y escribir archivos en tu sistema de archivos local.

Esto es muy útil si usas un contenedor existente que espera que los datos se almacenen en el sistema de archivos local y usa operaciones regulares del sistema de archivos para acceder a él.

En los siguientes fragmentos, se supone una activación de volumen con una mountPath configurada como /mnt/my-volume.

Nodejs

Usa el módulo del sistema de archivos para crear un archivo nuevo o agregarlo a uno existente en el volumen, /mnt/my-volume:

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

Python

Escribe en un archivo mantenido en el volumen, /mnt/my-volume:

f = open("/mnt/my-volume/sample-logfile.txt", "a")

Go

Usa el paquete os para crear un archivo nuevo mantenido en el volumen, /mnt/my-volume:

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

Java

Usa la clase Java.io.File para crear un archivo de registro en el volumen, /mnt/my-volume:

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Borra y quita volúmenes y activaciones de volúmenes

Puedes borrar todos los volúmenes y sus activaciones, o bien quitar volúmenes y activaciones individuales.

Borra todos los volúmenes y sus activaciones

Para borrar todos los volúmenes y sus activaciones de tu trabajo de un solo contenedor, ejecuta el siguiente comando:

gcloud run jobs update JOB \
    --clear-volumes
    --clear-volume-mounts

Si tienes varios contenedores, sigue las convenciones de la CLI de sidecars para borrar volúmenes y activaciones de volúmenes:

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container1 \
    --clear-volumes \
    -–clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    -–clear-volume-mounts

Quita volúmenes y activaciones individuales

Para quitar un volumen, también debes quitar todas las activaciones que lo usen.

Para quitar volúmenes o activaciones de volúmenes individuales, usa las marcas remove-volume y remove-volume-mount:

gcloud run jobs update JOB \
    --remove-volume VOLUME_NAME
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH

Prácticas recomendadas

Cumple con las siguientes prácticas recomendadas para administrar de manera eficaz los datos efímeros y optimizar el rendimiento del almacenamiento.

Copia al almacenamiento persistente

Si deseas copiar el contenido del disco efímero al almacenamiento persistente, como un bucket de Cloud Storage, te recomendamos que lo copies de forma incremental, en lugar de depender del período de gracia de 10 segundos de SIGTERM a SIGKILL. Consulta el contrato de tiempo de ejecución del contenedor para obtener más información sobre los cierres forzados.

Cloud Run puede leer y escribir desde Cloud Storage sin ninguna configuración de red adicional. Para lograr un rendimiento óptimo, te recomendamos que enrutes el tráfico hacia y desde Cloud Storage a través de una red de VPC con VPC directa.

Este método funciona si no necesitas que el recurso de Cloud Run acceda a Internet. Si necesitas acceso a Internet, configura Cloud NAT o consulta Tráfico interno a una API de Google.

Para configurar la salida de VPC directa con un trabajo, completa los siguientes pasos:

  1. En la Google Cloud consola de, ve a la página Cloud Run:

    Ir a Cloud Run

  2. Si quieres configurar un nuevo trabajo, haz clic en la pestaña Trabajos y selecciona Implementar contenedor. Completa la página de configuración de trabajo inicial según sea necesario. Si quieres configurar un trabajo existente, haz clic en el trabajo y, luego, en Ver y editar la configuración del trabajo.

  3. Haz clic en Contenedores, Conexiones, Seguridad para expandir la página de propiedades del trabajo.

  4. Haz clic en la pestaña Conexiones.

  5. Haz clic en Conéctate a una VPC para el tráfico saliente.

  6. Haz clic en Enviar tráfico de forma directa a una VPC.

  7. En el campo Red, selecciona la red de VPC a la que deseas enviar tráfico.

  8. En el campo Subred, selecciona la subred desde la que tu trabajo recibe direcciones IP. Puedes ejecutar varios trabajos en la misma subred.

  9. En Enrutamiento de tráfico, selecciona una opción Enrutar todo el tráfico a la VPC para enviar todo el tráfico saliente a través de la red de VPC.

  10. Haz clic en Crear o Actualizar.

  11. Para verificar que tu trabajo esté en la red de VPC, haz clic en el trabajo y, luego, en la pestaña Configuración. Las redes y las subredes se detallan en la tarjeta VPC.

  12. Habilita el Acceso privado a Google en la subred a la que te conectaste.

Solucionar problemas

Si ves velocidades de red lentas cuando descargas una gran cantidad de datos en tu disco efímero, sigue los pasos para activar la VPC directa. Si la VPC directa no está habilitada, verás velocidades de transferencia de red más lentas.