Transcodificación de video acelerada por GPU con FFmpeg en trabajos de Cloud Run

En este instructivo, se describe cómo transcodificar videos sin conexión de baja prioridad con trabajos de Cloud Run.

Objetivos

En este instructivo, harás lo siguiente:

• Crea buckets de Cloud Storage para almacenar los videos que se procesarán y los resultados de la codificación.
• Implementa un trabajo de Cloud Run con GPUs para acelerar la transcodificación de video.
• Ejecuta el trabajo y asegúrate de que el video se haya transcodificado correctamente.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Cloud Build
• Artifact Registry
• Cloud Run

Para obtener una estimación de costos en función del uso previsto, usa la calculadora de precios.

Es posible que los usuarios nuevos de Google Cloud cumplan con los requisitos para acceder a una prueba gratuita.

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes Acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Create or select a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Install the Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes Acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Create or select a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

1. Enable the Cloud Run, Artifact Registry, and Cloud Build APIs:

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   gcloud services enable run.googleapis.com cloudbuild.googleapis.com artifactregistry.googleapis.com

2. Configura tu región como una variable de entorno:

   export REGION=REGION

3. Crea una cuenta de servicio:

   gcloud iam service-accounts create video-encoding

4. Solicita Total Nvidia L4 GPU allocation without zonal redundancy, per project per region en la API de Cloud Run Admin en la página Cuotas y límites del sistema para completar este instructivo. Como alternativa, puedes implementar un servicio de Cloud Run para recibir automáticamente una concesión de 3 cuotas de GPU nvidia-l4 (redundancia zonal desactivada) para una región.

Roles obligatorios

Si quieres obtener los permisos que necesitas para completar el instructivo, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

• Administrador del repositorio de Artifact Registry (roles/artifactregistry.repoAdmin)
• Editor de Cloud Build (roles/cloudbuild.builds.editor)
• Administrador de Cloud Run (roles/run.admin)
• Crea cuentas de servicio (roles/iam.serviceAccountCreator)
• Usuario de cuenta de servicio (roles/iam.serviceAccountUser)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Nota: Los roles básicos de IAM también pueden contener permisos para completar el instructivo. No deberías otorgar roles básicos en un entorno de producción, pero puedes otorgarlos en un entorno de desarrollo o de prueba.

Otorga los roles

Console

1. En la consola de Google Cloud , dirígete a la página IAM.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Otorgar acceso.

4. En el campo Principales nuevas, ingresa tu identificador de usuario. Por lo general, es la dirección de correo electrónico que se usa para implementar el servicio de Cloud Run.

5. En la lista Seleccionar un rol, elige uno.
6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega cada rol adicional.
7. Haz clic en Guardar.

gcloud

Para otorgar los roles de IAM necesarios a tu cuenta en tu proyecto, sigue estos pasos:

     gcloud projects add-iam-policy-binding PROJECT_ID \
         --member=PRINCIPAL \
         --role=ROLE
     

Reemplaza lo siguiente:

• PROJECT_NUMBER por el número de tu proyecto Google Cloud .
• PROJECT_ID por el ID de tu proyecto Google Cloud .
• PRINCIPAL por la cuenta a la que agregarás la vinculación. Por lo general, es la dirección de correo electrónico que se usa para implementar el servicio de Cloud Run.
• ROLE con el rol que agregas a la cuenta del implementador.

Prepara tu solicitud

A fin de recuperar la muestra de código para su uso, haz lo siguiente:

1. Clona el repositorio de muestra en tu máquina local:

   git clone https://github.com/GoogleCloudPlatform/cloud-run-samples
   

2. Ve al directorio que contiene el código de muestra de Cloud Run:

   cd cloud-run-samples/jobs-video-encoding
   

Crea buckets de Cloud Storage

Para almacenar los videos que se procesarán y guardar los resultados de la codificación, crea los siguientes dos buckets de Cloud Storage:

1. Crea un bucket para almacenar videos antes de procesarlos:

   gcloud storage buckets create gs://preprocessing-PROJECT_ID \
     --location LOCATION
   

   Reemplaza lo siguiente:

   • PROJECT_ID: el ID de tu proyecto
   • LOCATION: Es la ubicación de Cloud Storage.

2. Otorga a la cuenta de servicio acceso de lectura a este bucket:

   gcloud storage buckets add-iam-policy-binding gs://preprocessing-PROJECT_ID \
     --member="serviceAccount:video-encoding@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/storage.objectViewer"
   

   Reemplaza PROJECT_ID con el ID del proyecto.

3. Crea un bucket para almacenar los videos transcodificados después del procesamiento:

   gcloud storage buckets create gs://transcoded-PROJECT_ID \
     --location LOCATION
   

   Reemplaza lo siguiente:

   • PROJECT_ID: el ID de tu proyecto
   • LOCATION: Es la ubicación de Cloud Storage.

4. Otorga a la cuenta de servicio acceso para leer y escribir en este bucket:

   gcloud storage buckets add-iam-policy-binding gs://transcoded-PROJECT_ID \
     --member="serviceAccount:video-encoding@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/storage.objectAdmin"
   

   Reemplaza PROJECT_ID con el ID del proyecto.

Implementa un trabajo de Cloud Run

Crea un trabajo de Cloud Run con el Dockerfile del repositorio de muestra y monta los buckets que creaste:

1. Navega al directorio de muestra:

   cd cloud-run-samples/jobs-video-encoding
   

1. Crea un Artifact Registry si el registro predeterminado de Cloud Run aún no existe:

   gcloud artifacts repositories create cloud-run-source-deploy \
     --repository-format=docker \
     --location LOCATION
   

   Reemplaza LOCATION por el nombre de la ubicación del registro.

2. Compila la imagen del contenedor:

   gcloud builds submit \
     --tag LOCATION-docker.pkg.dev/PROJECT_ID/cloud-run-source-deploy/IMAGE_NAME \
     --machine-type E2-HIGHCPU-32
   

   Reemplaza lo siguiente:

   • PROJECT_ID: el ID de tu proyecto
   • LOCATION:Es el nombre de la ubicación del registro.
   • IMAGE_NAME: Es el nombre de la imagen del contenedor, por ejemplo, ffmpeg-image.

   Cloud Run usa un tipo de máquina más grande para reducir el tiempo de compilación.

3. Implementa el trabajo:

   gcloud run jobs create video-encoding-job \
       --image LOCATION-docker.pkg.dev/PROJECT_ID/cloud-run-source-deploy/IMAGE_NAME \
       --region REGION \
       --memory 32Gi \
       --cpu 8 \
       --gpu 1 \
       --gpu-type nvidia-l4 \
       --no-gpu-zonal-redundancy \
       --max-retries 1 \
       --service-account video-encoding@PROJECT_ID.iam.gserviceaccount.com \
       --add-volume=name=input-volume,type=cloud-storage,bucket=preprocessing-PROJECT_ID,readonly=true \
       --add-volume-mount=volume=input-volume,mount-path=/inputs \
       --add-volume=name=output-volume,type=cloud-storage,bucket=transcoded-PROJECT_ID \
       --add-volume-mount=volume=output-volume,mount-path=/outputs
   

   Reemplaza lo siguiente:

   • PROJECT_ID: el ID de tu proyecto
   • REGION: es el nombre de la región. Nota: Debe ser la misma región para la que tienes cuota de GPU.
   • IMAGE_NAME: Es el nombre de la imagen del contenedor, por ejemplo, ffmpeg-image.

   Si es la primera vez que implementas desde la fuente en este proyecto, Cloud Run te solicitará que crees un repositorio predeterminado de Artifact Registry.

Ejecuta el trabajo

Para ejecutar el trabajo, sigue estos pasos:

1. Sube un video de ejemplo para codificar:

   gcloud storage cp gs://cloud-samples-data/video/cat.mp4 gs://preprocessing-PROJECT_ID
   

2. Ejecute el trabajo:

   gcloud run jobs execute video-encoding-job  \
       --region REGION \
       --wait \
       --args="cat.mp4,encoded_cat.mp4,-vcodec,h264_nvenc,-cq,21,-movflags,+faststart"
   

   El archivo entrypoint.sh requiere un archivo de entrada, un archivo de salida y cualquier argumento que se envíe a FFmpeg.

3. Revisa los registros de Cloud Run para asegurarte de que el video se transcodificó:

   gcloud run jobs logs read video-encoding-job --region REGION
   

4. Descarga el video transcodificado:

   gcloud storage cp gs://transcoded-PROJECT_ID/encoded_cat.mp4 .
   

Realiza una limpieza

Para evitar cargos adicionales en tu cuenta de Google Cloud , borra todos los recursos que implementaste con esta guía de inicio rápido.

Borra tu repositorio

Cloud Run solo cobra por el tiempo que se ejecuta tu trabajo. Sin embargo, es posible que se te cobre por almacenar la imagen del contenedor en Artifact Registry. Para borrar repositorios de Artifact Registry, sigue los pasos que se indican en Borra repositorios en la documentación de Artifact Registry.

Borra tu trabajo

Los trabajos de Cloud Run solo generan costos cuando se ejecuta una tarea del trabajo. Para borrar tu trabajo de Cloud Run, sigue uno de estos pasos:

Console

Para borrar un trabajo, sigue estos pasos:

1. En la consola Google Cloud , ve a Cloud Run:

   Ir a Cloud Run

2. Ubica el trabajo que deseas borrar en la lista de trabajos y haz clic en su casilla de verificación para seleccionarlo.

3. Haz clic en Borrar. Esto finaliza todas las ejecuciones de trabajos en curso y todas las instancias de contenedor en ejecución.

gcloud

Para borrar un trabajo, ejecuta el siguiente comando:

gcloud run jobs delete JOB_NAME

Reemplaza JOB_NAME por el nombre del trabajo.

Borra tu proyecto de prueba

Si borras tu proyecto de Google Cloud , se detendrá la facturación de todos los recursos que contenga. Para liberar todos los recursos Google Cloud de tu proyecto, sigue estos pasos:

Precaución: Borrar un proyecto tiene las siguientes consecuencias:
• Se borra todo el contenido. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los IDs personalizados de los proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID personalizado del proyecto que desees utilizar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto, en lugar de todo el proyecto.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

¿Qué sigue?

• Explora otras demostraciones, instructivos y muestras de Cloud Run.