Usa GPUs para ejecutar la inferencia de IA en Cloud Run. Si no conoces los conceptos de IA, consulta GPUs para IA. Las GPUs se usan para entrenar y ejecutar modelos de IA. Esto puede ofrecerte un rendimiento más estable con la capacidad de escalar las cargas de trabajo en función de tu utilización general. Consulta la información sobre la compatibilidad con GPU de servicios, trabajos y grupos de trabajadores para obtener más información sobre las configuraciones de GPU.
Tutoriales de servicios
- Ejecutar inferencias de LLMs en GPUs de Cloud Run con Gemma 3 y Ollama
- Ejecutar Gemma 3 en Cloud Run
- Ejecutar la inferencia de LLMs en GPUs de Cloud Run con vLLM
- Ejecutar OpenCV en Cloud Run con aceleración de GPU
- Ejecutar la inferencia de LLMs en GPUs de Cloud Run con Hugging Face Transformers.js
- Ejecutar la inferencia de LLMs en GPUs de Cloud Run con Hugging Face TGI
Tutoriales sobre empleos
- Ajustar LLMs con GPUs mediante tareas de Cloud Run
- Ejecutar inferencia por lotes con GPUs en tareas de Cloud Run
- Transcodificación de vídeo acelerada por GPU con FFmpeg en tareas de Cloud Run