Executar inferência de IA no Cloud Run com GPUs

Com o Cloud Run, é possível anexar GPUs para implantar modelos abertos e veicular inferência de IA. É possível treinar, ajustar e executar modelos com performance acelerada.

Se você não conhece os conceitos de IA, consulte GPUs para IA. Para saber mais sobre as opções de configuração, consulte o suporte a GPU para serviços, jobs e pools de worker.

Tutoriais para serviços

• Executar o Gemma no Cloud Run
• Executar inferência de LLM em GPUs do Cloud Run com o Gemma e o Ollama
• Executar o OpenCV no Cloud Run com aceleração de GPU
• Executar inferência de LLM em GPUs do Cloud Run com o Transformers.js do Hugging Face

Tutoriais para jobs

• Ajustar LLMs usando GPUs com jobs do Cloud Run
• Executar inferência em lote usando GPUs em jobs do Cloud Run
• Transcodificação de vídeo acelerada por GPU com FFmpeg em jobs do Cloud Run