Gunakan GPU untuk menjalankan inferensi AI di Cloud Run. Jika Anda baru mengenal konsep AI, lihat GPU untuk AI. GPU digunakan untuk melatih dan menjalankan model AI. Hal ini dapat memberi Anda performa yang lebih stabil dengan kemampuan untuk menskalakan workload, bergantung pada pemanfaatan keseluruhan Anda. Lihat dukungan GPU untuk layanan, tugas, dan kumpulan pekerja untuk mempelajari lebih lanjut konfigurasi GPU.
Tutorial untuk layanan
- Menjalankan inferensi LLM di GPU Cloud Run dengan Gemma 3 dan Ollama
- Menjalankan Gemma 3 di Cloud Run
- Menjalankan inferensi LLM di GPU Cloud Run dengan vLLM
- Menjalankan OpenCV di Cloud Run dengan akselerasi GPU
- Menjalankan inferensi LLM di GPU Cloud Run dengan Hugging Face Transformers.js
- Menjalankan inferensi LLM di GPU Cloud Run dengan Hugging Face TGI
Tutorial untuk tugas
- Menyesuaikan LLM menggunakan GPU dengan tugas Cloud Run
- Menjalankan inferensi batch menggunakan GPU pada tugas Cloud Run
- Transcoding video yang dipercepat GPU dengan FFmpeg di tugas Cloud Run