Gunakan GPU untuk menjalankan inferensi AI di Cloud Run. Jika Anda baru mengenal konsep AI, lihat GPU untuk AI. GPU digunakan untuk melatih dan menjalankan model AI. Hal ini dapat memberi Anda performa yang lebih stabil dengan kemampuan untuk menskalakan beban kerja, bergantung pada penggunaan keseluruhan Anda. Lihat dukungan GPU untuk layanan, tugas, dan kumpulan pekerja untuk mempelajari konfigurasi GPU lebih lanjut.
Tutorial untuk layanan
- Menjalankan Gemma di Cloud Run
- Menjalankan inferensi LLM di GPU Cloud Run dengan Gemma dan Ollama
- Menjalankan OpenCV di Cloud Run dengan akselerasi GPU
- Menjalankan inferensi LLM di GPU Cloud Run dengan Hugging Face Transformers.js
- Menjalankan inferensi LLM di GPU Cloud Run dengan Hugging Face TGI
Tutorial untuk tugas
- Menyesuaikan LLM menggunakan GPU dengan tugas Cloud Run
- Menjalankan inferensi batch menggunakan GPU pada tugas Cloud Run
- Transcoding video yang dipercepat GPU dengan FFmpeg pada tugas Cloud Run